Cadena de Márkov

Una cadena de Márkov, que recibe su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922), es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Márkov de las series de eventos independientes, como tirar una moneda al aire o un dado.

Este tipo de proceso, introducido por Márkov en un artículo publicado en 1907,​ presenta una forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias que forman un proceso estocástico. En los negocios, las cadenas de Márkov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.

Definición formal

En matemáticas, se define como un proceso estocástico discreto que cumple con la propiedad de Márkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la información relevante para describir en probabilidad su estado futuro.

Una cadena de Márkov es una secuencia X₁, X₂, X₃,... de variables aleatorias. El rango de estas variables, es llamado espacio estado, el valor de X_n es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de X_n+1 en estados pasados es una función de X_n por sí sola, entonces:

$P(X_{n+1}=x_{n+1}|X_{n}=x_{n},X_{n-1}=x_{n-1},\ldots ,X_{2}=x_{2},X_{1}=x_{1})=P(X_{n+1}=x_{n+1}|X_{n}=x_{n}).\,$

Donde x_i es el estado del proceso en el instante i. La identidad mostrada es la propiedad de Márkov.

Cadenas de Márkov en tiempo continuo

Si en lugar de considerar una secuencia discreta X₁, X₂,..., X_i,.. con i indexado en el conjunto $\mathbb {N} \;\!$ de números naturales, se consideran las variables aleatorias X_t con t que varía en un intervalo continuo del conjunto $\mathbb {R} \;\!$ de números reales, tendremos una cadena en tiempo continuo. Para este tipo de cadenas en tiempo continuo la propiedad de Márkov se expresa de la siguiente manera:

$P(X(t_{n+1})=x_{n+1}|X(t_{n})=x_{n},\ldots ,X(t_{1})=x_{1})=P(X(t_{n+1})=x_{n+1}|X(t_{n})=x_{n})$ tal que $t_{n+1}>t_{n}>t_{n-1}>\dots >t_{1}$

Enlaces externos

• Techniques to Understand Computer Simulations: Markov Chain Analysis