Transcript Cadenas__de__Markov

Cadenas de Markov
Proceso estocástico
Cadena de Markov
Estado
Transición
 Probabilidad de transición
Es la probabilidad que ocurra la transición
del estado i al estado j, dado que se está en
el estado i.
P{ X t + 1 = j / X t = i }
 Probabilidades estacionarias de un paso
Si para cada i y j se cumple:
P{ X t + 1 = j / X t = i } = P{ X 1 = j / X 0 = i }
entonces, se dice que las probabilidades de
un paso son estacionarias
Notación: Pij
 Probabilidad de transición en n pasos
P{ X t + n = j / X t = i } = P{ X n = j / X 0 = i }
Notación: Pij(n)

Propiedades de Pij(n)
1. Pij(n) ≥ 0
para todo i, j y n = 0, 1, 2, …
2. S Pij(n) = 1 para todo i, j de 0 a M, y
n = 0, 1, 2, …
 Notación matricial, P (n)
0
1
2
0
P00(n) P01(n) P02(n)
1
P10(n)
2
P20(n)
M
PM0(n)
M
P0M(n)
PMM(n)
Ecuaciones de Chapman Kolmogorov
Permite calcular la probabilidad de transición
en n pasos
 Pij(n) = S Pik(m) Pkj(n-m)
para todo i, j, n, 0 ≤ m ≤ n, y la sumatoria
desde k=0, hasta k=M
La matriz de probabilidades de transición de
n pasos se pueden obtener a partir de la
matriz de probabilidades de transición de un
paso
 P (n) = P * P * P * …. * P = P(n-1) * P
Clasificación de estados
 Definiciones:
Accesibles
Comunicados
 Si dos estados se comunican, pertenecen a la
misma clase
 Si todos los estados pertenecen a la misma clase,
entonces la cadena es irreducible
 fii = probabilidad de que el proceso regrese
al estado i, dado que comienza en el estado
i.
 Estado recurrente: fii = 1
 Estado transitorio: fii < 1
 Estado absorbente: pii = 1
Tiempos de primera pasada
 El número de transiciones que hace el
proceso al ir de un estado i a un estado j por
primera vez, es el tiempo de primera
pasada
 Cuando j = i, se habla de tiempo de
recurrencia para el estado i
 mij = tiempo esperado de primera pasada
 mij = infinito,
si S fii (n) < 1
 mij = S n * fii (n),
si S fii (n) = 1
Cuando S fii (n) = 1, se satisface la ecuación:
 mij = 1 + S { pik * mkj }
donde la sumatoria varía para todo k
distinto de j
 Cuando i = j, mij se llama tiempo esperado
de recurrencia
Probabilidades de Estado Estable
 Es la probabilidad de que le sistema se
encuentra en el estado j, independiente del
estado inicial
 pj = lim pij (n) , con n tendiendo al infinito
 pi = 1 / mii

Ecuaciones de estado estable
1. pj = S pj * pij
para j = 0, 1, …, M y la
sumatoria variando de i = 0, 1, …, M
2. S pj = 1
Estados Absorbentes
 Si k es un estado absorbente, y el proceso
comienza en el estado i, la probabilidad de
llegar en algún momento a k se llama
probabilidad de absorción
 Notación: fik
 Ecuaciones:
fik = S pij * fjk para todo i = 0, 1, …, M; y
la sumatoria variando de j = 0 hasta M
La ecuación anterior está sujeto a:
 fkk = 1
 fik = 0, si el estado i es recurrente, y
además i es distinto de k