Transcript Document

Capítulo 2
Cadenas de Markov
Basado en la presentación del libro
Investigación de Operaciones de Winston
4a. Edición
Profesor: A. Leonardo Bañuelos S.
Introducción
Algunas veces estamos interesados en el cambio
de una variable en el tiempo.
El estudio de los cambios de una variable
aleatoria en el tiempo involucra a un proceso
estocástico.
Aquí estudiaremos un caso particular de un
proceso estocáctico conocido como Cadenas de
Markov
Comenzaremos con la definición de proceso
estocástico.
2
¿Qué es un Proceso Estocástico?
 Supóngase que observamos una característica
de un sistema en puntos de tiempo discreto.
 Sea Xt el valor del la característica del sistema
en el tiempo t. En la mayoría de las situaciones,
Xt no es conocido con certeza antes del tiempo
t y puede ser considerado como una variable
aleatoria.
 Un Proceso Estocástico de Tiempo Discreto
es simplemente una descripción de la relación
entre las variables aleatorias X0, X1, X2 …
3
 Un Proceso Estocástico de Tiempo
Continuo es simplemente un proceso
estocástico en el cual los estados del sistema
pueden ser observados en cualquier instante,
no solo en instantes discretos.
 Por ejemplo, el número de personas en un
supermercado t minutos después de abrir la
tienda es un proceso estocástico de tiempo
continuo.
4
¿Qué es un Cadena de Markov?
 Un tipo especial de proceso estocástico de
tiempo discreto.
 Definición: Un proceso estocástico de tiempo
discreto es una Cadena de Markov si, para t
= 0,1,2… y todos los estados:
P(Xt+1 = it+1| Xt = it, Xt-1=it-1,…,X1=i1, X0=i0)
=P(Xt+1=it+1|Xt = it)
 Esencialmente esto significa que la distribución
de probabilidad de los estados en el tiempo
t+1 depende sólo del estado en el tiempo t(it)
y no depende de los estados por los que pasó
previamente para llegar a it en el tiempo t.
5
 En las cadenas de Markov que se estudiarán,
se considerará que para todos los estados i y
j y para cualquier tiempo t, P(Xt+1 = j|Xt = i)
es independiente del tiempo.
 Esta suposición nos permite escribir
P(Xt+1 = j|Xt = i) = pij
donde pij es la probabilidad de que el sistema
pase del estado i en el tiempo t, al estado j en
el tiempo t+1.
 Si el sistema se modifica del estado i en un
periodo, al estado j para el siguiente periodo,
entonces se dice que ha ocurrido una
transición de i a j .
6
 Las pij son llamadas probabilidades de
transición de la cadena de Markov.
 La ecuación implica que las probabilidades de
transición para los siguientes periodos no
cambian con el tiempo.
 Generalmente se le llama suposición de
Estacionaridad y cualquier Cadena de Markov
que la tiene se llama Cadena de Markov
Estacionaria.
 Se puede definir qi como la probabilidad de que
la cadena se encuentre en el estado i en el
tiempo 0; en otras palabras, P(X0=i) = qi.
7
 Se denotará por v= [v1, v2,…vs] al vector de
distribución de probabilidad inicial de la
cadena de Markov.
 Las probabilidades de transición se
acostumbran presentar en una matriz de s x s
llamada matriz de transición de
probabilidades P. La matriz se escribe como
 p11 p12  p1s 
p

p

p
11
11 
P   21
 

 


 ps1 ps 2  pss 
8
 Para cada i
j s
p
j 1
ij
1
 Cada valor en la matriz debe ser no negativo.
 La suma por renglón es igual a la probabilidad
del espacio muestral condicional, es decir,
suma 1.
9
Probabilidades de Transición de
n-Pasos
 Una cuestión de interés cuando se estudian
cadenas de Markov es: Si una cadena de
Markov está en el estado i en el tiempo m,
¿Cuál es la probabilidad de que n periodos
después la cadena se encuentre en el estado j?
 Esta probabilidad es independiente de m, y se
puede escribir
P(Xm+n =j|Xm = i) = P(Xn =j|X0 = i) =
pij(n)donde pij(n) se llama probabilidad de npasos de transición del estado i al estado j.
 Para n > 1, pij(n) = ij-ésimo elemento de P
n
10
Ejemplo de Refrescos

Supóngase que la industria de refrescos produce
solamente 2 refrescos de cola.

Dado que una persona ha comprado Coca, existe una
probabilidad de 0.9 de que en su siguiente compra
consuma también Coca.

Dado que una persona ha comprado Pepsi, existe una
probabilidad de 0.8 de que en su siguiente compra
consuma también Pepsi.

Si la persona actualmente compra Pepsi, ¿cuál es la
probabilidd de que en 2 compras consuma Coca?

Si la persona actualmente compra Coca, ¿cuál es la
probabilidd de que en 3 compras consuma Pepsi?
11
Ejemplo de Refrescos (Cont.)
 Se puede considerar la compra de cada persona
como una Cadena de Markov, en la cual el estado
está dado por el tipo de refresco que adquirió.
 Puesto que cada compra puede ser de dos
refrescos, la Cadena se representa por dos estados,
 Estado 1 = La persona compra el refresco 1
 Estado 2 = La persona compra el refresco 2
 Si se define Xn como el tipo de refresco comprado
por una persona en el n-ésimo periodo futuro,
entonces X0, X1, … puede ser descrito como una
Cadena de Markov con la siguiente matriz de
transición:
12
Ejemplo de Refrescos (Cont.)
 R1 R 2 
R 1 .90 .10
P
R 2 .20 .80


Para responder a las preguntas 1 y 2,
1. Se busca P(X2 = 1|X0 = 2) = p21(2) = elemento
2,1 de P 2:
.90 .10 .90 .10 .83 .17
2
P 





.
20
.
80
.
20
.
80
.
34
.
66


 

13
Ejemplo de Refrescos (Cont.)
 Se tiene, p21(2) =0.34. Esto significa que la
probabilidad de que un cliente del refresco 2, compre
el refresco 1 en dos compras es de 0.34.
 Utilizando la teoría de la Probabilidad, se podría
obtener el mismo resultado.
2. Se busca p11(3) = elemento 1,1 de P 3:
.90
P 3  P( P 2 )  
.20
.10 .83

.80
 .34
.17
.781

.438
.66


.219
.562

Por lo que , p11(3) = 0.781
14
 En muchas ocasiones no se conoce el estado
de la Cadena de Markov en el tiempo 0.
Entonces se puede calcular la probabilidad de
que el sistema este en el estado i en el tiempo
n utilizando el siguiente razonamiento.
 Probabilidad de estar en el estado j en el
is
tiempo n
( n)
  vi pij
i 1
donde v=[v1, v2, … ,vn].
15
 Para ilustrar el comportamiento de la matriz
de transición de n-pasos para valores muy
grandes de n, se han calculado las matrices
para algunos valores de n.
 Esto significa que para n suficientemente
grande, no importa cuál es el estado
inicial, y existe una probabilidad de 0.67
de que una persona consuma Coca.
 Podemos multiplicar fácilmente matrices en
una hoja de cálculo usando el comando de
MMULT.
16
17.4 Clasificación de estados en
una cadena de Markov
 Para entender la transición de n-pasos más
detalladamente, necesitamos estudiar cómo los
matemáticos clasifican los estados de una
cadena de Markov.
 La matriz siguiente de transición ilustra la
mayoría de las definiciones siguientes. Una
representación gráfica se puede obtener con
facilidad.
.4 .6 0 0 0 
.5 .5 0 0 0 


P   0 0 .3 .7 0 


0
0
.
5
.
4
.
1


 0 0 0 .8 .2
17

Definición: Dados dos estados i y j, una trayectoria i a
j es una secuencia de transiciones que comienza en i y
termina en j, tal que cada transición en la secuencia
tiene una probabilidad mayor que cero de ocurrir.

Definición: Un estado j es accesible del estado i si hay
una trayectoria que conduce de i a j.

Definición: Dos estados i y j se dice que se comunican
si j es accesible desde i, e i es accesible desde j.

Definición: Un conjunto de estados S en una cadena de
Markov es un conjunto cerrado si no hay estado fuera de
S que sea accesible desde cualquier estado en S.
18
 Definición: Un estado i es un estado
absorbente si pij =0.
 Definición: Un estado i es un estado
transitorio si existe un estado j que sea
accesible desde i, pero el estado i no es
accesible desde el estado j.
 La importancia de estos conceptos será clara
después de las dos secciones siguientes.
19
17.5 Probabilidades de estado
estable y tiempos de primera pasada
 Las probabilidades de estado estable se utilizan
para describir el comportamiento a largo plazo
de una cadena de Markov.
 Teorema 1: Sea P la matriz de transición para
una cadena ergódica de s-estados. Entonces
existe un vector π = [π1 π2 … πs] tal que
 1  2   s 
    
2
s
lim P n   1
n 





 1  2   s 
20
 El teorema 1 nos dice que para cualquier
estado inicial i, lim pij ( n )   j
n 
 Al vector π = [π1 π2 … πs] comúnmente se le
llama distribución de estado estable, o
distribución de equilibrio, para la cadena de
Markov.
21
Análisis Transitorio e
Interpretación Intuitiva
 El comportamiento de una cadena de Markov
antes de que se alcance el estado estable es a
menudo llamado transitorio (o a corto plazo).
 Se puede dar una interpretación intuitiva a las
ecuaciones de probabilidad del estado
estacionario.
 j (1  pij )   k pkj
k j
 Esta ecuación puede verse en el de estado
estacionario, como que el "flujo" de la
probabilidad en cada estado interno debe ser
igual a el flujo de la probabilidad de cada
estado externo.
22
Uso de la probabilidad de estado
estable en la toma de decisiones
 En el ejemplo de los refrescos de cola,
suponga que cada cliente consume una
marca de cola durante cualquier semana.
 Suponga que hay 100 millones de clientes para
los refrescos de cola.
 Cada refresco por producirlo le cuesta a la
compañía $1 y se vende en $2
23
Toma de decisiones (Cont.)
 Por $500 millones/año, una empresa de
publicidad garantiza una disminución del
10% al 5% en la porción de clientes que
cambian al refresco de cola 1 después de
una compra.
 ¿Debe la compañía que hace el refresco de cola
2 emplear la firma?
24
 Actualmente, la proporción π1 = ⅔ de las
compras totales prefieren consumir el refresco
de cola de la marca 1.
 Por cada compra del refresco de cola 1 la
compañía obtiene $1 de ganancia. Podemos
calcular la ganancia anual en $3.466.666.667..
 La empresa de publicidad está ofreciendo
cambiar la matriz P a
.95 .05
P1  

.
20
.
80


25
 Para P1, las ecuaciones de estado estable se
convierten en

π1 = .95π1+.20π2
π2 = .05π1+.80π2
 Sustituyendo la segunda ecuación por π1+π2=1
y resolviendo, obtenemos π1=0.8 y π2 = 0.2
 Ahora la ganancia anual de la compañía de
cola 1 será $3.660.000.000.
 Por lo tanto, la compañía que produce la cola 1
debe emplear la agencia del anuncio.
26
Tiempos (promedio) de Primera
Pasada
 Para una cadena ergódica, sea mij = número
esperado de transiciones antes de que por primera
vez se alcance el estado j, dado que estamos
actualmente en el estado i; el mij se llama tiempo
de primera pasada desde el estado malo del paso
del estado i al estado i al estado j.
 En el ejemplo, asumimos que estamos actualmente
en el estado i. Entonces con la probabilidad pij,
tomará una transición para ir del estado i al estado
j. para k ≠ j, seguiremos con la probabilidad pik
para ir al estado k. En este caso, tomará un
promedio de 1 para ir de i a k + las transiciones mkj
para ir de k a j
27
 Este razonamiento implica
mij 1  pik mkj
k j
 Para resolver las ecuaciones lineales de la
ecuación anterior, encontramos todas los
tiempos de primera pasada, lo cual puede
hacerse así
mii 
1
i
28
Resolución por probabilidades de estado
estable y Tiempos de Primera Pasada
mediante la computadora

Podemos calcular las probabilidades de estado estable
y los tiempos de primera pasada tal y como se ha
mostrado o bien podemos utilizar LINDO, WinQSB,
etc. para realizar estos cálculos con ayuda de la
computadora

Simplemente capture una función objetivo como
0, y capture en las restricciones las ecuaciones
que necesita para obtener la solución.

Como una alternativa, se puede utilizar el modelo
LINGO que se encuentra en el archivo Markov.lng para
determinar las probabilidades de estado estable y
para calcular los tiempos de primera pasada para una
cadena ergódica.
29
17.6 Cadenas Absorbentes
 Muchas aplicaciones interesantes de cadenas
de Markov implican las cadenas en las cuales
algunos de los estados están absorbiendo y el
resto son estados transitorios.
 Este tipo de cadenas son llamadas Cadenas
Absorbentes.
 Para ver por qué estamos interesados en las
cadenas absorbentes consideraremos el
siguiente ejemplo de las cuentas por cobrar.
30
Ejemplo De las Cuentas por
Cobrar
 La situación de las cuentas por cobrar de una
empresa se modela a menudo como cadena de
Markov absorbente.
 Suponga que una firma asume que una cuenta
es incobrable si la cuenta tiene más de tres
meses de atraso.
31
Ejemplo de las Cuentas (Cont.)
 Entonces al principio de cada mes, cada cuenta
se puede clasificar en uno de los estados
siguientes:
 Estado 1 Cuenta Nueva.
 Estado 2 Cuenta con un Mes de atraso
en el pago.
 Estado 3 Cuenta con dos meses de
atraso en el pago.
 Estado 4 Cuenta con tres meses de
atraso en el pago.
 Estado 5 Cuenta pagada.
 Estado 6 Cuenta incobrable.
32
 Suponga que datos pasados indican que la
cadena de Markov siguiente describe cómo el
estado de una cuenta cambia de un mes a
otro.
Nuevo Mes 1 Mes 2
0
0
Mes 1

Mes 2
0

Mes 3
0
Pago
0
Incobrable 

0
Nuevo
Mes 3
Pago Incobrable
.6
0
0
.4
0
.5
0
.5
0
0
.4
.6
0
0
0
.7
0
0
0
1
0
0
0
0
0
0

0

.3
0

1

33
 Para simplificar nuestro ejemplo, asumimos
que después de tres meses, una deuda está
pagada o considerada deuda incobrable.
 Una vez que una deuda se paga o se considera
incobrable, la cuenta se cierra y ya no hay
transiciones.
 Por lo tanto, la deuda pagada o incobrable es
un estado absorbente, y eventualmente estará
en un estado de cuenta nueva, cuenta con 1
mes, con 2 meses y con 3 meses, serán
estados transitorios.
34
 Una nueva cuenta será absorbida como una
deuda pagada o incobrable.
 ¿Cuál es la probabilidad que una nueva cuenta
sea pagada?
 Para responder esta pregunta debemos
escribir la matriz de transición. Asumimos s m estados transitorios y m estados
absorbentes. La matriz de transición se
s-m
m
escribe en la forma de
columnas columnas.
s-m filas
P=
m filas
N
0

A

I
35
 La matriz de la transición para este ejemplo es
Nuevo Mes 1 Mes 2
0
0
Mes 1

Mes 2
0

Mes 3
0
Pago
0
Incobrable 

0
Nuevo
Mes 3
Pago Incobrable
0
.5
0

A
.6
0

.7
.3
1
0

0
1

.6
0
0
0
.5
0
0 N 0
.4
0
0
0
0
0
0
0
0
0
.4
 Así s =6, m =2, y N y A como se muestran
36
1. ¿Cuál es la probabilidad que una nueva cuenta
sea pagada?
2. ¿Cuál es la probabilidad que una cuenta
atrasada un mes se convierta en incobrable?
3. ¿Si las ventas de la empresa en promedio son
de $100.000 por mes, cuánto dinero por año
será incobrable?
0 
1  .6 0
0 1  .5 0 

I  N 
0 0
1  .4


0
1 
0 0
37
 Usando el método de Gauss-Jordan,
encontramos que
t1
t1
t2
(I-N)-1 =
t3
t4
t2
t3
t4
1 .60 .30 .12
0 1 .50 .20


0 0
1 .40


0
1
0 0
38
 Para resolver las preguntas 1-3 requerimos de
la computadora
a1
a2
t1 .964 .036
t2
(I-N)-1 A=
t3
t4
.940 .060


.880 .120


.700 .300
39
Así
1. t1 = Nueva, a1 = Pagada. Así, la
probabilidad que una nueva cuenta sea
pagada es el elemento 11 de (I –N)-1A
=.964.
2. t2 = 1 mes, a2 = incobrable. Así, la
probabilidad de que una cuenta atrasada un
mes se convierta en incobrable es el
elemento 22 de (I –N)-1A = .06
3. De la respuesta 1, solamente 3.6% de todas
las deudas son incobrables. Las cuentas a
pagar anuales son de $1,200,000 en
promedio, así (0.036)(1,200,000) =
$43,200 por año serán incobrables.
40
17.7 Modelos para planificar la
fuerza de trabajo
 Muchas organizaciones emplean varias
categorías de trabajadores.
 Los propósitos de la planeación a largo plazo,
es a menudo útil para predecir el número de
los empleados de cada tipo que estarán
disponibles en el estado estable.
 Tales predicciones se pueden hacer mediante
un análisis similar al de las probabilidades de
estado estable para las cadenas de Markov.
 Considere una organización en la que
clasifiquen a sus miembros en cualquier
momento en uno de s posibles grupos.
41
17.7 Modelos para planificar la
fuerza de trabajo (Cont.)
 Durante cada período, una porción pij de los
que comienzan el período en el grupo i
comienza la próxima vez el período en el grupo
j.
 También durante cada período, una porción
pi,s+1 del grupo i, sus miembros dejan la
organización.
 Sea P la matriz de s x (s+1) en la cual la
entrada ij es pij.
42
17.7 Modelos para planificar la
fuerza de trabajo (Cont.)
 Al comienzo de cada periodo, la organización
contrata Hi miembros del grupo i.
 Sea Ni(t) el número de miembros del grupo i
al comienzo del periodo t.
43
 Una pregunta de interés normal es si Ni(t)
tiende al límite a medida que crece t
(llamemos al límite Ni, si existe).
 Si cada Ni(t) no se acerca a un límite,
llamamos N = (N1, N2,…,Ns) censo de estado
estable de la organización.
 Las ecuaciones usadas para calcular el censo
de estado estable son
H i   N k pki  Ni  pik (i  1, 2,...,s)
k i
k i
44
 Observe que lo siguiente se puede utilizar para
simplificar la ecuación anterior.

k i
pik 1  pii
 Si no existe un censo de estado estable,
entonces la ecuación no tendrá ninguna
solución.
45
Uso de LINGO para calcular el
censo de estado estacionario
 El modelo LINGO ubicado en el archivo
Census.lng se puede utilizar para determinar el
censo de estado estableo para un problema del
planeación de mano de obra.
46