Transcript Inv. Ope. -Uni IV

UNIDAD IV CADENAS DE MARKOV
Integrantes:
Mirielle Eunice Aragón López
Efrén Córdova Pérez
Soledad Ocaña Vergara
Diana Gorrochotegui Barra
María Guadalupe Jáuregui Santos
Eduardo López García
Ernesto de Dios Hernández
Materia: Investigación de Operaciones II
Catedrática : Zinath Javier Gerónimo
Unidad IV Cadenas de Markov
Algunas veces nos… interesa saber cómo cambia
una variable aleatoria a través de tiempo .Por ejemplo,
desearíamos conocer como evoluciona el precio de las
acciones de una empresa en el mercado a través del
tiempo.
El estudio de cómo evoluciona una variable aleatoria
incluye el concepto de procesos estocásticos y el
proceso de las cadenas de Markov.
Las cadenas de Markov se han aplicado en áreas tales
como educación, mercadotecnia, servicios de salud,
finanzas ,contabilidad y producción.
Unidad IV Cadenas de Markov
Procesos que evolucionan de forma no deterministica a lo
largo del tiempo en torno a un conjunto de estados.
Un proceso estocástico de tiempo discreto es simplemente
una descripción de la relación entre las variables aleatorias X0,
X1, X2...
Un proceso estocástico de tiempo continuo es simplemente
un proceso estocástico en el que el estado del tiempo se
puede examinar en cualquier tiempo y no sólo en instantes
discretos.
Unidad IV Cadenas de Markov
Es una herramienta para analizar el comportamiento y
el gobierno de determinados tipos de procesos
estocásticos.
Es un tipo especial de procesos estocásticos de tiempo
discreto. Para simplificar nuestra presentación
supondremos que en cualquier tiempo , el proceso
estocástico de Tiempo discreto puede estar en uno de
un número finito de estados identificados por 1,2,…,S.
Unidad IV Cadenas de Markov
Un proceso estocástico de tiempo discreto es una
cadena de Markov si, para t= 0, 1, 2,… y todos los
estados.
Estado:
Situación en que se haya el sistema en un instante dado dicha
caracterización es cuantitativa como cualitativa. En otras palabras el
estado es como están las cosas.
P (X1+ 1=it+1 I X.=it…Xt-1=it-1,…,X1=i1,X0=i0)
=P(Xt-1=it-1IXt=it)
Unidad IV Cadenas de Markov
En esencia la ecuación anterior dice que la distribución de
probabilidad del estado de tiempo t-1 depende de la del
estado en el tiempo t(i) y no depende de los estados por los
cuales pasó la cadena para llegar a t, en el tiempo t.
Si el sistema pasa de una lado i durante un periodo al estado j
durante el siguiente, se dice que ha ocupado una transición de
i a j. Con frecuencia se llaman probabilidades de transición de
las pij en una cadena de Markov.
La Hipótesis de estabilidad, indica que la ley de probabilidad
que relaciona el estado siguiente periodo con el estado actual
no cambia, o que permanecer estacionaria un tiempo.
Unidad IV Cadenas de Markov
El estudio de las cadenas de Markov también necesita que
definan como la probabilidad de que la cadena se encuentra
en el estado i en el tiempo en otras palabras, P( X=i)=q0Al vector q=Iq1 q2 …qsI se le llama distribución inicial de
probabilidad de la cadena de Markov.
En la mayor de las aplicaciones, las probabilidades de
transición se presentan como una matriz P de probabilidad de
transición SxS. La matriz de probabilidad de transición se
puede escribir como:
P
P0A P0B ………. P0
P1A P1B ……... P1
P2A P2B ………. P3
Unidad IV Cadenas de Markov
Dado que el estado es i en el tiempo t, el proceso debe estar
en algún lugar de tiempo t+1.Esto significa que para cada i,
∑ P (XT+1= Ji P (Xt = i)) = 1
∑ Pu= 1
También sabemos que cada elemento de la matriz P debe ser
no negativo. Por lo tanto, todos los elementos de la matriz de
probabilidad de transición son negativos; los elementos de
cada renglón deben sumar 1.
Unidad IV Cadenas de Markov
Unidad IV Cadenas de Markov
La ruina del jugador. En el tiempo 0 tengo 2 dólares. En los
tiempos 1,2,.participo en un juego en el que apuesto 1 dólar.
Gano el juego con probabilidad y lo pierdo con probabilidad
1-p. Mi meta es aumentar mi capital a 4 dólares, tan pronto
como lo logre se suspende el juego . El juego también se
suspende si capital se reduce a 0 dólares. Si definimos que X
es mi capital después del juego X, son procesos estocásticos
de tiempo discreto. Nótese X0=2 es una constante conocida
pero que X1 y las demás X son aleatorias. Por ejemplo, X1=3
con probabilidad P y X1 =1 con probabilidad 1-p. Nótese que si
Xt=4 entonces X y todas las demás X, también serán igual a 4.
Igualmente si Xt=0 entonces Xt+1 todas las demás Xt serán O
también. Por razones obvias, a estos casos se llama problema
de la ruina del juego.
Unidad IV Cadenas de Markov
Como la cantidad de dinero que tengo después de t+1 jugadas
depende de antecedentes del juego solo hasta la cantidad de
efectivo que tengo después de t jugadas, no ahí duda que se
trata de una cadena de Markov. Como las reglas del juego no
varían con el tiempo, también tenemos una cadena de Markov
estacionaria. La matriz de transición es la siguiente ( el estado i
quiere decir que tenemos i dólares):
0
1
P=2
3
4
Estado
0dòlares 1dólares 2dòlares 3dòlares 4dòlares
1
0
0
0
0
1 –p
0
p
0
0
0
1-p
0
p
0
0
0
1-p
0
p
0
0
0
0
1
Unidad IV Cadenas de Markov
Si el estado es 0 dólares o 4 dólares no juego más y, por lo
tanto, el estado no puede cambiar; entonces p00=p44=1.Para
los demás estados sabemos que, con probabilidad p, el estado
del siguiente periodo será mayor que el estado actual en 1, y
con probabilidad 1-p, el estado del siguiente periodo será
menor en 1 que el estado actual.
p
1-p
0
1
1
2
1-p
p
1-p
3
p
4
1
Esta es una representación gráfica de la matriz de probabilidad
de transición para el ejemplo.
Unidad IV Cadenas de Markov
En una urna que contiene bolas hay dos sin pintar. Se selecciona una
bola al azar y se lanza una moneda. Si la bola elegida no está
pintada y la moneda produce cara, pintamos la bola de rojo; si la
moneda produce cruz, la pintamos de negro. Si la bola ya está
pintada, entonces cambiamos el color de la bola de rojo a negro o
de negro a rojo, independientemente de si la moneda produce cara
o cruz. Para modelar este caso como proceso estocástico, definimos
a t como el tiempo después que la moneda ha sido lanzada por tèsima vez y se ha pintado la bola escogida. En cualquier tiempo se
puede representar el estado mediante el vector (u r b ), donde u es
el número de bolas sin pintar en la urna, r el número de bolas rojas
y b el de bolas negras. Se nos dice que X0=(2 0 0).Después del
primer lanzamiento, una bola habrá sido pintada ya sea de rojo o de
negro y el estado será ( 1 1 0) o ( 1 0 1). Por lo tanto, podemos
asegurar que X1= (1 1 0) o X1= ( 1 0 1). Es claro que debe haber
alguna relación entre las Xt.
Unidad IV Cadenas de Markov
Como el estado de la urna después del siguiente lanzamiento
de la moneda depende solo del pasado del proceso hasta el
estado de la urna después del lanzamiento actual, se trata de
una cadena de Markov. Como las reglas no varían a través del
tiempo, tenemos una cadena estacionaria de Markov. La
matriz de transición es la siguiente:
(0
(0
P=(0
(2
(1
(1
1 1)
2 0)
0 2)
0 0)
1 0)
0 1)
Estado
(0 1 1) (0 2 0) (0 0 2) (2 0 0) (1 1 0) (1 0 1)
0
½
½
0
0
0
1
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
½
½
¼
¼
0
0
0
½
¼
0
¼
0
½
0
Unidad IV Cadenas de Markov
Cálculos de las probabilidades de transición si el estado actual
es ( 1 1 0 ):
EVENTO
PROBABILIDAD
ESTADO NUEVO
Sacar cara en el
lanzamiento y escoger
una bola sin pintar
¼
( 0 2 0 )
Escoger bola roja
½
( 1 0 1 )
Sacar cruz en el
lanzamiento y escoger
una bola sin pintar
¼
( 0 1 1 )
Unidad IV Cadenas de Markov
Para ver cómo se forma la matriz de transición, determinamos el renglón (
1 1 0 )
Si el estado actual ( 1 1 0 ), entonces debe suceder uno de los eventos
que aparecen en la tabla anterior. Así, el siguiente estado será ( 1 0 1 )
con la probabilidad ½; ( 0 2 0 ) con probabilidad ¼ y ( 0 1 1 ) con
probabilidad ¼.En la siguiente imagen se da la representación grafica de
esta matriz de transición.
¼
0,1,1
½
½
1
½
2,0,0
½
¼
0,2,0
1,1,0
¼
1
0,0,2
½
½
1,0,1
¼
 INVESTIGACIÒN DE OPERACIONES Y
APLICACIONES
AUTOR: WAYNE L. WINSTON
GRUPO EDITORIAL IBEROAMERICANA
CAP.19 CADENAS DE MARKOV