Transcript X 1

Cadenas de Markov de Tiempo Discreto
Simulación
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Sucesos Dependientes


Aquellos eventos en los que la probabilidad asociada a
la ocurrencia de un punto de su espacio muestral
depende de la ocurrencia de otro evento.
Existe una gran variedad de eventos repetitivos en el
tiempo, en los cuales su función de probabilidad
depende únicamente de su estado anterior.
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Proceso Estocástico

Un proceso estocástico es el análisis del comportamiento de
una o más variables aleatorias (xt) en función del tiempo.

La sucesión de tiempo se da en saltos discretos.

Ejemplo





Unidades defectuosas de producción.
Confiabilidad de maquinaría.
Pronósticos.
Variables financieras.
Inventarios.
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Cadena de Markov



Son herramientas que permiten modelar el
comportamiento de un sistema en el tiempo.
Permiten determinar las probabilidades asociadas a
los estados del sistema en función del tiempo.
Sirven para conocer el desarrollo futuro de procesos
que se desarrollan a lo largo del tiempo, para predecir
el comportamiento de fenómenos físicos, sociales,
productivos, económicos, etc.
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Conceptos

Estado


Transición


Cuando el sistema pasa del estado i durante un periodo al estado j
durante el siguiente periodo
Probabilidad de Transición (Pij)


Es el conjunto de resultados posibles de cada uno de los
experimentos asociados a un proceso estocásitco. Las cadenas de
Markov representan la probabilidad de estar en un estado
determinado en función de los estados anteriores.
Representa la probabilidad de pasar del estado i al j en un periodo
de tiempo.
Matriz de Transición

Una matriz de MxM, donde M representa el número de estados y
que en su cuerpo contiene las probabilidades de transición.
Cadenas de Markov

Definición


Es un tipo especial de procesos estocásticos de tiempo discreto que
cumplen con la siguiente característica:
Supuestos

Las probabilidades asociadas a los estados NO son dependientes del
tiempo
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Ejemplo de proceso estocástico



Lanzamos una moneda al aire 6 veces. El jugador gana
1 € cada vez que sale cara (C), y pierde 1 € cada vez
que sale cruz (F).
Xi = estado de cuentas del jugador después de la iésima jugada
La familia de variables aleatorias {X1, X2,…, X6}
constituye un proceso estocástico
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Ejemplo de proceso estocástico







={CCCCCC,CCCCCF,…}
card() = 26 = 64
P()=1/64  
T={1, 2, 3, 4, 5, 6}
S={–6, –5, …, –1, 0, 1, 2, …, 5, 6}
X1()={–1, 1}
X2()={–2, 0, 2}
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Ejemplo de proceso estocástico

Si se fija ω, por ejemplo 0=CCFFFC, se obtiene una
secuencia de valores completamente determinista:

X1(0)=1, X2(0)=2, X3(0)=1, X4(0)=0, X5(0)= –1,

X6(0)=0
Es posible dibujar con estos valores la trayectoria del
proceso:
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Ejemplo de proceso estocástico
3
Valor del proceso
2
1
0
-1
-2
1
2
3
4
5
6
Instante de tiempo, t
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Ejemplo de proceso estocástico

Si se fija t, por ejemplo t0=3, se obtiene una de las
variables aleatorias del proceso:
X3 :   
  X 3  

Los posibles valores que puede tomar el proceso en
t0=3 son: X3()={–3, –1, 1, 3}
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Ejemplo de proceso estocástico

Podemos hallar la probabilidad de que el proceso
tome uno de estos valores:
1 1 1 3
PX 3 ( )  1  PCFC  PCCF  PFCC  3    
2 2 2 8
1 1 1 1
PX 3 ( )  3  PCCC     
2 2 2 8
1 1 1 3
PX 3 ( )  1  PFCF  PFFC  PCFF  3    
2 2 2 8
1 1 1 1
PX 3 ( )  3  PFFF    
2 2 2 8
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Gráfico de nodos

Permite representar gráficamente una cadena de
Markov, indicado sus estados, posibles transiciones, y
las probabilidades asociadas.
P23
1
2
3
P12
P13
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Ejemplo

En un pueblo, al 90% de los días soleados le siguen
días soleados, y al 80% de los días nublados le siguen
días nublados. Con esta información modelar el clima
del pueblo como una cadena de Markov.
1.
2.
3.
4.
5.
6.
¿Es un proceso estocástico?
¿Es una cadena de Markov?
¿Cuál es el sistema?
¿Cuáles son los estados del sistema?
¿Cuáles son las probabilidades de transición?
¿Cuál es el gráfico de nodos?
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Matriz de Transición

Representa todas las probabilidades de transición en
un periodo de tiempo para todos los estados del
sistema.

Todas las matrices de transición cumplen que:
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Valores de probabilidad asociados al estado inicial.

Es un vector de tamaño S que representa el estado
inicial del sistema, o la probabilidad inicial asociada a
cada estado.
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Ejemplo

1.
2.
3.
4.
5.
6.
Durante 5 días laborales de la semana, una persona reparte su tiempo
libre entre dos ocupaciones: salir a pescar o trabajar en el jardín. Se
sabe que esta persona nunca pesca dos días seguidos, sim embargo si
un día trabaja en el jardín, es igualmente probable que realice
cualquiera de las dos ocupaciones el siguiente día.
¿Es un proceso estocástico?
¿Es una cadena de Markov?
¿Cuál es el sistema?
¿Cuáles son los estados del sistema?
¿Cuáles son las probabilidades de transición?
¿Cuál es la matriz de Transición?
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Ejercicio

El ascensor de un edificio cuenta con tres opciones: sótano,
primer piso y segundo piso. Se sabe que el piso en el que
finaliza el viaje n-ésimo del ascensor sigue una cadena de
Markov. Se sabe que la mitad de los viajes que parten del
sótano se dirigen a cada uno de los otros dos pisos,
mientras que si un viaje comienza en el primer piso, sólo el
25% de las veces finaliza en el segundo. Por último, si un
trayecto comienza en el segundo piso, siempre finaliza en el
sótano.



a) Definir los estados.
b) Calcular la matriz de probabilidades de transición de la cadena.
c) Dibujar el grafo asociado.
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Ejercicio

Cierto almacén de fotografía permite solicitar un modelo
especial de cámara cada semana. Se conoce además que
este modelo de cámara tiene una demanda que se aproxima
a una distribución Poisson con media de 1 cámara por
semana (La demanda se presenta haya o no haya
inventario). La política de abastecimiento del almacén
consiste en ordenar 3 cámaras sólo si al finalizar la semana
están sin inventario. Las cámaras ordenadas se entregan el
domingo en la noche (después de que la tienda ha cerrado).
Si definimos cada estado como la cantidad de cámaras que
hay al finalizar cada semana.


Identifique los posibles estados
Obtenga la matriz de probabilidades de transición transición
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Ejercicio

Una compañía tiene dos máquinas. Durante cualquier día,
cada máquina que está trabajando al comienzo del día tiene
una probabilidad de 1/3 de descomponerse. Si durante el
día se descompone una máquina, se envía a la instalación
de reparación y estará funcionando dos días después que se
descompuso. (Así, si una máquina se descompone al día 3
estará funcionando al día 5). Haciendo que el estado del
sistema sea el número de máquinas funcionando al
principio del día, formule una matriz de transición para
esta situación.
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Ejercicio

Considere un sistema de inventario en el que la secuencia de sucesos
durante cada periodo es como sigue. (1) se observa el nivel de
inventario (llámelo i) al comienzo del periodo. (2) si i≤ 1 se piden 4-i
unidades. Si i ≥2 no se piden unidades. La entrega de las unidades
pedidas es inmediata. (3) Con probabilidad 1/3 la demanda durante un
periodo es de 0 unidad, con probabilidad 1/3 la demanda durante un
periodo es de 1 unidad y con probabilidad 1/3 se piden durante el
periodo 2 unidades. (4) se observa el nivel del inventario al inicio del
siguiente periodo. Si los estados se definen en función del inventario
inicial del periodo, determine la matriz de transición que permiten
modelar este sistema como una cadena de Markov.
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá
Ejercicio


Supongamos que un buffer tiene espacio para M
paquetes. En cualquier instante de tiempo es posible
enviar un mensaje para insertar un paquete en el
buffer con probabilidad  o bien el buffer puede
vaciarse con probabilidad . Ambos casos no pueden
suceder al tiempo.
Sea Xt=nº de paquetes en el buffer en el instante t.
Suponiendo que las inserciones y vaciados son
independientes entre sí e independientes de la historia
pasada, { Xt } es una CM, donde S={0, 1, 2, …, M}.

Realizar el diagrama de estados.
Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá