Transcript Print - Atag.be

École des Mines de Nancy
Denis Villemonais, [email protected]
Année 2014-2015
FICM 2A – Probabilités
TD 6. Chaînes de Markov I – Correction
Exercice 1. Soit X une chaîne de Markov homogène sur {1, 2, 3} de loi
initiale 1/2(δ1 + δ3 ) et de matrice de transition


1 0 0
P =  1/2 0 1/2 
0 1 0
Enfin, on définit la suite de variables aléatoires (Yn )n∈N par
Yn = δ1 (Xn ) + δ2 (Xn ).
1. Dessiner le graphe de transition de la chaîne de Markov X.
2. Montrer que, à un ensemble négligeable près,
{Y0 = 0 et Y1 = 0} = {X0 = 1 et X1 = 1}
et {Y0 = 1 et Y1 = 0} = {X0 = 3 et X1 = 2}.
3. Montrer que (Yn )n∈N n’est pas une chaîne de Markov.
Solution.
1. Le graphe de la chaîne est donné par
1
2. On remarque l’égalité entre les événements
{Y0 = 0 et Y1 = 0} = {X0 ∈ {1, 2} et X1 ∈ {1, 2}}
et
{Y0 = 1 et Y1 = 0} = {X0 = 3 et X1 ∈ {1, 2}}.
Or P(X0 = 2) = 0, P(X0 = 1 et X2 = 2) = 0 et P(X0 = 3 et X1 =
1) = 0. Donc, à un ensemble négligeable près,
{Y0 = 0 et Y1 = 0} = {X0 = 1 et X1 = 1}
et {Y0 = 1 et Y1 = 0} = {X0 = 3 et X1 = 2}.
3. Par conséquent,
P(Y2 = 0 | Y0 = 0 et Y1 = 0) = P(X2 ∈ {1, 2} | X0 = 1 et X1 = 1) = 1
et
P(Y2 = 0 | Y0 = 1 et Y1 = 0) = P(X2 ∈ {1, 2} | X0 = 3 et X1 = 2) = 1/2.
Exercice 2. Une suite récurrente aléatoire (Xn )n∈N est une suite de variables
aléatoires définies par récurrence : X0 est une variable aléatoire de loi µ sur
une espace E et
Xn+1 = f (Xn , Zn+1 ), ∀n ≥ 0,
où (Zn ) est une suite de variables aléatoires iid sur une espace F , indépendante de X0 , et f : E × F → E est une application mesurable.
1. Montrer que toute suite récurrente aléatoire est une chaîne de Markov
homogène.
2. (a) Montrer que, étant donnée une loi µ sur N et une matrice P =
(pij )i,j∈N telle que
X
pij ≥ 0 ∀i, j ∈ N et
pij = 1 ∀i ∈ N,
j∈N
il existe une chaîne de Markov sur N de matrice de transition P .
(b) Montrer que toute chaîne de Markov homogène sur un espace dénombrable a même loi qu’une suite récurrente aléatoire.
2
Solution.
1. Soit (Xn )n∈N une suite récurrente aléatoire. On a alors, pour
tout n ≥ 0, tout ensemble mesurable A ⊂ E et P(X0 ,...,Xn ) (x0 , . . . , xn )
presque sûrement,
P(Xn+1 ∈ A | X0 = x0 , . . . , Xn = xn ) = P(f (Xn , Zn+1 ) ∈ A | X0 = x0 , . . . , Xn = xn )
= P(f (xn , Zn+1 ) ∈ A | X0 = x0 , . . . , Xn = xn )
= P(f (xn , Zn+1 ∈ A),
car Zn+1 est indépendant de X0 , Z0 , . . . , Zn et a fortiori de X0 , X1 , . . . , Xn
(mesurable par rapport à X0 , Z0 , . . . , Zn par construction). Par conséquent, la loi de Xn+1 sachant X0 , X1 , . . . , Xn est donnée par
P(Xn+1 ∈ A | X0 = x0 , . . . , Xn = xn ) = P(f (xn , Z0 ∈ A)
= P(Z0 ∈ f (xn , ·)− 1(A)).
Elle en dépend que de Xn et de façon homogène en temps, donc (Xn )
est une chaîne de Markov homogène en temps.
2. (a) Pour construire la chaîne de Markov, il suffit de considérer une
variable aléatoire X0 de loi µ et une suite de variables aléatoires
mutuellement indépendantes (Zn )n≥1 de loi uniforme sur [0, 1] définies sur un même espace de probabilité (Ω, F, P) (dont on admet
l’existence). On définit alors Xn par récurrence :
Xn+1 −1
Xn+1 est l’unique élément tel que Zn+1 ∈ [
X
k=0
Xn+1
pXn ,k ,
X
pXn ,k ].
k=0
La suite récurrente aléatoire (Xn ) est alors une chaîne de Markov
de matrice de transition P .
(b) Supposons, sans perte de généralité, que l’espace d’état est N.
Soit (Xn0 )n une chaîne de Markov homogène sur N, de matrice
de transition P et de distribution initiale µ. La suite récurrente
aléatoire (Xn )n∈N construite dans la section précédente est alors
une chaîne de Markov de même loi initiale que X 0 et de même
matrice de transition, donc de même loi. En définitive, X 0 a même
loi qu’une suite aléatoire récurrente.
Exercice 3 (Modèle de file d’attente sur N). On considère une file d’attente
avec 0 clients au temps 0 et on suppose que, à chaque instant n, un client est
retiré de la file d’attente et Yn nouveaux clients se présentent, où (Yn )n≥0 est
une suite de v.a. iid de loi q sur N.
3
1. Montrer que la suite (Xn )n∈N des nombres de clients aux instants successifs est une chaîne de Markov.
2. Donner la matrice de transition de cette chaîne lorsque
1
1
1
q = δ0 + δ1 + δ2 .
3
2
6
Solution.
1. On a X0 = 0 presque sûrement et, pour tout n ≥ 0,
Xn+1 = (Xn − 1)+ + Yn+1 = f (Xn , Yn+1 ),
où (x, y) 7→ (x − 1)+ + y est une fonction mesurable et Y1 , . . . , Yn , . . .
sont des variables aléatoires indépendantes identiquement distribuées,
indépendantes de X0 . On en déduit que la suite (Xn ) est une suite
aléatoire récurrente, il s’agit donc d’une chaîne de Markov.
2. On a, pour tout n ≥ 1 et tout i, j ∈ N,
P(Xn+1 = j | Xn = i) = P((i − 1)+ + Yn+1 = j).
Si i ≥ 1, alors (i − 1)+ + Yn+1 = i − 1 + Yn+1 , donc
P(Xn+1 = j | Xn = i) = P(Yn+1 = j − i + 1)
1
si j = i − 1

3


 1 si j = i
= 21

si j = i + 1


6
0 sinon.
Si i = 0, alors (i − 1)+ + Yn+1 = Yn+1 donc
P(Xn+1 = j | Xn = 0) = P(Yn+1 = j)
1
si j = 0

3


 1 si j = 1
= 21

si j = 2


6
0 sinon.
Exercice 4. Soit X une chaîne de Markov sur {1, 2, 3} de mesure initiale
1
δ + 12 δ3 et de matrice de transition
2 2


3 0 0
P = 1/3  1 1 1 
2 0 1
4
1. Calculer, pour tout n ≥ 1, la loi de Xn .
2. Montrer que, pour tout n, p ≥ 1, la loi du couple (Xn , Xn+p ) est donnée
par
P(Xn = x, Xn+p = y) = [µP n ]1x [P p ]xy , ∀x, y.
3. Donner explicitement les valeurs de P(Xn = 1, Xn+p = 1) et P(Xn =
3, Xn+p = 2).
Solution.
1. La loi de Xn est donnée par µP n . On a P = QDQ−1 , où




1 0 0
1 0
0
Q =  1 1 1  et D =  0 1/3 1/3  .
1 0 1
0 0 1/3
On en déduit que, pour tout n ≥ 1,
 n
3 0 0
1
P n = QDn Q−1 = Q n  0 1 n
3
0 0 1
 n

3 0
0
1
1  n
3 1 n + 1  0
= n
3
3n 0
1
−1


n
3
0 0
1  n
3 − n − 1 1 n .
= n
3
3n − 1
0 1

 Q−1

0
0
1 −1 
0
1
En définitive, la loi de Xn est donnée par


3n
0 0
1 1 1  n
3 −n−1 1 n 
µP n = 0, ,
2 2 3n
3n − 1
0 1
1
=
(2 · 3n − n − 2, 1, n + 1)
n
2·3
2. Pour tout x et pour tout y,
P(Xn = x, Xn+p = y) = P(Xn = x) P(Xn+p = y | Xn = x)
= P(Xn = x)P(Xp = y | X0 = x)
= [µP n ]1x [P p ]xy .
5
3. On en déduit que
P(Xn = 1, Xn + p = 1) =
2 · 3n − n − 2
2 · 3n
et
n+1
· 0 = 0.
2 · 3n
Ce dernier résultat est logique puisque la chaîne de Markov ne peut pas
aller de 3 vers 2.
P(Xn = 3, Xn+p = 2) =
Exercice 5 (Temps de visites successifs). Soit A ⊂ E. On appelle premier
temps de retour en A de la chaîne X le temps d’arrêt
TA = inf{n ≥ 1, Xn ∈ A}.
On note TAp le pème temps de retour en A par la chaîne X. Ainsi,
T 0 = 0, TA1 = TA et, pour tout p ≥ 1, TAp+1 = inf{n ≥ TAp + 1, Xn ∈ A}.
Démontrer (par récurrence) que les temps de retour sont des temps d’arrêt.
Solution. Le temps T 0 = 0 est déterministe donc c’est un temps d’arrêt.
Supposons que TAp est un temps d’arrêt. On a alors
{TAp+1 ≤ n} = {TAp ≤ n − 1} ∩ {∃k ∈ {TAp + 1, . . . , n} tel que Xk ∈ A}
p
= ∪n−1
l=1 {TA = l} ∩ {∃k ∈ {l + 1, . . . , n} tel que Xk ∈ A}
p
l−1
= ∪n−1
l=1 ∩k=1 {TA = l} ∩ {Xk ∈ A}.
Il s’agit d’une union finie d’intersections finies d’éléments de Fn (c’est-à-dire
σ(X0 , X1 , . . . , Xn )), donc
{TAp+1 ≤ n} ∈ Fn .
Exercice 6. Soient S et T deux temps d’arrêt pour (Xn )n≥0 tels que S ≤ T
presque sûrement. Montrer que FS ⊂ FT .
Solution. Soit A ∈ FS . On a alors
A ∩ {T ≤ n} = A ∩ {S ≤ n} ∩ {T ≤ n},
où A ∩ {S ≤ n} ∈ Fn car A ∈ FS et {T ≤ n} ∈ Fn car T est un temps
d’arrêt. En définitive,
A ∩ {T ≤ n} ∈ Fn , ∀n ∈ N,
donc A ∈ FT
6