Processus stochastiques
Download
Report
Transcript Processus stochastiques
Processus stochastiques
Adapté de Yannis Korilis, Christian St-Jean, Dave
DeBarr, Bob Carpenter, Jennifer Chu-Carroll et plusieurs
autres
Processus stochastique
Phénomène chronologique où intervient le hasard
Caractérisé par ses différentes réalisations
Les valeurs instantanées sont des variables aléatoires
Ex: Suite de lancers de dé (par ex., 1,3,2,5,3,6,2,4…
réalisation
Signal radar,
Écho de voix
V.A.
Notation :
Temps continu : X(t )
Temps discret : X(tn) ; X(nTe) ; X(n) ; Xn
Processus de Poisson
Les signaux observés sont « rares » et leur survenue dépend
du temps d’attente T et d’un paramètre
Le nombre de signaux durant T est:
P( N (t T ) N (t ) k )
( T ) k
k!
e T
Le délai entre deux signaux suit une loi exp. de paramètre
Pt T eT
Le temps d’attente entre « k » signaux suit une loi G
Processus de renouvellement typique (c.à.d sans mémoire)
Exemple
Dans un ensemble de documents analysés, le nombre moyen de motifs
remarquables est 3 par document :
Temps moyen d’attente : 1/3 de document
Nombre moyen de motifs par document : 3
Probabilité qu’il n’y ait aucun motif recherché dans 1 document :
•
30 3
P(X 0) e 0.049
0!
Probabilité qu’il y ait moins de 3 motifs recherchés dans 3 documents :
•
P( X 3)
90
0!
e
9
91
1!
e
9
92
2!
e 9 0.0062
•
Probabilité de fouiller plus d’un document avant de trouver un
motif recherché : P(T 1) e3 0.049
•
Probabilité de fouiller plus de 3 documents avant de trouver un
motif recherché : P(T 3) e9 0.00012
Exemple
Le nombre quotidien de personnes qui visitent une bibliothèque suit
une loi de Poisson de paramètre = 12. Quelle est la probabilité que
plus de 250 personnes viennent durant 22 jours ouvrables ?
•
•
•
On a T = 12·22 = 264.
La probabilité recherchée est donc
P(X 250) = 1 - P(X < 250) = 1 - exp(-264)·Si=0..249 264i/i! = 0.813
On peut accélérer les calculs en faisant l’approximation de la distribution de Poisson par une
gaussienne de moyenne m = et de variance s2, valant toues les deux T = 264. Cela donne :
P(X 250) = P(X - m -14) @ P((Y - m)/s 250/s) = P(Z -14/264½)
où Z est une variable normale standard. Donc
P(X 250) @ ½·[1 + erf(7·33½/66)] = 0.806
Processus de Markov
L’évolution du processus dépend de son comportement
passé (processus à mémoire)
•
1er ordre : Si on observe on à l ’instant tn, alors
P( X (tn ) on X (tn1 ) on1,..., X (t1 ) o1 ) P( X (tn ) on X (tn1 ) on1)
L’état courant du système suffit pour prédire son prochain état
•
2nd ordre : L’état courant du système et celui le précédant suffisent
pour prédire le prochain état.
Andrei Markov (1856-1922) : statisticien russe spécialisé en modèles probabilistes temporels.
Chaîne de Markov
Processus stochastique à temps discret
Les états Xn forment une suite d’indice {0,1,2,…}
Exemple:
Alphabet : S = {‘A’,’C’,’G’,’T’}
Séquence : {Xn} = ACGCCTAGGCTAGCTTATCG
Propriété de Markov :
P{ X n1 j | X n i, X n1 in1,..., X 0 i0 } P{ X n1 j | X n i }
Hypothèse de stationnarité : P{ X n1 j | X n i } Pij
Probabilités de transition entre états : Pij 0, Pij 1
Matrice des probabilités de transition P=[Pij]
Probabilités initiales : i 0 ,
m
1
i0
i
j 0
Représentation d’une chaîne de Markov
Il faut définir:
L’espace des observations S={o1,...,om}
Alphabet définissant la valeur possible de chaque état observé de X(t)
La matrice des probabilités de transitions A={ai,j}
ai,j = P(oj|oi) : probabilité d’observer oj pour un état après avoir
observé oi pour l’état précédent
Le vecteur des probabilités initiales ={i}
i=P(oi) : Probabilité d’observer oi à l’état initial
Exemple:
X(t) : Temps qu’il fait sur 3 jours
Représentation Graphique
S={‘ neige ’,‘ pluie ’, ’soleil ’}
0.4 0.3 0.3
0.2 0.6 0.2
0.1 0.1 0.8
A=
=
m
a
j 1
0.4
ij
{0.02 , 0.4, 0.58}
i 1
0.3
0.58
m
0.2
Neige
0.02
1
0.6
i
1
Pluie
0.3
0.1
0.2
Soleil
0.8
0.1
0.4
Probabilité d’une séquence d’états
Th. Bayes
P(on , on1 ,...,o1 ) P(on on1 ,...,o1 ) P(on1 ,...,o1 )
Propriété de
Markov
P(on on1 )
P(on1 on2 ,...,o1 ) P(on2 ,...,o1 )
P(on on1 )
P(on1 on2 )
P(o2 o1 ) P(o1 )
...
n
P( o1 ) P( ot ot 1 )
t 2
Représentation Graphique
Application:
Quelle est la probabilité qu’il fasse ‘ Soleil ’,
5 jours de suite ?
P(Soleil, Soleil, Soleil, Soleil, Soleil)=
0.58*0.8*0.8*0.8*0.8 =0.2375
P(Neige, Neige, Pluie, Pluie, Soleil)=
0.02*0.4*0.3*0.6*0.2=0,000288
0.4
Neige
0.02
0.3
0.58
0.6
0.2
Pluie
0.3
0.1
0.2 0.1
Soleil
0.8
0.4
Et s’il y a plusieurs chemins ?
Probabilité de faire une transition en n sauts
Pijn P{X nm j | X m i},
n, m 0, i, j 0
n
n
n
Note : Pij est l’élément (i, j) de la matrice Pn ; Pij P
ij
Les équations de Chapman-Kolmogorov pemettent des « stopover »
n m
ij
P
Pikn Pkjm ,
n, m 0, i, j 0
k 0
• Quelle est la probabilité qu’il fasse ‘ Soleil’ dans 2 jours sachant qu’il neige
aujourd’hui ?
0.4
0.3
N
0.3
N
P
S
P( X 3 S X 1 N )
0.3
0.2
0.8
P( S N ) P( N N ) P( S P) P( P N ) P( S S ) P( S N )
S
0.3 * 0.4 0.2 * 0.3 0.8 * 0.3 0.42
ou
P( X 3 S X 1 N ) P 2
NS
système d’évènements complet
On y suit tous les chemins possibles sans se
soucier de l’etat de départ :
P( X t j ) P( X t j X t 1 i ) P( X t 1 i )
m
i 1
•
Quelle est la probabilité qu’il fasse ‘ Soleil ’ dans 3 jours ?
P( X (3) S ) P( S N ) P( X (2) N ) P( S P) P( X (2) P)
P( S S ) P( X (2) S )
P( X (3) S ) 0.3* (0.4* 0.02 0.2* 0.4 0.1* 0.58)
0.2* (0.3* 0.02 0.6* 0.4 0.1* 0.58)
0.8* (0.3* 0.02 0.2* 0.4 0.8* 0.58) 0.5446
0.4
N
0.3
0.3 P 0.2
N
0.3
S
0.8
S
Exemple
• Un programme informatique comprend 5 modules indépendants,
sp1, .., sp5, et un module de sortie sp6
De sp1 on peut :
aller à sp2 avec probabilité de ½
boucler avec probabilité de ½
De sp2 on peut :
aller à sp1 avec probabilité de ½
aller à sp4 avec probabilité de ½
De sp3 on peut :
aller à sp1 avec probabilité de ¼
aller à sp2 avec probabilité de ¼
aller à sp5 avec probabilité de ¼
à sp6 avec probabilité de ¼
De sp4 on va à sp3
De sp5, on boucle
De sp6, on boucle
0.50
1
2
0.50
0.50
0.25
0.25
4
3
6
1.00
0.25
0.25
5
• Partant de sp2, quelle probabilité d’y être à nouveau au
temps « 4 » ?
Première solution : graphique
Il existe 3 chemins pour aller de 2 à 2 en quatre temps :
24312 avec une proba : 0.50x1x0.25x0.50=1/16
21212 avec une proba : 0.50x0.50x0.50x0.50=1/16
21112 avc une proba : 0.50x0.50x0.50x0.50=1/16
Soit une proba de 3/16=0.187
0.50
1
2
0.50
0.50
0.25
0.25
4
3
6
1.00
0.25
0.25
5
Deuxième résolution : par matrice
Si on pose les probabilités pij sous forme de matrice P,
on a P( X 2 / X 2) p 4
4
0
22
0.5
0
Matrice
initiale P
0,50 0,5 0
0
0
0
0,5
0 0 0,5
0
0
0,25 0,25 0
0 0,25 0,25
0
0 1
0
0
0
0
0 0
0
1
0
0
0 0
0
0
1
1
0.25
0.50
0.25
4
3
6
1.0
0
0.25
0.25
P4
2
0.5
0
0,375 0,25 0,125 0,125 0,0625 0,0625
0,3125 0,1875 0,125 0,125 0,125 0,125
0,1875 0,125 0,0625 0,0625 0,28125 0,28125
0,1875 0,125 0,125 0,0625
0,25
0,25
0
0
0
0
1
0
0
0
0
0
0
1
5
Distribution limite des états
Probabilités des états en fonction du temps:
πnj P{X n j},
πnn (π0n ,π1n ,...)
P{ X n j} P{X n 1 i}P{X n j | X n 1 i} π πin1Pij
n
j
i 0
i 0
• Sous forme matricielle:
πn πn1P πn2 P2 ... π0 Pn
Si n tend vers une valeur stationnaire , on a :
π lim π n
• et
n
π πP
n
n 1
n 2 2
(En partant de π π P ) π P ... π
L’existence de dépend de la structure de la chaîne
La distribution stationnaire existe et est indépendante de
l’état initial si la chaîne est irréductible et apériodique
Irréductible :
• Deux états i et j communiquent si :
n, m : Pijn 0, Pjim 0
•
La chaîne est irréductible si tous les
états communiquent
1
Apériodique :
• Une chaîne est apériodique si
aucun état n’est périodique
• Un état i est périodique si :
d 1: Piin 0 n d
2
1
2
0
0
3
4
3
4
Détermination de la distribution stationnaire
A. Nombre d’états fini
Deux possibilités :
•
Résoudre le système d’équations :
m
π j πi Pij ,
j 0,1,..., m
i 0
m
π
i 0
•
i
1
B. Nombre d’états infini
• Méthodes précédentes non
applicables
• On doit deviner la solution, ou la
trouver par itération:
Dériver de lim P , sachant que
n
n
j PX n j|X 0 iP
n
ij
et donc que Pn converge vers une
matrice dont les lignes valent
Valable pour un petit nombre
d’états
π j πi Pij ,
i 0
π
i 0
i
1
j 0,1,...,
Exemple
•
Une professeure possède
deux parapluies. S’il pleut
et l’un d’eux est disponible,
elle le prend; sinon, elle
sort sans parapluie.
Si p est la probabilité qu’il
pleuve à chaque fois qu’elle
se déplace, quelle est la
probabilité qu’elle prenne
une douche involontaire
alors?
Modèle markovien
Avec i le nombre de parapluies
disponibles à l’endroit présent, on
obtient le diagramme de transition
p
1
i=0
2
1 p
1
1 p
p
La mMatrice des probabilités de
transitions entre états
0
0
P 0
1 p
p
1 p
Se mouiller
P{gets
wet} π0 p p
1 p
3 p
1
p
0
Ex.: chaîne Markov avec un nombre fini d’états
p
1
0
2
1 p
1
1 p
p
0
0
P 0
1 p
p
1 p
1
p
0
π 0 (1 p )π 2
π (1 p )π pπ
π πP
1 p
1
1
1
1
2
π
,
π
,
π
0
1
2
π
1
π
π
p
π
3
p
3
p
3 p
i
0
1
i
2
π 0 π1 π 2 1
Se mouiller
P{gets
wet} π0 p p
1 p
3 p
Ex.: chaîne Markov avec un nombre fini d’états
Si on prend p = 0.1:
1 p 1
1
π
,
,
0.310, 0.345, 0.345
3 p 3 p 3 p
0
1
0
P 0 0.9 0.1
0.9 0.1 0
Se mouiller
P{gets
wet} π0 p p
1 p
3 p
n
On peut aussi calculer en évaluant lim P numériquement
n
0.310 0.345 0.345
lim P n 0.310 0.345 0.345
n
0.310 0.345 0.345
(n 150)
L’efficacité du calcul dépend de la structure de P
Exemple montrant l’indépendance de des
états initiaux
0.6
0.4
1
À l’équilibre, on a :
=[1/4 1/2 1/4]
0.4
2
πb0 [0,1,0]
π0c [0,0,1]
0.6
3
0.4
Ainsi, si on part de trois états différents :
π0a [1,0,0]
0.6
0.4
0,6 0,4
0
0,2 0,6 0,2
0 0,4 0,6
On obtient par simulation :
π1
0.6
0.4
π 20
0.0
0.25
0.25
0.25
0.2
0.6
0.50
0.25
0.50
0.50
0.25
0.25
0.2
0.0
0.4
0.6
Autres processus markoviens
Chaînes de Markov généralisées (ou Semi-Markov) :
Le prochain état dépend de l’état présent, plus la durée de temps
passée dans ce dernier.
Chaînes de Markov à temps continu :
Cas spécial des processus semi-markoviens.
Champs de Markov
Modèle de Markov s’appliquant à une distribution spatiale de
variables aléatoires
Chaînes de Markov cachées :
Elles sont accessibles uniquement à travers des observations
indirectes