Transcript Incertitude, risque et apprentissage

Incertitude, risque
et apprentissage
ECO8071 – Charles Séguin
Inspiré en partie de notes de Larry Karp et Christian
Traeger
1
2
L’INCERTITUDE, qu’est-ce?
 Ne pas connaître la valeur d’un élément?
 Ne pas connaître la probabilité d’un événement?
 Ne pas avoir conscience de la possibilité d’un événement?
 Un exemple : lancer une pièce de monnaie en l’air
 Qu’est-ce qui est incertain?
 Est-ce risqué?
3
CATÉGORISATION de l’incertain
 Incertitude :
 Je connais toutes les
possibilités;
 Je représente la
vraisemblance de leur
occurrence par des
probabilités.
1
2
1
2
4
CATÉGORISATION de l’incertain
 Incertitude
 Ambiguïté et flou :
?
 Je connais toutes les
possibilités;
 Je ne peux représenter la
vraisemblance de leur
occurrence par des
probabilités uniques.
?
5
CATÉGORISATION de l’incertain
 Incertitude
 Ambiguïté et flou
 Inconscience :
 Je ne connais pas toutes
les possibilités.
?
 Nous allons nous concentrer
sur l’incertitude.
6
INCERTITUDE et RISQUE
 Lancer une pièce est-il risqué?
 Parier sur le résultat du lancé d’une pièce est-il risqué?
 Il y a risque lorsque l’objectif (utilité, profit, etc.) d’un agent est
incertain.
 L’incertitude d’un élément affectant l’utilité d’un agent expose
cet agent au risque.
7
REPRÉSENTATION de
l’incertitude
 Variable aléatoire :
 Une variable dont les valeurs possibles sont associées à des
probabilités.
 Probabilité :
 Nombre entre 0 et 1 qui mesure la vraisemblance;
 La somme des probabilités des valeurs d’une variable aléatoire est 1.
 Pile ou face : R Î {Pile, Face} r1 = Pile r2 = Face Pr(r1 ) = 0, 5 Pr(r2 ) = 0, 5
 Parier 100 $ sur pile : P Î {100,-100} r1 =100 r2 = -100 Pr(r1 ) = 0, 5 Pr(r2 ) = 0, 5
8
DISTINCTIONS importantes ou
non
Incertitude
 Fondamentale :
 La variable est aléatoire
indépendamment de la
perception de l’agent;
 (Purement) stochastique.
 Perceptive :
 Certaines limitations de
l’agent rendent la
variable aléatoire;
 Incertitude (propre).
Probabilité
 Objective :
 Tirée de données
statistiques ou d’un
raisonnement logique.
 Subjective :
 Représente les croyances
de l’agent;
 Il peut y avoir des
probabilités subjectives
différentes pour le même
événement.
9
ESPÉRANCE et UTILITÉ ESPÉRÉE
 Espérance :
 Somme des valeurs d’une
variable aléatoire
pondérée par leurs
probabilités;
 Pari : E(P) = 0, 5´100 + 0, 5´ (-100) = 0
 Utilité espérée :
 Somme de l’utilité des
valeurs d’une variable
aléatoire pondérée par
leurs probabilité
 Pari : EU(P) = 0, 5´U(x,100)+ 0, 5´U(x,-100)
10
APPRENTISSAGE
 Concept dynamique;
 Consiste à mettre à jour les probabilités d’une variable aléatoire
avec des informations nouvelles;
 Après que la pièce soit retombée :
 Quels sont les probabilités?
 Vas-tu parier 100 $ sur pile?
 L’apprentissage peut influencer une décision risquée.
11
TYPES d’Apprentissage
 Surprise (Naïf) :
 L’apprentissage n’est pris
en compte qu’une fois
qu’il s’est produit.
 Anticipé (Sophistiqué) :
 L’apprentissage est pris en
compte avant qu’il se
produise.
 Passif :
 L’apprentissage est
exogène aux décisions de
l’agent.
 Actif :
 L’apprentissage est
affecté par les décision
de l’agent.
12
Un exemple simple (décision
binaire)
 2 périodes;
 Décision : construire un barrage ou pas (irréversible);
 Bénéfices : un barrage génère des bénéfices de 10M $ par
période;
 Coûts : un barrage dénature la rivière sur laquelle il est construit,
ce qui génère des coûts incertains de 3M $ ou 35M $ avec
probabilités égales (peu importe le moment de construction);
 L’objectif du décideur est de maximiser l’espérance des
bénéfices nets des coûts.
13
Exemple simple
SANS APPRENTISSAGE
 Doit-on construire et quand?
Période 1
oui
Période 2
1
1
E BN =10 +10 - ´ 3- ´ 35 =1
2
2
Déjà fait
Construire
non
Bénéfices nets espérées
oui
1
1
E BN =10 - ´ 3- ´ 35 = -9
2
2
Construire
non
E BN = 0
14
Exemple simple
AVEC APPRENTISSAGE ANTICIPÉ
 Si j’anticipe que je vais connaître la valeur des coûts avec
certitude à la période 2?
Période 1
oui
Période 2
35
App.
Déjà fait
3
Déjà fait
Espérance
BN = 20 - 35 = -15
1
Construire
non
Bénéfices nets
35
App.
Cons.
3
Cons.
BN = 20 - 3 =17
oui
BN =10 -35 = -25
non
oui
BN = 0
BN =10 -3 = 7
non
BN = 0
3, 5
15
Exemple simple
apprentissage NON-anticipé
 Que se passe-t-il à la période 1 si le décideur n’anticipe pas qu’il
apprendra la vraie valeur des dommages à la rivière?
 Décision identique à l’absence d’apprentissage.
 Est-ce toujours le cas?
 Non…
16
Valeur d’OPTION (quasi)
 Dans l’exemple précédent, l’apprentissage augmente la valeur
maximale de l’objectif (ex ante);
 La différence entre la valeur de l’objectif ex ante avec
apprentissage anticipé et sans apprentissage anticipé est la
valeur d’option;
 Dans le cas de notre exemple, la valeur d’option d’attendre
d’apprendre avant de décider de construite ou non le barrage
est de 2,5M $.
 La valeur d’option peut-elle être négative?
17
Deuxième exemple
(décision CONTINUE)
 Un problème de changements climatiques :
 Deux périodes : i Î {1, 2}
 Niveau d’émission dans la période i : xi
 Incertitude sur les dommages : S Î {1,3} Pr(S =1) = 0, 5 Pr(S = 3) = 0, 5
é2
ù
2
2
 Objectif : E êå( 5xi - xi ) - S(x1 + x2 ) ú
ë i=1
û
 Quel est le niveau optimal d’émission sans apprentissage?
 Réponse : x1 = x2 = 0, 5
 Objectif maximisé : 2,5
18
Deuxième exemple
APPRENTISSAGE NON-ANTICIPÉ
 Décision sans apprentissage à la période 1 et décision
contingente à la période 2.
Période 1
Période 2
S =1
x2 =1
Objectif
ex post
Objectif espéré
4
0, 5´ 4 + 0, 5´1, 75 = 2,875
x1 = 0, 5
S=3
x2 = 0, 25
1, 75
19
Deuxième exemple
APPRENTISSAGE ANTICIPÉ
 Décision contingente à la période 2 utilisée pour résoudre les
émissions de la période 1.
Période 1
Objectif espéré
Période 2
25
x2 = 26
» 0, 96
x1 = 15
26 » 0, 58
x1 = ?
S =1
x2 =
S=3
x2 =
5 - 2x1
4
5 - 6x1
8
70
x2 = 256
» 0, 27
» 2,885
20
Prudence
 L’anticipation de l’apprentissage ne diminue pas
nécessairement les actions irréversibles optimales précédents
l’apprentissage;
 Cela dépend de la nature du problème, du type
d’apprentissage et de la prudence du décideur;
 La prudence caractérise les préférences du décideur par
rapport à un changement de niveau de risque;
 Si le risque augmente dans une période, un décideur préférera
transférer de la richesse vers cette période si il est prudent;
 Un décideur est prudent si la troisième dérivé de sa fonction
d’utilité (objectif) est positive.
21
Principe de précaution
 Qu’est-ce?
 Définition de la Convention-Cadre des Nations Unies sur les
Changements Climatiques :
 Lorsqu’il y a risque de dommages irréversibles ou importants, le
manque de certitude scientifique complète ne devrait pas justifier de
repousser des mesures efficientes pour prévenir la dégradation de
l’environnement.
 Que pensez-vous de cette définition?
 Peut-elle aider à faire des choix?
22
Résolution PARTIELLE de
l’incertitude
 Les exemples précédents ont considérés uniquement une
résolution complète de l’incertitude.
 Qu’est-ce qu’une résolution partielle?
 Prenez le dernier exemple. Si au lieu d’apprendre la valeur de S,
le décideur modifiait les probabilités attribués à chacune des
réalisations de S.
 Avec probabilités égales, le décideur peut apprendre que :
 a:
Pr(S =1) = 34 Pr(S = 3) = 14
 b:
Pr(S =1) = 14 Pr(S = 3) = 43
23
Apprentissage ACTIF
 L’apprentissage est actif lorsque le décideur peut influencer
l’arrivée d’information.
 Cela implique souvent un arbitrage entre quête d’information et
coûts.
 Revenons à notre exemple de changements climatiques
(résolution complète de l’incertitude):
 Supposons que la résolution complète de l’incertitude est incertaine
et que cette incertitude dépend des émissions de la première
période;
 Avec probabilité p(x1 ) j’apprends avec certitude la valeur de S, sinon
je n’apprends rien, et p'(x1 ) > 0.
24
Incertitude avec INFÉRENCE
BAYÉSIENNE
 Théorème de Bayes :
 En mots : sachant les probabilités inconditionnelles des événements A
et B, ainsi que la probabilité conditionnelle de B si A a déjà été
observé, quelle est la probabilité de A conditionnelle à l’observation
de B?
Pr(B A)´ P(A) Pr(A Ç B)
Pr(A
B)
=
=
 En math :
Pr(B)
Pr(B)
 Pour l’apprentissage :
 Le décideur a ex ante une distribution a priori de la variable aléatoire;
 L’observation d’un signal fournira de l’information sur cette variable
et permettra d’établir une distribution a posteriori;
 Dans les deux premiers exemples avec distributions discrètes, le signal
donnait une information parfaite sur la variable aléatoire, ce qui
impliquait une distribution a posteriori où une seule valeur avait une
probabilité de 1.
25
Distributions conjuguées
 Un truc de modélisation pour utiliser l’inférence bayésienne, les
distributions conjuguées.
 Si la probabilité postérieure appartient à la même famille que
l’antérieure, cette dernière est la conjuguée de la distribution
conditionnelle du signal.
Pr(A B) =
Pr(B A)´ Pr(A)
Pr(B)
=
Pr(B A)´ Pr(A)
ò éëPr(B A)´ Pr(A)ùû dA
 Si Pr(A) est la conjuguée antérieure de Pr(B A), alors la distribution Pr(A)
appartient à la même famille que Pr(B A) .
 Exemple : si le signal est distribué conditionnellement Poisson et
que A est distribué Gamma, alors A conditionnel au signal est
aussi distribué Gamma (signal dist. selon binomiale négative).
26
Distributions conjuguées
EXEMPLE
 Revenons encore à l’exemple de changement climatique.
 S peut prendre les valeurs entières s Î {0,1, 2,...} ;
S ~ Pois(l )
l ~ G(a, g )
 Quel est le signal?
 Sur quoi apprend-t-on?
 Qu’est qui est fondamentalement incertain?