Transcript INTELLIGENCE ARTIFICIELLE

Systèmes Intelligents
Artificial Intelligence
is … the study of the computations that make it
possible to perceive, reason, and act [P.Winston]
- the engineering goal of AI i s to solve real-world problems
- the scientific goal : models of KR, theoryof reasoning,...
INTRODUCTION A L’INFORMATIQUE
Systèmes intelligents : machines adaptatives
INTELLIGENCE ARTIFICIELLE
apprentissage à partir d’exemples, observations et découverte
acquisition et extraction de connaissances
aide pour résoudre des problèmes difficiles
aide aux experts à la découverte
Jerzy KORCZAK
email : [email protected]
http://lsiit.u-strasbg.fr
http://hydria.u-strasbg.fr
http:// erti.u-strasbg.fr
J.Korczak, ULP
aide à la décision : conseil et explications
...
1
Tests d’intelligence : est-ce possible ?
J.Korczak, ULP
2
Des PERCEPTRON aux systèmes intelligents hybrides
A real-lifeTuring test: An interviewer (sitting in a separate room) asks a
• Systèmes auto-adaptatifs
Perceptron [Rosenblatt ,1958], Adaline [Widrow, 1962]
• Le premier joueur artificiel : Checkers [Samuel, 1963]
• Systèmes orientés aux tâches: DENDRAL, MYCIN, AQVAL [1970 -]
• Représentation de connaissances : frames [Minsky, 1975]
• Multilayer-Perceptron, GBR, Kohonen map , ... [Rumelhart, 1985]
• Evolution artificielle [Holland , Goldberg, 1989]
• Apprentissage multi-stratégique[Michalski , 1990]
• KDD, fouille de données, agents intelligents [1995 -]
• Web -sémantique, authentication biométrique [1998 -]
• Robots intelligents, «maisons intelligents», …
series of questions that are randomly directed to either a computer or
a person . Based on the answers, the interviewer must distinguish
which of the two has answered the question. If the interviewer is not
able to distinguish between them, then the computer is intellige nt.
Prix de Loebner Prize ($100,000) … et M. Minsky
Les échecs : “Deep Blue vs G.Kasparow 3.5 : 2.5”
- 10120 jeuxpossibles
- 200 mlnpositions analysées par seconde
- “opening book & extended book”
La communauté IA ne tendent d’évaluer des programmes par
leur résultats, mais par la complexité interne des algorithmes.
J.Korczak, ULP
3
Parcours d’un graphe : Puissance4
J.Korczak, ULP
4
Algorithmes de parcours
Le but du jeu est de former un alignement
de quatre jetons avant son adversaire.
AlphaBeta est un algorithme dérivé de Min-Max
• Recherche en profondeur d’abord ( DFS) et en largeur ( BFS)
• Hill Climbing (descente de gradient)
• Recherche heuristique : Best-First search
– en profondeur ordonnée, en faisceau, du meilleur premier
• Algorithme A* , IDA*, SMA*
• Recherche concurrentielle : jeux
– MIN -MAX, elagage ? ? ? , approfondissement progressif
Propriétés
• Complétude
• Complexité en temps
• Complexité en espace
• Optimalité
J.Korczak, ULP
5
J.Korczak, ULP
6
1
Parcours d’une espace de recherche : jeu Quatro
Algorithme A*
• Description
- 16 pièces différentes ayant chacune 4 caractéristiques :
?claire ou foncée
?ronde ou carrée
?haute ou basse
?pleine ou creuse
- Un plateau de 16 cases.
• But du jeu : créer sur le plateau de jeu un alignement de 4 piè ces ayant au moins une caractéristique commune
Idée : minimiser le coût total f(n) du chemin passant par le nœud n
f(n) = d(déjà parcouru) + d(à parcourir) = g(n) + h(n)
Sous- estimation h(n)
? n h(n) <= h*(n) avec h*(n) = coût réel depuis n au but
Variantes de A*
- IDA* =>A* avec approfondissment itératif
(étend tous les nœuds à l’intérieur d’un contour délimité par la valeur
courante de flimite)
- SMA* => A* avec gestion de mémoire
J.Korczak, ULP
7
Quatro: Construction de l’arbre par Min-Max
J.Korczak, ULP
8
Représentation de connaissances et du raisonnement
•
Méthode proposée par Morgenstern et von Neumann - 1945
Logique de proposition
peut_marie_sophie ? male ? célibataire ? riche ? intelligent
•
Première phase - construction de l ’arbre
? recenser tous les coups possibles à jouer
Logique du Premier Ordre – language Prolog
grandParent (X,Y):= parent(X,Z), parent (Z,Y)
? le choix de la position
? le choix de la pièce à donner à son adversaire.
? générer les plateaux en jouant l’ensemble des coups légaux.
? se positionner sur chacun des plateaux générés et alterner les coups amis
des coups ennemis jusqu'à ce que l’on atteigne la profondeur souhaitée.
Schemata et frames
Arbres, graphes, réseaux
Chromosomes
Ami
Relations
Ennemi
Ami
Représentations orientée objet
Eval
L ’arbre complet contiendrai 16! *15! = 2.73 * 10
25
plateaux
J.Korczak, ULP
9
J.Korczak, ULP
10
Système expert
Représentation de connaissances et du raisonnement
Règles d’inférence : règle du modus-ponens {P, (P? Q)} ? Q
L'indépendance entre la base de connaissances et le moteur
d'inférences est un élément essentiel des systèmes experts.
Exemple :
P : [(La situation autour de Microsoft est nébuleuse)]
(P? Q):
[Quand la situation devient nébuleuse autour d'une compagnie inscrite en bourse,
Base de connaissances
les investisseurs sont sans pitié]
(Q)
Moteur d ’inférences
Interface
[(Les investisseurs sont sans pitié) :
Microsoft (voit) sa capitalisation fondre de 25 milliards US]
Base de faits
Autres règles : modus-tolens {(P? Q), ? Q} ? ? P
syllogisme {(P? Q), (Q? R)}? (P? R)
…
J.Korczak, ULP
11
J.Korczak, ULP
12
2
Cas d’études
Méthodes d’apprentissage automatique
• Arbres de décisions : algorithmes TDIDT (ID3, C4.5)
Réseaux de neurones
• Couverture Progressive : AQ, CN2, …
• Simulation d’une fonction
• Découverte de Concepts : CLUSTER, COBWEB, UNIMEM,
• Découverte de concepts à partir d’images et bases de données
• Instance -Based Learning : IBL
• Authentification biométrique
• Explanantion-Based Learning : EITHER
• Apprentissage à partir de cas : Julia, Prolabo , Radix, Broadway
• Apprentissage par renforcement
Evolution artificielle
• Réseaux de neurones artificiels : MLP, RBF, Kohonen, recurrent nets,
• Régression symbolique
• Algorithmes génétiques : Genitor , GAGS, ACT
• Systèmes hybrides :
• Aide à décision boursière
KBANN, AGWIN, Samarah, G A-A Q,
• Art artificielle
Clementine, Intelligent Miner, Market Miner
J.Korczak, ULP
13
Réseaux neuronaux
J.Korczak, ULP
14
Fonctionnement d’un neurone
Fonction d’activation
Les fondements biologiques
X1
w1
X2
w2
F
influx nerveux
0
axone
soma
1
?
cortex : 1011 neurones
neurone : ~104 entrées
synapse
X3
dendrites
Y1
Y2
?
wi
wk
Y3
? xi*w i
Entrées
Sorties
?
J.Korczak, ULP
15
Exemple :
Rétro-propagation du gradient
x1
y1
x2
y2
x3
y3
...
...
xn
ym
-
16
Rétro-propagation du gradient (GBP)
Apprentissage
y d1
-
y d2
-
y d3
-
...
-
y dm
XOR
X Y XOR(X,Y)
0 0 0
0 1 1
1 0 1
1 1 0
f(netk)=1/(1+e-net )
netj=? wijoi
oj=f(netj)
XOR
0,5
17
J.Korczak, ULP
? k=(tk-ok )f’(netk)
f’(netk)=ok(1-ok)
w (t+1)=wjk(t)+? ? koj
0 jk
W ij=0
0
0
1
0,5
bias
0
0
k
Vecteur
d ’entrée
J.Korczak, ULP
J.Korczak, ULP
bias
1
0
1
0
X
Y
18
3
Exemple :
Rétro-propagation du gradient (GBP)
Apprentissage
XOR
z
X Y XOR(X,Y)
0 0
0
0 1
1
1 0
1
1 1
0
W ij=0
0
0
0
1
0,5 h
XOR
XOR
?????
? z=(1-0.5)*0,5*(1-0.5)=
=0,125
wzx (t+1)=0+0,1*0,125*1=
= 0,0125
X Y XOR
0 0
0,08
0 1
0,91
1 0
1,00
1 1
0,10
XOR
0,91
-3,29
10,9
1
-4,95
-4,95
0,98
bias
0
? h=f’(netj) ? ? kwkj
0,5
Exemple : Rétro-propagation du gradient (GBP)
bias
1
0
1
-2,76
0
y
x
0
bias
1
Axone : Exemple XOR
19
Y
20
GND : Growing Neural Gas
[http://lsiit.u-strasbg.fr/afd]
J.Korczak, ULP
J.Korczak, ULP
7,1
0
X
= 0,5*(1-0,5)*0,125*0,00625= 0,000195
whx =0+0,1*0,000195*1=0,0000195
J.Korczak, ULP
7,1
1
21
J.Korczak, ULP
22
Optimisation d’une fonction
Découverte de classes par réseaux de neurones
à partir d’images satelitaires
HyperEllipses
Composition classiques
Colorée Classification
Perceptron
Expert
(5 classes)
J.Korczak, ULP
HyperEllipses orientables
(5 classes)
23
J.Korczak, ULP
24
4
Classifieurs génétiques
Classification évolutive d’images de télédétection
Démo
CE
p
Algorithme génétique
ai
Message
{xi }
Classifieur « Végétation »
Image
classifiée
Classifieur « Immeuble »
Données
sources
J.Korczak, ULP
25
Classifieur
« Ombre »
…
J.Korczak, ULP
26
Evolution artificielle : Aide à la décision boursière
Une illustration simple
Modèle de « trading expert » :
un sous-ensemble de règles financi ères
Règles boursi ères de l'analyse technique [W.Colby et T. Meyers, J. Murphy]
SI conditions sont atteintes ALORS décision
L’expert débute avec le capital initial C0 ? n0 Pt0 +1 + m
Chaque jour l’expert gén ère une des trois positions :
"Acheter", "Vendre" ou « Garder".
Qualité de l ’expert= F(Gains ou pertes, risque)
J.Korczak, ULP
27
Représentation génétique des experts
J.Korczak, ULP
28
Règles financières : Moyenne mobile
Peugeot
Chaque expert est encodé sous forme d'une chaîne binaire, un chr omosome :
1 0 1 0 0 0 1 0 0 0 1
R1 R2 R3 R4 R5 R6 R 7 R8 R9 R10 R11
Les gènes représentent des règles à exécuter.
Les décisions sont générées selon les conditions spécifiées :
?"Vendre" ; le système prévoit que le prix de l'action va descendre,
?"Acheter", le système prévoit que le prix va augmenter.
?"Ne Rien Faire" la position neutre
Règle :
J.Korczak, ULP
29
J.Korczak, ULP
Acheter : quand MM croise les cours à la hausse
Vendre : quand MM croise les cours à la baisse
30
5
Internet Bourse-Experts - Agent Technology
Projet iBE-RealTime
Expert Discovery andDatabase
Connections
Consulting and simulations
Time series
provider
each 5 sec
Time series
aggregation
each 1 min
Oracle i A S
server
Database
Quotes
Experts
Clients
Supervisor
Expert Generator
J.Korczak, ULP
31
J.Korczak, ULP
32
Concepts
Introduction à la programmation génétique
J. R. Koza, Genetic Programming: On the Programming of Computers by
Means of Natural Selection, MIT Press 1996.
Cycle de la PG
PG : la construction de programmes en utilisant les
concepts d’évolution artificielle
Génération
d’un programme
Représentation d’un programme : un arbre syntaxique
(+
(* A B)
(/
(+C 5)
(- D 2.5)
))
• Opérateurs génétiques :
création, croisement, mutation, sélection
• Fonction fitness
• Primitives de programme :
Ensemble F de fonctions, (*,+, AND, …)
Ensemble T de terminaux (vars, const, …)
+
*
A
/
+
B
Texte de programme
Compilation
C
5 D
Programme exéc.
Exécution
2.5
J.Korczak, ULP
Art Évolutive : Système EVA
Résultats
33
http://hydria.u- strasbg.fr
J.Korczak, ULP
34
Perspectives
• Développement des applications de systèmes hybrides
– perception, vision, interface intelligent, NL
– IA distribuée, agents intelligents
• Systèmes d’extraction de connaissances
– data warehouses , multi-media, Web sémantique, immunologie
artificielle
• Biometrie
– authentification, reconnaissance, interface
• Hardware systems
– silicon retinas, robotique, nomadisme, mobiles embarqués
J.Korczak, ULP
35
J.Korczak, ULP
36
6