Transcript KNN 5 Klassifikation und Approximation mit MLP

CIC Lab
Computational Intelligence
and Control Laboratory
5. Klassifikation und
Approximation durch ein
Multilayer Perzeptron (MLP)
Jörg Krone, Ulrich Lehmann, Hans Brenig, Oliver Drölle
Output
Input
SS 2005
5. Klassifikation und Approximation mit MLP
1
Inhalt
CIC Lab
Computational Intelligence
and Control Laboratory
a. Einfaches Perzeptron am Beispiel künstliches
Auge
b. Klassifikationsleistung für Muster als Funktion
der Layerzahl
c. Approximation von Kennlinien
d. Ergebnis der Approximation einer technischen
Kennlinie
SS 2005
5. Klassifikation und Approximation mit MLP
2
CIC Lab
Einfaches Perzeptron am
Beispiel künstliches Auge
Computational Intelligence
and Control Laboratory
Aufgabenstellung: Erkennung des Musters auf der Retina
SS 2005
5. Klassifikation und Approximation mit MLP
3
Realisierung mit Perzeptron
CIC Lab
Computational Intelligence
and Control Laboratory
• Erkennung des Musters auf der Retina
• Perzeptron: dreilagig
• Aktivierungsfunktion: binäre Funktion für Ebene 0
und 1. Eingabeschicht: binär (0,1)
SS 2005
5. Klassifikation und Approximation mit MLP
4
Klassifikationsleistung für Muster als
Funktion der Layerzahl
CIC Lab
Computational Intelligence
and Control Laboratory
SS 2005
•
durch die Erhöhung der Layerzahl lassen sich
komplexere Figuren besser klassifizieren.
•
durch die Verwendung von stetigen Aktivierungsfunktionen werden die Kanten geglättet
5. Klassifikation und Approximation mit MLP
5
Approximation von Kennlinien
CIC Lab
Computational Intelligence
and Control Laboratory
Aufgabenstellung: Das statische Verhalten eines
technischen Systems, gegeben durch die Kennlinie
ua = f(ue) soll gelernt werden
SS 2005
5. Klassifikation und Approximation mit MLP
6
CIC Lab
MLP für Approximation
von Kennlinien
Computational Intelligence
and Control Laboratory
• Lernen und approximieren einer unbekannten
Kennlinie
• Perzeptron: drei- oder vierlagig,
• Aktivierungsfunktion: Eingabeschicht: Identität
(linear); Schicht 2 und 3: sigmoide Funktion;
Ausgangsschicht: Identität (linear).
SS 2005
5. Klassifikation und Approximation mit MLP
7
CIC Lab
Schema der Approximation
von Kennlinien
Computational Intelligence
and Control Laboratory
Output
Input
• Nach dem Training wird die unbekannte Funktion
(dicke schwarze Linie) durch die sigmoiden
Funktionen der inneren Schichten (dünne Linien)
stückweise approximiert
• die Anschmiegung an die vorgebenene Kennlinie
erfolgt durch die Gewichtsänderung im Training
• je höher die Frequenz der Kennlinie, desto mehr
Schichten sind erforderlich
SS 2005
5. Klassifikation und Approximation mit MLP
8
Ergebnis der Approximation
CIC Lab
0.8
Computational Intelligence
and Control Laboratory
1:5
'data6.txt' using 1:3
1:2
0.7
Ausgangswerte
0.6
Nach 1000 Trainingsepochen
Nach 2000 Trainingsepochen
0.5
0.4
0.3
0.2
0.1
0
0
SS 2005
0.1
0.2
0.3
0.4
0.5
5. Klassifikation und Approximation mit MLP
0.6
0.7
0.8
9
CIC Lab
Bewertung der
Approximationsleistung
Computational Intelligence
and Control Laboratory
• nach dem Training wird die unbekannte Funktion
(rote Linie) durch die sigmoiden Funktionen der
inneren Schichten (blaue Linie) stückweise
approximiert und aufsummuiert vom
Ausgangsneuron
• die Kennlinie wird nach etwa 2000 Trainingsepochen mit guter Näherung wiedergegeben
• alle Trainings-, Validierungs- und Testdaten wurden
vor dem Training normiert
SS 2005
5. Klassifikation und Approximation mit MLP
10
Fragen
CIC Lab
Computational Intelligence
and Control Laboratory
Fragen Sie bitte!
SS 2005
5. Klassifikation und Approximation mit MLP
11
Danke
CIC Lab
Computational Intelligence
and Control Laboratory
Vielen Dank für Ihr Interesse!
SS 2005
5. Klassifikation und Approximation mit MLP
12