Transcript ProbabilistischeNeuronaleNetze

Probabilistic Neural Network
Team 6 – Multimedia Engineering
Fakultät für Ingenieurwissenschaften
Brodkorb, Karsten
Liesche, Toni
Wendel, Tom
Team 6: Probabilistic Neural Networks
2
„The resulting network […] has the unique feature that the decision boundary
implemented by the probabilistic neural network (PNN) asymptotically
approaches the Bayes optimal decision surface.“
Donald F. Specht (Lockheed Missiles & Space Company) - 1990
Team 6: Probabilistic Neural Networks
Inhaltsverzeichnis
1 Probabilistic Neural Networks
… Grundlagen
… Allgemeiner Aufbau
… Mathematische Grundlagen
… Der Glättungsparameter σ
2 Implementierung in Knime
3 Testdaten
4 Quellen
3
Team 6: Probabilistic Neural Networks
Grundlagen

Eigenschaften:
 Klassifizierer
 Nähert sich optimalem Bayes Klassifizierer an
 Berechnung anhand von Wahrscheinlichkeiten  „Probabilistic“ NNs
 Unanfällig gegenüber Ausreißern
 Kurze Trainingszeit (klassisches PNN)

Voraussetzungen:
 Datensätze mit numerischen Attributen
 Menge mit (repräsentativen) Trainingsdaten
 Große Mengen an Speicher- und Rechenzeit nötig
4
Team 6: Probabilistic Neural Networks
Allgemeiner Aufbau




Input Layer
 Unbekannte Eingangsdaten
Pattern Layer
 Trainingsdaten in Populationen, Berechnung des Abstands
Summation Layer
 Bildung des durchschnittlichen Abstands je Population
Output Layer
 Klassifizierung
5
Team 6: Probabilistic Neural Networks
6
Mathematische Grundlagen





x
xik
n
σ
p
Unbekannte Eingabegröße
k-tes Beispiel der i-ten Population
Anzahl der Elemente einer Population
Glättungsparameter
Länge der Merkmalsvektor
𝑔𝑖 𝑥 =

siehe Dokumentation
1
(2𝜋)𝑝/2 𝜎 𝑝 𝑛𝑖
𝑛𝑖
𝑒
𝑘=1
−
𝑥−𝑥𝑘𝑖
2𝜎 2
2
Team 6: Probabilistic Neural Networks
Der Glättungsparameter σ (I)

Kleiner Wert für σ:
 Ausschläge in der Dichtefunktion
entsprechen den Positionen
der zugehörigen Trainingsdaten

Größerer Wert für σ:
 Stärkere Interpolation der Werte
 Werte nahe der Trainingsdaten:
ähnliche (geschätzte) Wahrscheinlichkeiten wie Trainingsdaten

Noch größerer Wert für σ:
 Weitere Interpolation

Sehr großer Wert für σ:
 Gaußkurve unabhängig der realen Verteilung
7
Team 6: Probabilistic Neural Networks
Der Glättungsparameter σ (II)

Möglichkeiten zur Bestimmung:
 Freie Festlegung aufgrund von Erfahrung

Nutzung einer heuristischen Methode:
 Optimalen Wert innerhalb eines Intervalls suchen
 Intervall und Schrittweite verkleinern
 z.B. Jackknifing  siehe Dokumentation
8
Team 6: Probabilistic Neural Networks
Inhaltsverzeichnis
1 Probabilistic Neural Networks
2 Implementierung in Knime
… Dynamic Decay Adjustment (DDA)- Algorithmus
… Workflowaufbau
3 Testdaten
4 Quellen
9
Team 6: Probabilistic Neural Networks
Dynamic Decay Adjustment (I)

Konstruktives Training:
 Neue Neuronen werden bei Bedarf angelegt
 Bestimmung der Netztopologie während des Trainings

Schnelles Training:
 In der Regel weniger als 5 Durchläufe

Garantierte Konvergenz:
 Terminierung bei endlicher Anzahl von Trainingsdaten kann bewiesen werden

Unkritische Parameter:
 Nur zwei manuelle Parameter einzustellen

Binärdaten führen zu schlechten Vorhersagen!
10
Team 6: Probabilistic Neural Networks
11
Dynamic Decay Adjustment (II)

Deutliche Klassifizierungszonen: Alle Trainingsdaten erfüllen folgende Eigenschaften
 Alle korrekten Klassifikationen ≥ ϴ+
 Alle falschen Klassifikationen ≤ ϴ Muster in „area of conflict“ haben niedrige Klassenwahrscheinlichkeiten

Zwei Schwellwerte während des Trainings:
 ϴ+: Minimalwert für gewinnende Klasse (0 … 1)
 ϴ-: Maximalwert für nicht gewinnende Klasse (0 … 1)
 ϴ- ≤ ϴ+
Team 6: Probabilistic Neural Networks
12
Dynamic Decay Adjustment (III)

Erweiterungen zu PNNs:
 Individuelle Diagonalmatrix Σ für jeden Trainingssatz statt globales σ
 Alternativer Ansatz: Manuelle Festlegung der Struktur, Anpassung der
Parameter

Dynamic Decay Adjustment vereint Vorteile der Verfahren:
 Topologie des Netzes zur Laufzeit bestimmt
 Lokale Glättungsparameter σ
𝑖
𝑔𝑘𝑖

𝑥 =
1
−
𝑒
𝑝
(2𝜋)𝑝/2 σ𝑖𝑘
𝑥−𝑥𝑘 ²
2
σ𝑖𝑘
2
Gewichtungen für sämtliche Prototypen (abhängig von Topologie)
𝑛𝑖
𝜋𝑘𝑖 𝑔𝑘𝑖 𝑥 ; 𝜋𝑘𝑖 =
𝑔𝑖 𝑥 =
𝑘=1
𝐴𝑖𝑘
𝑛𝑖
𝑖
𝐴
𝑗=1 𝑗
𝑛𝑖
𝜋𝑘𝑖 = 1
;
𝑘=1
Team 6: Probabilistic Neural Networks
Dynamic Decay Adjustment (IV)

Beispiel für DDA- Lernverfahren:

Berechnung: siehe Dokumentation
13
Team 6: Probabilistic Neural Networks
Workflowaufbau

File Reader:
 Liest Daten aus Eingabedatei (CSV-Format)

Partitioning:
 Aufteilung in Trainingsdaten (60%) und Testdaten (40%)
 Stratified Sampling: Beibehaltung der Klassenverteilung

PNN Learner (DDA):
 Training des Netzes, Einstellen von ϴ(-) und ϴ(+)

PNN Predictor:
 Vorhersage der Daten

Ergebnisse normalisiert:
 a posteriori Wahrscheinl.
 Summe aller Klassen = 1
14
Team 6: Probabilistic Neural Networks
Inhaltsverzeichnis
1 Probabilistic Neural Networks
2 Implementierung in Knime
3 Testdaten
… Vorverarbeitung
… Auswertung
4 Quellen
15
Team 6: Probabilistic Neural Networks
Vorverarbeitung

Datenauswahl:
 Vollständige Datensätze gewählt (zum Vergleich mit MLP)

PNN = Euklidische Abstandsberechnung:
 Numerische Werte nötig
 Binärkodierung nominaler Werte

Normierung der Werte:
 0 … 1 für Gleichgewichtung
 Individuelle Gewichtung möglich
16
Team 6: Probabilistic Neural Networks
17
Auswertung





C4.5: Entscheidungsbaum, Erweiterung von ID3  numerische Werte
MLP: Multi Layer Perceptron
kNN: k Nearest Neighbour (k = 3)
Angegeben: Fehlerrate bei Klassifizierung der Testdaten in Prozent
i.d.R.: geringer Einfluss von ϴ-/ϴ+ auf Klassifizierung, großer Einfluss auf Netzgröße
 Ausnahme Kreditscoring: 20,5% Fehlerrate bei 0,2 / 0,4!
Datensatz
Trainingsdaten/
Testdaten
C4.5
MLP
kNN
PNN
ϴ-/ϴ+
Regeln
Reduzierung
d. Netzgröße
Gehalt USA
320 / 214
35,05
33,18
36,45
31,78
0,05/0,1
203
36,6%
Kreditscoring
600 / 400
0
0
0
0,75
0,05/0,5
478
20,3%
Schwertlilien
90 / 60
3,33
5
0
0
0,45/0,65
10
88,88%
DMC 2007
30000 / 20000
0,2/0,4
3227
89,25%
23,645 22,665 23,13
22,615
Team 6: Probabilistic Neural Networks
Inhaltsverzeichnis
1 Probabilistic Neural Networks
2 Implementierung in Knime
3 Testdaten
4 Quellen
18
Team 6: Probabilistic Neural Networks
Quellen
Cheung, Vincent; Cannons, Kevin: An Introduction to Probabilistic Neural Networks.
Winnipeg (Kanada), University of Manitoba, Electrical & Computer Engineering,
Information Paper, 2002
Berthold, Michael R.; Diamond, Jay: Constructive Training of Probabilistic Neural
Networks. Karlsruhe, University of Karlsruhe, Deparment of Computer Design and
Fault Tolerance, Wissenschaftliches Paper, 1997
Specht, Donald F.: Probabilistic Neural Networks. In Neural Networks, Vol. 3. Oxford
(England) und New York (USA): Pergamon Press plc, 1990, S. 109 – 118
19
Team 6: Probabilistic Neural Networks
Vielen Dank für Ihre Aufmerksamkeit!
20