Transcript KNN Teil 1 Rel. 5 - Fachhochschule Südwestfalen

CIC Lab
Computational Intelligence:
Grundlagen Neuronaler Netze (NN)
Computational Intelligence
and Control Laboratory
Jörg Krone, Ulrich Lehmann, Johannes Brenig,
Oliver Drölle, Michael Schneider
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
1
30
Inhalt
CIC Lab
Computational Intelligence
and Control Laboratory
•
Was sind Neuronale Netze (NN)?
•
Beteiligte Wissensgebiete an der NN-Forschung
•
Vergleich neuronales Modell gegen Gehirn
•
100 Schritt-Regel
•
Eigenschaften Neuronaler Netze
•
Geschichte der Entwicklung von Modellen für Neuronale Netze
(KNN) seit 1942
•
Geschichte der Entwicklung von KNN 1955
•
Geschichte der Entwicklung von KNN 1969
•
Geschichte der Entwicklung von KNN 1981
•
Geschichte der Entwicklung von KNN 1985
•
Geschichte der Entwicklung von KNN 1991
•
Geschichte der Entwicklung von KNN 1996
•
Anwendungen Neuronaler Netze 1997 bis 1999
•
CI an der FH SWF von 2000 bis heute
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
2
30
Was sind Neuronale Netze (NN)?
CIC Lab
Computational Intelligence
and Control Laboratory
NN (Neuronale Netze)
KNN (Künstlich Neuronale Netze)
ANN (artificial neuronal networks)
•
sind informationsverarbeitende Systeme,
•
die aus einer großen Anzahl einfacher Einheiten (Zellen,
Neuronen) bestehen,
•
die sich Informationen in Form der Aktivierung der Zellen
über gerichtete Verbindungen (connenctions, links)
zusenden.
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
3
30
Wie arbeiten Neuronale Netze (NN)
und womit sind sie vergleichbar?
CIC Lab
Computational Intelligence
and Control Laboratory
KNN haben eine grobe Analogie zu den Gehirnen von
Säugetieren:
•
Informationsverarbeitung durch sehr viele Nervenzellen,
die im Verhältnis zum Gesamtsystem sehr einfach sind
•
und die den Grad ihrer Erregung über Nervenfasern an
andere Nervenzellen weiterleiten.
•
Hiebei handelt es sich um massiv parallele, lernfähige
Systeme, die in vielen Anwendungsfeldern einsetzbar
sind.
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
4
30
CIC Lab
Computational Intelligence
and Control Laboratory
Wissenschaften mit
Verbindungen zum Gebiet der
neuronalen Netze (NN)
Computational Intelligence
Fuzzy-Logik, NN,
Evolutionäre Algorithmen
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
5
30
CIC Lab
Vergleich zwischen
Gehirn und Rechner
Computational Intelligence
and Control Laboratory
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
6
30
Die 100-Schritt-Regel
CIC Lab
Computational Intelligence
and Control Laboratory
Ein bekanntes Argument für die massive
Parallelverarbeitung im menschlichen Gehirn:
Sie können das Bild einer
bekannten Person in ca. 0,1 s
erkennen!
Bei einer Schaltzeit von 1 ms für
Neuronen also in max. 100
sequentiellen Zeitschritten oder
100 Ebenen von Neuronen.
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
7
30
CIC Lab
Eigenschaften Neuronaler Netze
++ Vorteile ++
Computational Intelligence
and Control Laboratory
 Lernfähigkeit
 Parallelität
 verteilte Wissensrepräsentation
 höhere Fehlertoleranz
 assoziative Speicherung von Informationen
 Robustheit gegen Störungen
 spontane Generalisierung von Eingabemustern
 aktive Repräsentation des Wissens.
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
8
30
Eigenschaften Neuronaler Netze
-- Nachteile --
CIC Lab
Computational Intelligence
and Control Laboratory
 Wissenserwerb ist nur durch Lernen möglich
(kein Basiswissen im NN ablegbar)
 NN können keine Analyse ihres eigenen
Wissens oder Problemlösungsvorgangs
durchführen
 sequentielles logisches Schließen (wie die
Inferenz bei Fuzzy-Logik) ist mit NN nur sehr
schwer durchführbar
 Lernvorgang ist relativ langsam.
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
9
30
CIC Lab
Geschichte Neuronaler Netze
1942
Computational Intelligence
and Control Laboratory
Frühe Anfänge 1942 bis 1955
1943
McCulloch und Pitts beschreiben neurologische Netzwerke
basierend auf dem McCulloch-Pitts-Neuron und zeigen,
das auch einfache NN prinzipiell jede arithmetische oder
logische Funktion berechnen können
1949
Hebb beschreibt die mittlerweile klassische Hebb’sche
Lernregel
1950
Lashley, ein Neurologe, zeigt durch Tierversuche, dass die
Information im Gehirn in einer verteilten Repräsentation
gespeichert sein muss.
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
10
30
CIC Lab
Geschichte Neuronaler Netze
1955
Computational Intelligence
and Control Laboratory
Erste Blütezeit 1955 bis 1969
1957
Erster erfolgreicher Neurocomputer (Mark I Perceptron) von Rosenblatt und Wightman
am MIT. Erkennung von Ziffern mit 20 x 20 Pixel Bildsensor und 512 motorgetriebenen
Potentiometern (!) als Gewichte
1958
Selfridge stellt ersten Morse-Code-Übersetzer auf Basis eines „Pandemonium“ (NeuroComputer) vor
1959
Einfache technische Realisierung von technischen Assoziativspeichern mit der
„Lernmatrix“ von Steinbuch
1960
Entwicklung eines adaptiven Systems „Adaline“, das genau und schnell lernen kann von
Widrow und Marcian
1963
Memistoren von Widrow. Transistor-ähnliche Elemente, mit den die einstellbaren
Gewichte eines KNN (Künstlich Neuronales Netz) elektronisch realisiert werden können.
Memistor Corporation, die erste Neurocomputing-Firma wird von Widrow gegründet.
1964
Durch Überschätzung in den Medien Einbruch des Interesses an NN (besonders vom
Departement of Defense in USA) als die Grenzen der damals verwendeten Modelle und
Lernverfahren bekannt werden.
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
11
30
CIC Lab
Geschichte Neuronaler Netze
1969
Computational Intelligence
and Control Laboratory
Die stillen Jahre 1969 bis 1984
1969
Genaue mathematische Analyse des XOR-Problems und der Nichtlösbarkeit in
einschichtigen KNN von Minsky und Papert. Von da an konzentrierten sich viele
Forscher auf die Künstliche Intelligenz
1972
Kohonen stellte mit „Correlation matrix memories“ ein Modell eines speziellen
Assoziativspeichers mit linearen Aktivierungsfunktionen und kontinuierliche Werte für
Gewichte, Aktivierungen und Ausgaben
1973 Ein komplexeres, biologisch besser motiviertes nichtlineares Neuronenmodell von C.
von der Malsburg, Uni Dortmund
1974
Entwicklung des Backpropagation-Verfahren von Werbos, Dissertation an der
Harvard-Universität
1976
Sigmoide Aktivierungsfunktion für Neuronen und nichtlineare laterale Hemmungen von
Grossberg;
Neuronaler Algorithmus zum Stereo-Sehen (Präsentation der Bildtiefe) von Marr und
Poggio
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
12
30
CIC Lab
Geschichte Neuronaler Netze
1981
Computational Intelligence
and Control Laboratory
Die stillen Jahre ... bis 1984
1981
Binäre Hopfield-Netze als neuronales Äquivalent der Ising-Modelle der Physik von
Hopfield
1982
Selbstorganisierende Karten (Speicher) von Kohonen
1983
Neocognitron: ein neuronales Modell zur positions- und skalierungsinvarianten
Erkennung handgeschriebener Zeichen aus einer schichtweisen Folge einfacher und
komplexer Zellen, wie sie auch im biologischen visuellen System von Katzen
vorkommen;
Neuronales Modell zur adaptiven Regelung für das Balancieren eines senkrechten
Stabes Lösung von schwierigen Optimierungsaufgaben wie Chip-Plazierung auf der
Leiterplatte, Verdrahtung der Chips,
1984
Boltzmann-Maschine zur Wiedergewinnung scharfer Bilder aus unscharfen Bildern
von Geman
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
13
30
CIC Lab
Geschichte Neuronaler Netze
1985
Computational Intelligence
and Control Laboratory
Die Renaissance neuronaler Netze 1985 bis heute
1985 Hopfield beschreibt in einem Artikel, wie KNN schwierige Optimierungsaufgaben
(Traveling Salesman Problem) lösen können und kann viele Forscher von der Wichtigkeit
des Forschungsgebietes NN überzeugen
1986
Publikation des Lernverfahrens Backpropagation durch Rumelhart, Hinton und Williams
Vorstellung von Nettalk, ein mit Backpropagation trainiertes vorwärtsgerichtetes NN, das
die Aussprache geschriebener Einzelwörter aus dem Englischen selbständig lernt und
dabei innerhalb von wenigen Wochen (Aufwand für das Gesamtprojekt) eine beachtliche
Leistung erreicht (nahezu wie DECtalk: wissensbasierte Maschine, viele Mannjahre
Entwicklungszeit)
Explosionsartige Entwicklung des Fachgebietes NN seit 1986
SS 2006
o
eigene Fachzeitschriften: Neural Networks, Neural Computation, Neurocomputing, IEEE
Trans. on Neural Networks, ...
o
Gründung großer wissenschaftlicher Gesellschaften: INNS (International Neural Network
Society), ENNS (European Neural Network Society), IEEE Fachgruppe über KNN, GIFachgruppen, VDI-GMA-Fachgruppen über NN
1990
Entwicklungsumgebungen für Entwicklung, Training, Simulation und Code-Generation für
KNN kommen auf den Markt
1991
Analoge VLSI-Chips für NN werden von den Firmen AT&T, Bellcore, und Intel entwickelt
(Abb. 33.1 pdf mit Nachbearbeitung)
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
2
14
30
CIC Lab
Geschichte Neuronaler Netze
1991
Computational Intelligence
and Control Laboratory
1991
Kohonen-Netze für Robotik-Anwendungen werden erfolgreich in der
Grundlagenforschung eingesetzt von Ritter, Uni Bielefeld
1992
Gute Lehrbücher über KNN kommen auf den Markt
Digitale VLSI-Chips für NN werden von den Firmen Hitachi, Adaptive
Solutions, Siemens, Intel, Torrent und NeuraLogix entwickelt
(Abb. 33.10
pdf mit Nachbearbeitung)
1993
Siemens entwickelt einen VLSI-Neurocomputer SYNAPSE-1 basierend auf
dem selbstentwickelten VLSI-Chip MA 16
(Abb. 33.4 pdf mit Nachbearbeitung)
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
15
30
Geschichte Neuronaler Netze
1996
CIC Lab
Computational Intelligence
and Control Laboratory
1996 Forschungsverbund Neuronale Fuzzy-Logik (NFL) von 6
Fachhochschulen in NRW wird unter der Leitung der FH
Südwestfalen Abt. Iserlohn gegründet und vom MWF finanziert.
Ziel: Anwendungsorientierte Forschung für kleine und mittlere
Unternehmen (KMU)
(Abb. NFL-Flyer.pdf)
Gemeinsame Tagungen von großen wissenschaftlichen
Gesellschaften: GI mit VDI. Die Fachgebiete Fuzzy-Logik,
Evolutionäre Algorithmen und Neuronale Netze verzahnen sich
stärker. Es tauchen übergeordnete Begriffe für die genannten
Fachgebiete auf (L. Zadeh: Softcomputing oder vom IEEE:
Computational Intelligence)
Performance der PCs wird groß genug, um KNN für die Lösung
von technischen Problemen zu entwickeln, zu trainieren und zu
handhaben.
Leistungsfähige KNN-Entwicklungsumgebungen für PC werden
verfügbar.
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
16
30
CIC Lab
Anwendungen Neuronaler Netze
1997 bis 1999
Computational Intelligence
and Control Laboratory
1997
Analyse eines Umformprozesses mit KNN und Entwurf einer prädiktiven
Regelung für die Industrie an der FH SW in Iserlohn von Brenig, Hohage,
Lehmann, Reitz, Wöstmann
(Abb. DA-Poster.pdf)
1998
Die Fachgebiete Fuzzy-Logik, Neuronale Netze und Evolutionäre
Algorithmen wachsen unter der Überschrift CI (Computational Intelligence)
und/oder Softcomputing stärker zusammen. Häufigkeit der Begriffe im
Internet Stand 10/2003:
CI:
Softcomputing:
Fuzzy Logic:
NN:
Evolutionäre Algorithmen:
Evolutionary Computing:
1999 Der Forschungsverbund NFL präsentiert auf der INTERKAMA in Düsseldorf
vielbeachtete technische Lösungen für Neuro-Regler und Neuro-FuzzyRegler
(Bild Interkama.jpg)
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
17
30
CIC Lab
CI an der FH SWF
von 2000 bis heute
Computational Intelligence
and Control Laboratory
2000
Arbeitskreis COIN wird von 4 Fachhochschulen in NRW mit Beteiligung
der FH SWF gegründet: Ziel: Entwicklung von CI-Reglern und Lösung
von Automatisierungsproblemen mit CI-Systemen für die Industrie
2003
Der Arbeitskreis COIN (Computational Intelligence for Industry) zeigt unter
Beteiligung der FH SW Iserlohn einen CI-Regler für Belichtungsregelungen auf der Hannover Messe Industrie 2003
2003
Gründung des CIC.Lab an der FH Südwestfalen in Iserlohn
2004
Einrichtung einer Kompetenzplattform Computer Vision based on
Computational Intelligence an der FH Südwestfalen durch das Land NRW
2005
Einrichtung eines Masterstudienganges CV&CI (Computer Vision and
Computational Intelligence) an der FH Südwestfalen
2006
Präsentation eines SPAM-Filter auf CI-Basis mit KNN und Bayes-Filter auf
der CeBIT 2006 im März in Hannover
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
18
30
Fragen ?
CIC Lab
Computational Intelligence
and Control Laboratory
Fragen Sie bitte!
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
19
30
Neurocomputer Beispiel
CIC Lab
Computational Intelligence
and Control Laboratory
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
20
30
Neurocomputer von Siemens
CIC Lab
Computational Intelligence
and Control Laboratory
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
21
30
CIC Lab
Forschungsverbund
Neuronale Fuzzy-Logik
Computational Intelligence
and Control Laboratory
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
22
30
CI-Konferenz in Baden-Baden
CIC Lab
Computational Intelligence
and Control Laboratory
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
23
30
Gründung CIC.Lab
CIC Lab
Computational Intelligence
and Control Laboratory
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
24
30
CIC Lab
Neuronale Netze für die
Systemanalyse
Computational Intelligence
and Control Laboratory
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
25
30
Anwendung Neuro-PID-Regler
CIC Lab
Computational Intelligence
and Control Laboratory
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
26
30
Anwendung CI-Regler
CIC Lab
Computational Intelligence
and Control Laboratory
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
27
30
CIC Lab
Kompetenzplattform
Computer Vision based on Computational Intelligence
KOPF CV&CI
Computational Intelligence
and Control Laboratory
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
28
30
CIC Lab
Masterstudiengang
Computer Vision and Computational
Intelligence
Computational Intelligence
and Control Laboratory
FH Köln Campus
Gummersbach
In Kooperation mit:
FH Gelsenkirchen
FH Köln, Gummersbach
FH Bochum
FH Aachen
FH Bielefeld
Hochschule Wallis, CH
Université Amiens, F
Politechnico Setubal, PT
Staffordshire University, GB
Foshan University, VR
SS 2006
, Hagen
Meschede, Soest
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
2
29
30
CIC Lab
SPAM-Filter auf CI-Basis auf der
CeBIT 2006 in Hannover
Computational Intelligence
and Control Laboratory
E-Mail
SPAM
2
SS 2006
1. Einführung Künstlich Neuronale Netze (KNN) R1.5
30
30