Transcript W3_siec_neuro

SIECI NEURONOWE
Sztuczne sieci neuronowe są to układy
elektroniczne lub optyczne, złożone z jednostek
przetwarzających, zwanych neuronami,
połączonych wzajemnie w bardzo silnie sprzężoną
sieć.
Sztuczne sieci neuronowe są układami, których
zasada działania i struktura są wynikiem inspiracji
biologicznej.
Cała wiedza sieci zgromadzona jest w postaci wag,
których wartości dobierane są w procesie uczenia
Sztuczna sieć neuronowa
jest bardzo uproszczonym modelem
mózgu

W typowej komórce
nerwowej wyróżniamy 3
podstawowe elementy:
• ciało komórki (soma),
• aksony – długie
cylindryczne włókna
służące jako linie
transmisyjne dla
impulsów nerwowych,
• dendryty
BUDOWA neuronu biologicznego




Dendryty tworzą gęsto rozgałęzioną pajęczynę cienkich
włókien wokół ciała neuronu.
Informacja dociera od neuronu do dendrytów neuronu
sąsiedniego za pomocą aksonów.
Zarówno akson jak i jego cieńsze odgałęzienia
(kolaterale) tworzą na końcach pęk drobnych odgałęzień
zwany drzewkiem końcowym.
Poprzez synapsę (złącze akson-dendryt) przekazywane są
sygnały elektryczne między neuronami.
Model neuronu według
McCullocha-Pittsa
Istotnym elementem tego modelu jest sumowanie sygnałów wejściowych
z odpowiednią wagą i poddanie otrzymanej sumy działaniu nieliniowej
funkcji aktywacji. W efekcie sygnał wyjściowy neuronu yi jest
określony w postaci:
yi = f ( W x ),
N
ij j
j1
gdzie:  xj (j = 1, 2, ..., N) – sygnały wejściowe mające wartość 1 lub 0
(w zależności od tego czy sygnał pojawił się czy też nie),
 Wij – odpowiednie współczynniki wagowe, zwane wagami
synaptycznymi (przy dodatniej wartości waga przekazuje sygnał
pobudzający, przy ujemnej – gaszący) – wyrażają stopień ważności
informacji,
 f ( ) – funkcja aktywacji, jest to funkcja typu skoku
jednostkowego.
Model neuronu dla sztucznych
sieci neuronowych
Powyższy model neuronu
składa się :
 z węzła czyli elementu
przetwarzającego
połączonego z wejściami
synaptycznymi i
 jednym wyjściem.
Przepływ sygnałów we
wszystkich połączeniach
jest jednokierunkowy.
Funkcja f (wtx) nazywana jest
zwykle funkcją aktywacji,
a jej dziedziną jest zbiór
łącznych pobudzeń
neuronu.
Model neuronu dla sztucznych
sieci neuronowych
Sztuczny neuron jest blokiem funkcjonalnym,
posiadającym
dokładnie
jedno
wyjście
(odpowiednio: akson – wyjście komórki, neuronu
biologicznego) i wiele wejść (dendryty neuronu
biologicznego).
 Rolę synaps neuronu biologicznego (specjalnych
połączeń w żywych organizmach) w sztucznym
neuronie odgrywają wagi połączeń.

Model neuronu dla sztucznych
sieci neuronowych

Blok NET – ważone sumowanie wejść, opisane
wzorem:
N
NET i   w ij* x j
j 1
gdzie xj – wejścia neuronu, wij – wagi, N – ilość
wejść.
 Blok OUT, gdzie OUT– jest funkcją wyjściową,
charakterystyczną dla sieci lub jej warstwy:
yj = OUT(neti ).
Typowymi funkcjami aktywacji są:
Bipolarna funkcja ciągła:
2
f (ne t) 
 1,   0
1  e xp(ne t)
bipolarna funkcja binarna:
 1, gdy..ne t 0
f (ne t)  sgn(ne t)  
 1, gdy..ne t 0
unipolarną funkcja ciągła:
1
f (n e t) 
1  e xp( n e t)
Podstawowe właściwości neuronu :



każdy neuron otrzymuje wiele sygnałów wejściowych i
wyznacza na ich podstawie swoją “odpowiedź”, tzn. jeden
sygnał wyjściowy,
z każdym oddzielnym wejściem neuronu związany jest
parametr nazywany wagą (ang. weight) – wyraża on
stopień ważności informacji docierających tym właśnie
wejściem,
sygnał wchodzący określonym wejściem jest najpierw
przemnażany przez wagę danego wejścia, w związku z
czym w dalszych obliczeniach uczestniczy już w formie
zmodyfikowanej: wzmocnionej, stłumionej lub nawet
przeciwstawnej w stosunku do sygnałów z innych wejść,
gdy waga ma wartość ujemną (tzw. wejścia hamujące),
Podstawowe właściwości
neuronu :




po przemnożeniu sygnały wejściowe są w neuronie
sumowane, dając pewien pomocniczy sygnał wewnętrzny,
nazywany łącznym pobudzeniem neuronu,
do tak utworzonej sumy sygnałów dodaje się niekiedy
pewien dodatkowy składnik niezależny od sygnałów
wejściowych, nazywany progiem,
suma tak przetworzonych sygnałów może być
bezpośrednio traktowana jako sygnał wyjściowy neuronu,
każdy neuron dysponuje pewną wewnętrzną pamięcią
(reprezentowaną przez aktualne wartości wag i progu) oraz
pewnymi możliwościami przetwarzania sygnałów
wejściowych w sygnał wyjściowy.
Sieć jednokierunkowa jednowarstwowa
Każdy węzeł wejściowy
jest połączony z każdym
neuronem warstwy
wyjściowej. Przepływ
sygnałów występuje w
jednym kierunku – od
wejścia do wyjścia.
WIELOWARSTWOWY PERCEPTRON
Cechą charakterystyczną
sieci jednokierunkowej
wielowarstwowej jest
występowanie co
najmniej jednej warstwy
ukrytej neuronów.
Warstwa ta pośredniczy w
przekazywaniu sygnałów
między węzłami
wejściowymi a warstwą
wyjściową.
FUNKCJE AKTYWACJI
NIELINIOWA
f ( net ) 
sigmoidalna
1
1  e  net
,  > 0 (1)
funkcja
Tangens
f ( net ) 
1  e  net
1 e
 net
,  0
(2)
hiperboliczny
Radialno –
symetryczna
2
 net
f (net)  e 2
(3)
Charakterystyka
sieci neuronowej
architekturę sieci – położenie poszczególnych
neuronów i powiązania między nimi;
 proces wyszukiwania – metoda przesyłania
informacji z wejścia na wyjście;
 metodę uczenia sieci – metoda ta wyznacza
początkowy zbiór wag i sposób, w jaki te wagi
mają być zmieniane w procesie uczenia.

Cała wiedza sieci zgromadzona jest w postaci wag,
których wartości dobierane są w procesie uczenia.
CECHY sztucznych sieci neuronowych
(przejęte z biologicznego pierwowzoru)
Zalety sieci neuronowych





paralelizm przetwarzania informacji – wynika z niego
duża szybkość rozwiązywania pewnych klas problemów,
zdolność pracy z informacją niepełną, niepewną bądź
sprzeczną,
odporność na uszkodzenia – zniszczenie części neuronów
lub synaps nie powoduje załamania systemu, lecz jego
łagodną degradację,
skojarzeniowy mechanizm przetwarzania informacji i co
za tym idzie zdolność uogólniania,
sieć posiada zdolność uczenia się z przykładów i
wyciągania z nich reguł.
Rodzaje SIECI NEURONOWE
Sposób połączenia neuronów między sobą i ich
wzajemnego współdziałania spowodowały
powstanie różnych typów sieci. Każdy typ sieci jest
z kolei ściśle powiązany z odpowiednią metoda
uczenia (doboru wag).
Wyróżniamy w związku z tym sieci neuronowe :
 jednokierunkowe i ze sprzężeniem zwrotnym, sieci o
działaniu rekurencyjnym;
 jednowarstwowe i wielowarstwowe, sieci neuronowe
uczące się z nauczycielem (z nadzorem ) i bez
nauczyciela (bez nadzoru).
SIEĆ NEURONOWA RBF
net j  x  w j 
 X i  w ij 2
n
i 1
 p

2

f (X, c)  exp   (x jc j) / 2 
 j1



Probabilistic Neural Networks
Sieć neuronowa Kochonena
SIEĆ NEURONOWA Hopfielda
.
REKURENCYJNE SIECI neuronowe
Hamminga
y0
y1
y2
...
yn
...
...
x0
...
x -N-1 x N
Sieć Hamminga jest siecią
dwuwarstwową.
Każda z dwóch warstw sieci
tworzy podsieć o innej
architekturze.
Pierwsza warstwa (podsieć
wejściowa) wyznacza
odległość w sensie
Hamminga między wzorcem
wejściowym a każdą z
zapamiętanych klas (wagi
wejściowe są metryką
Hamminga dla wzorca
wejściowego: oceniają one
dopasowanie tego wzorca
do każdej z klas).
Jednowarstwowe klasyfikatory
neuronowe
.
Jednowarstwowe klasyfikatory
neuronowe
Sygnały na wejściu klasyfikatora oznaczamy jako wektory X i
będziemy je nazywać wektorami obrazu lub obrazami.
Klasyfikator realizuje funkcje decyzyjną przyjmującą
wartości 1,2,...,R reprezentującą kategorie, do których
należą obrazy wejściowe. Funkcja decyzyjna iy =iy (x),
 x1 
 
odwzorowuje n-wymiarowy wektor x w jeden z
x2
x   .. 
 
numerów kategorii. Rys.1 ilustruje dwa
 .. 
x 
 n
sposoby tworzenia wektorów obrazu w przypadku
klasyfikacji obiektów przestrzennych i czasowych. Dla
obiektu będącego funkcja czasu t wektor obrazu może
zostać utworzony przez próbkowanie sygnału w
dyskretnych chwilach ti i podstawiane xi =f(ti), i=1,2,...,n