SYSTEMY EKSPERTOWE I SZTUCZNA INTELIGENCJA MODUŁ CZWARTY : SZTUCZNE SIECI NEURONOWE 22. Wybór metodologii rozwiązywania problemu w zależności od złożoności formalnej zjawiska

oraz stopnia zrozumienia dynamiki jego przebiegu..

23. Sztuczne Sieci Neuronowe – pojęcie i kierunki zastosowań.

24. Modele proste i struktury perceptronowe

Sztucznych Sieci Neuronowych.

25. Algorytmy uczenia sieci perceptronowej. 26. Sieci Kohonena: Learning Vector Quantization i Self Organizing Maps.

27. Rekurencyjne warianty Sztucznych Sieci Neuronowych.

22. Wybór metodologii rozwiązywania problemu w zależności od złożoności formalnej zjawiska oraz stopnia zrozumienia dynamiki jego przebiegu.

Wnioskowanie algorytmiczne w przypadku możliwości precyzyjnego zrozumienia i opisania zjawiska (istnieje wiedza pozwalająca na zamodelowanie zjawiska w postaci zależności jawnie zdefiniowanych i deterministycznych), Wnioskowanie dedukcyjne zjawisk, których nie potrafimy precyzyjnie opisać w postaci matematycznej, ale na podstawie bezpośredniej obserwacji możemy wykryć pewne, stałe wzorce zjawiska, Wnioskowanie indukcyjne w przypadku braku możliwości bezpośredniego, precyzyjnego określenia stałych wzorców przebiegu zjawiska.

stosowane jest stosowane jest dla stosowane jest

23a. Sztuczne Sieci Neuronowe – pojęcie i kierunki zastosowań.

Sztuczne sieci neuronowe się). są systemem wzajemnie połączonych prostych elementów przetwarzających informacje, zwanych neuronami, jednostkami lub węzłami. (SSN należą do klasy systemów uczących Do połączeń między elementami przyporządkowane są współczynniki wagowe, określające siłę powiązań i tworzące zbiór parametrów modelu. przydzielone lub wyznaczone w procesie treningowym, zmierzającym do identyfikowania wzorców albo odwzorowywania przekształceń. Współczynniki wagowe są nauczenia SSN Sieci neuronowej nadaje się pewną strukturę; jej jednostki grupowane są w tzw. warstwy (architektura SSN).

23b. Sztuczne Sieci Neuronowe – pojęcie i kierunki zastosowań.

Proces uczenia SSN polega na iteracyjnym modyfikowaniu współczynników wagowych połączeń jej neuronów. Ze względu na sposób prowadzenia treningu wyróżniamy dwie grupy algorytmów uczących: uczenie nadzorowane (z nauczycielem); dane treningowe zawierają zestaw sygnałów wejściowych sieci oraz poprawnych reakcji systemu; uczenie polega na takiej modyfikacji wag, aby rzeczywiste wyjścia były jak najbliższe wartościom pożądanym.

uczenie bez nadzoru ; dane treningowe obejmują jedynie zbiór sygnałów wejściowych (bez informacji o pożądanych reakcjach); sieć ma za zadanie samodzielnie przeanalizować zależności i korelacje w zbiorze treningowym (self-organising networks).

23c. Sztuczne Sieci Neuronowe – pojęcie i kierunki zastosowań.

Sztuczne sieci neuronowe realizują najczęściej następujące rodzaje przetwarzania:

- przypominanie (odzyskiwanie lub

interpretowanie) zmagazynowanych w Sztucznej Sieci Neuronowej informacji,

- klasyfikowanie, - rozpoznawanie, - estymacja (aproksymacja, interpolacja,

filtrowanie, prognozowanie, predykcja),

- optymalizacja ( w tym rozwiązywanie równań

liniowych i nieliniowych),

- sterowanie inteligentne (bez konieczności

opracowania modelu, oparte wyłącznie na doświadczeniu).

24 a. Modele proste i struktury perceptronowe

Sztucznych Sieci Neuronowych.

Najbardziej znanymi prostymi modelami neuronu są: a) model liniowy, b) model nieliniowy skokowy tzn. ogranicznik twardy, d) model ADALINE (Adaptive Linear Neuron), e) model MADALINE (Many Adaptive Linear Neurons).

c) model nieliniowy sigmoidalny,

24 b. Modele proste i struktury perceptronowe Sztucznych Sieci Neuronowych

Poszczególne neurony są łączone w pewnego rodzaju struktury, które tworzą sieci.

Znanych około 50 typów takich sieci, z czego 15 zyskało znaczenie praktyczne.

Sieć Hopfielda

Sieć Hamminga

Przykładowa struktura perceptronu wielowarstwowego

25 a. Algorytmy uczenia sieci perceptronowej. Algorytm nadzorowanego uczenia sieci perceptronowej polega na wielokrotnym, iteracyjnym prezentowniu sieci par wektorów: wzorca wejściowego WW i odpowiadającego mu wzorca treningowego WT. Celem uczenia jest takie dostosowanie wag, aby reakcja sieci na WW była jak najbliższa wartościom pożądanym wzorca treningowego.

Jednym z najczęściej stosowanych rozwiązań dla tego typu problemów jest metoda najmniejszych kwadratów (minimalizacja błędu średniokwadratowego modelu).

25 b. Algorytmy uczenia sieci perceptronowej. Uogólnieniem metody najmniejszych kwadratów na sieci wielowarstwowe jest tzw. algorytm wstecznej propagacji błędu.

Pojedynczy krok tej metody nie wymaga dużych nakładów obliczeniowych.

W rzeczywistości tysiące jego powtórzeń powodują, że czas uczenia sieci dochodzi do wielu godzin.

26 a. Sieci Kohonena: Learning Vector Quantization i Self Organizing Maps.

Jest to specyficzna grupa sieci neuronowych spełniających najczęściej funkcje klasyfikatorów względnie ułatwiających grupowanie danych. Składają się z warstwy wejściowej oraz jednej warstwy neuronów przetwarzających. Każdy neuron w warstwie Kohonena połączony jest ze wszystkimi wejściami.

W sieciach Kohonena stosowany jest algorytm uczenia, zwany uczeniem konkurencyjnym. Neurony w sieci, w odpowiedzi na sygnał wejściowy, rywalizują ze sobą.

Neuron zwycięski oraz jego najbliższe otoczenie podlegają procesowi uczenia, polegającemu na zbliżeniu ich wag do wektora wejściowego.

26 b. Sieci Kohonena: Learning Vector Quantization i Self Organizing Maps.

Najczęściej wykorzystywanym rodzajem sieci Kohonena są sieci SOM (Self Organising Maps) czyli mapy sieci. Warstwa konkurencyjna ma w nich z reguły postać dwu- lub jednowymiarowej tablicy neuronów. Połączone są one ze wszystkimi wejściami, a więc każdy neuron ma tyle współczynników wagowych, ile jest wejść sieci.

26 c. Sieci Kohonena: Learning Vector Quantization i Self Organizing Maps.

Często wykorzystywanym rodzajem sieci Kohonena są Sieci LVQ (Learning Vector Quantization). Są one przykładem nadzorowanego uczenia konkurencyjnego.

Każdy wektor treningowy musi musi być oznaczony etykietą swojej klasy. Poszczególnym klasom w sieci LVQ przyporządkowany jest jeden lub kilka neuronów w warstwie konkurencyjnej. Każda jednostka jest połączona ze wszystkimi wejściami.

27 a. Rekurencyjne warianty Sztucznych Sieci Neuronowych. W topologii sieci rekurencyjnych dopuszcza się zastosowanie połączeń wstecznych. Sygnał wyjściowy z dowolnej jednostki może być przekazany również (bezpośrednio lub za pośrednictwem innych neuronów) na jej wejście.

Stan neuronu staje się więc zależny nie tylko od wartości sygnału wejsciowego, ale również od przeszłego stanu dowolnej jednostki, nie wykluczając tego właśnie neuronu.

Najprostszym przykładem jest tu modyfikacja jednokierunkowej sieci typu wstecznej propagacji przez dodanie w warstwie wejściowej jednostek tzw. kontekstu.

27 b. Rekurencyjne warianty Sztucznych Sieci Neuronowych .