Transcript Document 7519107

Jak Motywować
Maszynę ?
- Wyłanianie się Inteligencji
Obudowanej
Dr. Janusz A. Starzyk
EE141
Inteligencja

Inteligencja maszyn jest
największym wyzwaniem
projektantów i programistów
systemów, a zgłębienie
tajników inteligencji naturalnej
należy do największych
wyzwań neurobiologów,
filozofów, psychologów,
bioinformatyków, lingwistów,
antropologów, i naukowców w
wielu innych dziedzinach.
EE141
Inteligencja
Pattie Maes MIT Media Lab

“…Perhaps the last frontier of science – its
ultimate challenge- is to understand the biological
basis of consciousness and the mental process by
which we perceive, act, learn and remember..” z
ksiązki Principles of Neural Science, E. R. Kandel i inni.
 E. R. Kandel otrzymał nagrodę Nobla w 2000 za prace nad
fizjologicznymi podstawami pamięci w sieciach neuronowych.
 “…The question of intelligence is the last great
terrestrial frontier of science...” cytat z ksiązki
Hawkins’a On Intelligence.
 Jeff Hawkins założył Redwood Neuroscience Institute zajmujący
sie badaniami działania mózgu
EE141
Organizacja wykladu



Klasyczna Sztuczna Inteligencja (Artificial Intelligence AI)
Inteligencja Obudowana (Embodied Intelligence EI)
Wyzwania EI
 Musimy wiedzieć jak ja zorganizować
 Musimy poznać metody jej implementacji
 Musimy mieć środki żeby ja zbudować i utrzymać jej działalność

Nadzieje EI
 Ekonomiczne
 Społeczne
EE141
Inteligencja
Oficjalna wypowiedz naukowców na
temat inteligencji Grudzień 13, 1994:
Edytorial podpisany przez 52
naukowcow, opracowany przez
Linde S. Gottfredson, University of
Delaware
Inteligencja jest ogólną cechą
umysłu która, miedzy innymi
zawiera umiejętność
rozumowania, planowania,
rozwiązywania problemow,
abstrakcyjnego myślenia,
rozumienia złożonych pojęć,
szybkiego uczenia sie i uczenia
sie przez doświadczenie.
Na podstawie http://www.indiana.edu/~intell/map.shtml
EE141
Klasyczna AI

Inteligencja abstrakcyjna
Inteligencja Obudowana

 Próbuje symulować
“najwyższe” funkcje umysłu:
– język, rozumowanie,
matematykę, abstrakcyjne
rozwiązywanie problemow

Model otoczenia
 Warunkiem abstrakcyjnego
rozwiązania problemu
 “mozg w próbówce”
EE141
Umysł wcielony
 Wiedza wynika z faktu ze
mamy ciało
– Ciało jest podstawa
rozwoju mózgu

Inteligencja rozwija sie
poprzez współdziałanie z
otoczeniem
 Jest usytuowana w
specyficznym otoczeniu
 Otoczenie jest swoim
najlepszym modelem
Podstawy rozwoju inteligentnych systemow
Z ksiązki Rolf Pfeifer “Understanding of Intelligence”








Współdziałanie ze
złożonym otoczeniem
Tania budowa
Balans ekologiczny
Zasada nadmiarowości
Równoległe, luźno
połączone procesy
Asynchronizm
Współdziałanie czujnikow
i przekaźników
Zasada wartości
EE141
Agent
Rysunek Ciarán O’Leary- Dublin Institute of Technology
Zasada “taniości”

Inteligentni agenci: “tanio”
 Eksploatacja niszy
ekologicznej
 ekonomiczny
(ale nadmiarowy)
 Eksploatacja specyficznych
własności fizycznych
interakcji ze środowiskiem
EE141
Zasada “balansu ekologicznego”

Balans i rozłożenie zadan pomiędzy
 morfologie
 obliczenia neuronowe (system
nerwowy)
 materiały
 otoczenie

Balans złożoności
 Przy danych zadaniach w środowisku
 Dopasowanie stopnia złożoności
systemow: sensorycznego,
motorycznego i nerwowego
EE141
Zasada nadmiarowości



Nadmiarowość jest
konieczna do zachowan
adaptacyjnych
Częściowe dublowanie
funkcjonalności w rożnych
podsystemach
Systemy sensoryczne:
rożne procesy percepcji z
“dublowaniem” informacji
EE141
Stymulacja wejścia poprzez interakcje
z otoczeniem




EE141
Wielorakie skojarzone
oddziaływania
Ograniczenia
wynikające z morfologii
i materiałów
Generowanie korelacji
poprzez oddziaływania
fizyczne
Podstawa do korelacji
pomiędzy zmysłami
Zasada oddziaływań sensorycznomotorycznych



Samo-organizowanie sie
danych sensorycznych
poprzez oddziaływanie z
otoczeniem
Jest to rzeczywisty
proces fizyczny a nie
“symulowany”
Jest warunkiem
koniecznym uczenia
Holk Cruse
•nie ma centrum
kontrolnego
•jest tylko lokalna
komunikacja miedzy
neuronami
•globalna
komunikacja odbywa
sie poprzez
środowisko.
Połączenia
neuronowe
EE141
Zasada równoległych, luźno
połączonych procesow




EE141
Inteligentne zachowanie
wylania sie z interakcji
agenta z otoczeniem
Duża ilość równoległych
luźno połączonych
procesow
Asynchronizm
Koordynacja poprzez
–neuronowy system
sensoryczno-motoryczny
–współdziałanie z
otoczeniem
Inteligencja Obudowana
Definicja
 Inteligencja Obudowana (Embodied Intelligence EI) jest
to mechanizm który uczy sie jak przetrwać w
nieprzychylnym otoczeniu
–
–
–
–
–
–
EE141
Mechanizm: biologiczny, mechaniczny albo wirtualny agent
EI oddziaływuje na otoczenie i odczuwa wyniki swojego działania
Nieprzychylność otoczenia nie zanika i stymuluje EI do działania
Nieprzychylność: agresja, bol, ograniczone środki, itp.
EI uczy sie, musi wiec mieć asocjacyjna pamięć
Wiedza jest zdobywana przez EI (pochodna inteligencji)
Obudowa Umysłu




Obudowa zawiera połączenia
sensoryczne i motoryczne którymi
rdzeń inteligencji kontroluje przy
współdziałaniu z otoczeniem.
Konieczna do rozwoju inteligencji
Niekoniecznie stała lub w formie
fizycznego ciała.
Jej granice sa zmienne i wpływają
na samookreślenie mózgu.
EE141
Embodiment
Intelligence
core
Environment
Obudowa Umysłu




Mozg uczy sie ograniczeń własnej
obudowy
Świadomość jest rezultatem
utożsamiania sie z własną
obudowa
Obudowa może być poszerzona
przez użycie narzędzi i maszyn.
Pomyślne działanie zależy od
poprawnego postrzegania
środowiska i własnej obudowy.
EE141
Wymogi Obudowanej Inteligencji

Zależna od stanu układu
 Uczy się wzorców przestrzenno-czasowych
 Zlokalizowana w czasie i przestrzeni

Uczenie się
 Nie ustające
 Wykrywające nowość

Ma system wartości
 Wykrywanie bólu
 Kontrola bólu
 Tworzenie celu działania
 Współzawodniczące cele

Wyłania się
 Sztuczna ewolucja
 Samo-organizacja struktur
EE141
Kodowanie Wejść Sensorycznych
Kandel Fig. 30-1
Richard Axel, 1995
Wzrok, słuch, smak,
węch, dotyk-> ruch
Hip
Trunk
Arm
Hand
Foot
Face
Kandel Fig. 23-5
Tongue
Jak przetwarzać i
reprezentować
informacje zmysłowe?
EE141
Larynx
Wyzwania Inteligencji Obudowanej

Rozwój połączeń zmysłowych




Aktywne widzenie
Przetwarzanie mowy
Dotyk, powonienie, smak, temperatura, ciśnienie
Dodatkowe instrumenty postrzegania
– Wykrywanie podczerwieni, radar, detektor światła i odległości,
ultradźwięki, globalny system lokalizacji (GPS), itp.
– Czy duża liczba sensorów może być mniej użyteczną?

Rozwój sensorów bólu
 Energia, temperatura, ciśnienie, poziom przyspieszenia
 Sygnał od nauczyciela

Rozwój połączeń motorycznych
 Ruch ramion, nóg, palców, oczu
EE141
Wyzwania Inteligencji Obudowanej

Znalezienie rozwiązania algorytmicznego
 Asocjacji, pamięci, uczenia sekwencyjnego,
budowania niezmienników, reprezentacji,
oczekiwania, uczenia systemu wartości,
określania celow, planowania

Rozwój obwodow sieci neuronowych
 Określenie organizacji sztucznych mini kolumn
 Samo-organizacja hierarchii mini kolumn
receptorow i efektorów
 Samo-organizacja układów określania celow
EE141
Jak Motywować Maszynę ?
Podstawowe pytanie to jak
motywować maszynę by robiła
cokolwiek, a w szczególności by
zwiększyła swój stopień
złożoności?
Jak nakłonić maszynę do
eksploracji środowiska i uczenia
sie efektywnej pracy w
środowisku?
EE141
Jak Motywować Maszynę ?





Czy maszyna może być
inteligentna jeśli realizuje
tylko zadane cele?
Jeśli nie to jak dynamicznie
określać jej cele?
Potrzebna jest hierarchia
wartości działań
Nie wszystkie wartości
mogą być wbudowane
Potrzebna jest motywacja
działań, pobudzająca
uczenie i eksploracje
EE141
Jak Motywować Maszynę ?

Postuluje ze to nieprzychylność środowiska jest motywacja
rozwoju.
 To uczucie bólu jest tym co nas porusza.
 To nasza inteligencja która dąży do minimalizacji tego bólu
motywuje nas by działać, uczyć sie i rozwijać.

Potrzebujemy zarówno nieprzychylności środowiska jak i
mechanizmu który uczy sie jak zredukować pochodzący ze
środowiska ból.
 Tak wiec ból jest przydatny.
 Bez bólu nie byłoby inteligencji.
 Bez bólu nie byloby motywacji do rozwoju.

Dlatego proponuje oparty o ból mechanizm motywujacy
maszynę by działała, uczyła sie i rozwijała.
EE141
Ośrodek Bólu i Określania Celów






Prosty Mechanizm
Prowadzi do stawiania
złożonych celów
Tworzy hierarchie
wartości
Wyczuwa zmiany
poziomu bólu:
• Zwiększenie bólu
• Zmniejszenie bólu
Pobudza uczenie
Wymusza eksploracje
EE141
Wtórny poziom Zwiększenie
bólu
bólu
(-)
+
(-)
(+)
Sensor
Środowisko
(+)
(-)
(+)
-
Motor
Zmniejszenie
bólu
Poziom bólu
Wymuszanie
eksploracji
Pobudzanie
uczenia
Określanie Abstrakcyjnych Celów
Sensory pathway
(perception, sense)
 Celem jest zmniejszenie
prymitywnego poziomu
bólu
 Abstrakcyjne cele
są wytwarzane w oparciu o
niższe cele
zaspakajają prymitywne
cele
Motor pathway
(action, reaction)
refrigerator
Open
-
+
food”becomes a
“
sensory input to
abstract pain center
Abstract pain
(Delayed memory of pain)
Food
Eat
-
Association
Inhibition
Reinforcement
Connection
Planning
Expectation
EE141
Level II
Level I
+
Dual pain
Pain
Primitive
Level
Stomach
Abstrakcyjne Cele
 Na ile cel abstrakcyjny
może być celem
użytecznym?
 Maszyna musi
“zrozumieć” cel abstrakcyjny
zanim go zaakceptuje
Potrzebna odpowiednia
reprezentacja problemu
Umiejętność jego wykonania
Zgodność z systemem
wartości maszyny
Priorytet do terminowego
wykonania zadania
EE141
EI Interaction with Environment
EI Architecture
Pain
Perceive
Goal
Creation
Competing
goals
Act
Planning
INPUT
OUTPUT
Task
Environment
Simulation or
Real-World System
EE141
EI machine
interacts with environment using its three pathways
Goal Creation Experiment
SENSORY
MOTOR
INCREASES
DECREASES
1
Food
Eat
sugar level
food supplies
8
Grocery
Buy
food supplies
money at hand
15
Bank
Withdraw
money at hand
spending
limits
22
Office
Work
spending limits
job
opportunities
29
School
Study
job
opportunities
-
PAIR #
Sensory-motor pairs and their effect on the environment
EE141
Goal Creation Experiment
Pain
Primitive Hunger
1
Pain
0
0
200
300
400
Lack of Food
500
600
100
200
300
400
Empty Gorcery
500
600
100
200
300
400
Discrete time
500
600
0.5
0
0
Pain
100
0.5
0
0
Pain signals in CGS simulation
EE141
Goal Creation Experiment
Goal Scatter Plot
40
35
30
Goal ID
25
20
15
10
5
0
0
100
200
300
400
Discrete time
500
600
Action scatters in 5 CGS simulations
EE141
Goal Creation Experiment
Pain
Pain
Pain
Pain
Pain
Primitive Hunger
0.5
0
0.2
0.1
0
0.2
0.1
0
0.2
0.1
0
0.1
0.05
0
0
100
200
300
Lack of Food
400
500
600
0
100
200
300
Empty Gorcery
400
500
600
0
100
200
300
Lack of Money
400
500
600
0
100
200
300
400
Lack of JobOpportunitites
500
600
0
100
200
500
600
300
Discrete time
400
The average pain signals in 100 CGS simulations
EE141
Goal Creation Experiment
Comparison between GCS and RL
EE141
Nadzieje Pokładane w Obudowanej Inteligencji
Rozwój inteligencji maszyn będzie miał ogromny wpływ
na życie i organizacje społeczeństw
 Postęp technologii
– Roboty
– Maszyny uczące
– Inteligentne urządzenia
 Nadchodzi era inteligencji
– Rewolucja przemysłowa
– Rewolucja technologiczna
– Rewolucja informatyczna
ISAC, a Two-Armed Humanoid Robot
Vanderbilt University
EE141
Korzyści z
Obudowanej
Inteligencji

Dla Społeczeństwa
 Ponad ludzka inteligencja
 Rozwój nauki
 Rozwiązanie bolączek
społecznych
 Wzrost zrozumienia i tolerancji
 Poprawa jakości i warunków
życia
EE141
Korzyści z
Obudowanej
Inteligencji
Dla Przemysłu
Rozwój technologiczny
Duzy wzrost przemysłu
elektronicznego
Nowe rynki zbytu
Rozwój ekonomiczny
EE141
Biologicznie Inspirowane Systemy
Mission Complexity
(Wpływ na transport kosmiczny, naukę o Kosmosie i o Ziemi )
2002
2010
2020
2030
Embrionika
Samo Budujące sie
Systemy
Transport Kosmiczny
Siec sensorów
Inspirowane
biologicznie
pojazdy kosmiczne
Sztuczny
mozg
Extremophiles
detektory zycia
na Marsie
Skora i Kości
Samoreperujące sie
układy i systemy
ochrony termicznej
Komputery DNA
EE141
Biologiczne nanofiltry
o niskiej rozdzielczości
Sztuczne nanofiltry
o dużej rozdzielczości
Biologiczna imitacja
Wygląda jak “Science fiction”


Jeżeli próbujesz patrzeć
daleko w przyszłość i to co
widzisz wygląda jak “science
fiction”, to możesz się mylić.
Ale gdy to nie wygląda jak
“science fiction”, to na pewno
sie mylisz.
Z prezentacji przez Feresight Institute
EE141