Slide 1

Porovnanie symbolického a
subsymbolického prístupu
emergencie stratégie hry
Peter Lacko
Ústav aplikovanej informatiky
Fakulta informatiky a informačných technológií


Slide 2

Strojové hranie hier
Problém hrania hier je pre nás zaujímavý hlavne
z nasledovných dôvodov:
 hra je štruktúrovaný dobre definovaný problém
pravidlá sú presne definované
dá sa jednoducho rozoznať úspech alebo neúspech

 ľubovoľný stav hry má presnú reprezentáciu
hráč má všetky informácie o prostredí hry
hráčove informácie sú presné

 dobre sa dá merať úspešnosť riešenia


Slide 3

Porovnanie prístupov umelej inteligencie
 Dnešná umelá inteligencia ponúka dva rôzne
prístupy riešenia problémov:
klasické prístupy v umelej inteligencii (symbolický) tieto presadzujú symbolickú reprezentáciu vedomostí
a ich sekvenčné spracovanie
moderné prístupy v umelej inteligencii
(subsymbolický) - tieto sú založené vo veľkej miere na
neurónových sieťach, vo väčšine prípadov používajú
nesymbolickú reprezentáciu vedomostí a sú vhodne
použiteľné v oblastiach rozpoznávania vzorov.


Slide 4

História hrania hier
 Arthur L. Samuel
 Pôsobil na MIT,
IBM, DOD

 IBM 704 (1954)
 Prvý masovo
produkovaný
počítač s
aritmetikou
pohyblivej
desatinnej čiarky
 cca 4000 operácií
za sekundu


Slide 5

História hrania hier
Učenie naspamäť
Zapamätávajú sa všetky pozície odohrané a
ohodnotené počas hry

Učenie zovšeobecňovaním
Zlepšenie – skúsenosti zovšeobecniť a ukladať
len zovšeobecnenia
Riešenie – program je schopný vyberať si sám
termy ohodnocovacieho polynómu a meniť im
ich koeficienty. (možných termov je 38, v
polynóme ich je 16)


Slide 6

Algoritmus MiniMax
 vygenerujú sa všetky stavy, ktoré
môžu počas hry z aktuálneho stavu
nastať
 rozhodne sa, ktorý nasledovný stav
je najlepší
 listy vygenerovaného stromu sa
ohodnotia bodovaciou funkciou
 postupne sa ohodnotia stavy na
vyšších úrovniach
 najlepší nasledovný ťah je ten, ktorý
maximalizuje hodnotu koreňa stromu

 vykoná sa ťah, ktorý vedie
k najlepšiemu nasledovnému stavu


Slide 7

Symbolický prístup
 Veľkosti prehľadávacích stromov pre rôzne hry
Tic-Tac-Toe

105 uzlov

Dáma

1031 uzlov

Šach

10123 uzlov

Go

10360 uzlov

 Nie je možné vygenerovať celé stromy hier
Orezávanie do hĺbky s heuristickou funkciou
a-b orezávanie


Slide 8

Symbolický prístup
 Výpočet časovej náročnosti vyriešenia hry šach
Počet možností

1046

Počet možností vďaka α-b orezávaniu

1023

Pozícií preskúmaných za sekundu

109

Vyriešenie šachu

1014 sekúnd  104 tisícročí


Slide 9

Hranie dámy - Chinook
 Chinook zaviedol niečo úplne nové na poli počítačovej
dámy – databázu koncoviek
 táto dávala programu perfektné znalosti o všetkých
pozíciách na šachovnici s osem a menej figúrkami vo
forme víťazstvo/remíza/prehra
 celá osem-figúrková databáza mala približne 6GB
v komprimovanej forme a obsahovala 443 miliárd pozícií
 v roku 1996 program Chinook skončil na prvom mieste
amerického šampionátu
 poradie najlepších hráčov sveta americkej federácie
dámy bolo nasledovné:
 Chinook 2816
 Ron King 2632
 Asa Long 2631z


Slide 10

Hranie šachu
 víťazstvo počítačového systémy Deep Blue v turnaji proti
svetovému šampiónovi Garry Kasparovi v roku 1997
 Deep Blue bol masívny paralelný systém navrhnutý na
prehľadávanie stromov hry šach. Pri prehľadávaní do
hĺbky bola rýchlosť približne od 100 do 330 miliónov
ťahov za sekundu.
 vyhodnocovacia funkcia bola implementovaná v hardvéri
šachových čipov, čo zabezpečovalo vysoký výkon.
Vyhodnocovala 8000 rôznych „vzorov“, ktorým
priraďovala ohodnotenie
 knižnica otvorení obsahovala približne 4000 pozícií.
 databáza koncoviek obsahovala všetky možné hry s 5
a menej figúrkami na šachovnici.


Slide 11

Subsymbolický prístup
 tvorený novými prístupmi v umelej inteligencií ako
neurónové siete a evolučné algoritmy.
 neurónové siete
 štrukturálna plasticita, ktorá znamená, že sa napríklad mení počet
skrytých neurónov
 parametrická plasticita, ktorá zodpovedá zmene váh spojov a
prahových koeficientov skrytých a výstupných neurónov.
v11

x1

1

y1

v1i
..
.

v1I

..
.
j

xi

w1
yj

wj
wJ

..
.
xI

vJi
vJI

vJ1 ...
yJ
J

1

r


Slide 12

TD-Gammon
 Učenie s trestom a odmenou
 Vyžadoval len malé množstvo znalostí hry backgammon
a dokázal sa naučiť túto hru extrémne dobre
 Po odohraní 300000 hier, kedy TD-Gammon (so 40
skrytými neurónmi) hral sám proti sebe, bol schopný hrať
asi na rovnakej úrovni ako ostatné programy
 Vylepšený TD-Gammon, ktorý mal 160 skrytých
neurónov a prehľadával strom hry 3 ťahy dopredu,
dosahoval už majstrovské výsledky
 Naučil sa hrať niektoré otvorenia inakšie ako boli
dovtedajšie konvencie medzi najlepšími hráčmi. Po
ďalších analýzach začali aj ľudský hráči hrať tieto
otvorenia.


Slide 13

Evolučné princípy
 Stochastická metóda optimalizácie
 Základnou myšlienkou je napodobnenie biologických
procesov evolúcie
 Genetický algoritmus prebieha nad množinou jedincov, ktorí
tvoria populáciu. Každý jedinec je ohodnotený jeho fitness
 Kvázináhodným výberom sa vyberú dvaja rodičovskí jedinci. Výber
zabezpečuje vyššiu pravdepodobnosť vstupu do reprodukcie
jedincom s vyšším fitness.
 Reprodukcia prebieha len s určitou pravdepodobnosťou. Ak jedinci
neprechádzajú reprodukciou, vracajú sa nezmenení do populácie.
Reprodukcia prebieha v dvoch krokoch – kríženie a mutácia.
 Vrátenie nových potomkov do populácie.


Slide 14

Evolučné hranie dámy
 Tento prístup bol založený na evolučne optimalizovaných
neurónových sieťach. Neurónová sieť ohodnocovala hracie
plochy. Toto ohodnotenie bolo potom spracované
algoritmom MiniMax, ktorý bol zodpovedný za výber ťahu
 Úprava váh prebiehala evolučne, teda populácia sietí hrala
turnaje hier. Výsledok turnaja siete predstavoval jej fitness.
Po odohraní turnajov sa jedinci s najväčším fitness
reprodukovali. Počiatočná populácia mala váhové vektory
neurónovej siete nastavené na náhodné hodnoty.
 Vypočítali 100 generácií sietí, z tejto populácie vybrali
najlepšiu sieť
 Neurónová sieť dosiahla po 100 hrách ohodnotenie 1825 čo
je dobrý výsledok, keďže počiatočné ohodnotenie siete bolo
1600. Sieť teda bola schopná poraziť živých hráčov, ktorí
nevedeli, že hrajú so strojom.


Slide 15

Budúcnosť
 Stále existujú hry,
ktoré počítač nie je
schopný riešiť lepšie
ako človek
 Príklad – GO





Stavový priestor 10360
Počiatočné vetvenie 361
Komplexné stratégie
Rozpoznávanie vzorov


Slide 16

Zhrnutie
 v niektorých hrách sa dosiahli vynikajúce výsledky
 stále existujú problémy, ktoré nie je počítač
schopný riešiť lepšie ako človek
 každý z prístupov, keď je použitý správne, je
schopný hrať hru na majstrovskej úrovni
 pri symbolickej umelej inteligencii sa pokúšame
vytvoriť algoritmy, ktoré by priamo používali znalosti,
ktoré máme o danej hre
 pri subsymbolickom prístupe si tieto znalosti
vytvára algoritmus akoby sám
 stále sa zvyšujúci výkon počítačov a kapacity ich
pamätí zlepšuje výsledky klasických algoritmov
a umožňuje skúšanie nových prístupov


Slide 17

Ďakujem za Vašu pozornosť