Intelektikos pagrindai

P160B100

2012 m.

Robertas Damaševičius [email protected]

1

Naujos robotų valdymo sąsajos

2

Turinys

    Neuroninė sąsaja (

Neural Computer Interface, NCI

) Smegenų-kompiuterio sąsaja (

Brain Computer Interface, BCI

) Gest ų (Kinect) sąsaja Veido išraiškos / balso valdymo sąsaja  Taikymai robotikoje 3

Žmogaus-kompiuterio sąveika   Vartotojo sąsaja  Vieta (riba), kurioje vyksta sąveika (bendravimas) tarp žmogaus ir įrenginio (kompiuterio) Tipai (evoliucija)    Komandinė sąsaja  Griežta Grafinės vartotojo sąsajos  Laisva, pagrįsta metaforomis Natūrali vartotojo sąsaja  Intuityvi, tiesioginė

Vartotojo sąsaja

4

Komandinė (tekstinė) sąsaja   Klaviatūra Monitoriaus ekranas Dos Unix 5

Douglas Englebart, 1967 Mouse 17 Years Macintosh, 1984

Grafinė vartotojo sąsaja   Klaviatūra + pelė arba jautri plokštelė Monitoriaus ekranas 7

Myron Krueger, 1983 Multi-touch 24 Years iPhone, 2007

Natūrali vartotojo sąsaja  Klaviatūra + pelė arba jautri plokštelė  Tiesioginis žmogaus gestų, judesių, veido išraiškos, kitų fiziologinių signalų stebėjimas ir interpretavimas

Smegenų-kompiuterio (neuro-kompiuterio) sąsaja

10

[link]

Kas yra BCI?

  Tiesioginis ryšio kanalas tarp smegenų ir išorės įtaiso Sistema, leidžianti transliuoti smegenų elektromagnetinius signalus į valdymo įtaisų komandas

Istorija

   1924 –Elektroencefalografija (EEG, H. Berger)  Nustatytos „smegenų bangos“ 1969 – UWash School of Medicine tyrimas parodė, kad beždžionės gali kontroliuoti savo smegenų bangas 1980-ieji – nustatyta priklausomybė tarp smegenų generuojamų elektromagnetinių signalų ir judesių

Taikymai: reabilitacija

 BCI gali būti naudojama pacientų su pažeistomis smegenimis iš naujo išmokti judesių, kuriuos smegenys pamiršo, kaip valdyti  Taip pat: stresui valdyti

Taikymai: bendravimo priemonė

  Galima valdyti žymeklį kompiuterio ekrane, įvesti tekstą Lėta: 100 raidžių per valandą  Trumpalaikis: 1.25 žodžių / per min.

Taikymai: įtaisų valdymas

  Šviesos jungiklių įjungimas/išjungimas Invalido vežimėlio valdymas 16

Taikymai: žaidimų industrija/ pramogos

 Žaidimams skirti įrenginiai:  Mindflex (2007)   OCZ Technology (2008) NeuroSky – Star Wars Force Trainer (2009)  Perspektyvoje:   Muzikos/nuotraukų naršymas Sąsaja su socialiniais tinklais

BCI sistemos tipinė struktūra

• Signalų gavimas • Signalų apdorojimas, klasifikavimas ir atpažinimas • Valdymo įtaiso komandų generavimas ir perdavimas • Grįžtamasis ryšys

BCI sistema Komandos Robotas Grįžtamasis ryšys

BCI sistemų tipai

 Inva zinės  Elektrodai implantuojami tiesiai į smegenis   Pavojus sveikatai Neinvazinės  Elektrodai dedami prie kaukolės iš išorės     Lengva naudoti ir pigiau Signalai silpnesni Sunku nustatyti signalo šaltinį Metodai: EEG, magnetoencefalografija (MEG), magnetinis rezonansas

BCI Model

Model

How it works

Honda Asimo Control

Gaming Control

 

Smegenų bangų tipai

Skirstoma pagal dažnį Max. amplitudė apie 100µV

Tipas Delta Theta Alpha Beta Mu Lambda Vertex Dažnis

<4 Hz 4-7 Hz 8-12 Hz 12-36 Hz 9-11 Hz asinchroninės

Kada pasireiškia

Miego metu Esant stresui Amplitudė mažėja įsivaizduojant judesį Amplitudė padidėja protinio darbo metu Amplitudė mažėja judant arba ketinant judėti Siejasi su dėmesio sutelkimu Vaikams arba esant tam tikroms ligoms

Alpha ir beta bangos

   Atsipalaidavus – alpha bangų amplitudė didesnė Susijaudinus – beta bangų amplitudė didesnė Alpha bangos taip pat pasireiškia užsimerkiant arba nesutelkiant dėmesio

Mu bangos

 Amplitodė priklauso nuo fizinių judesių arba ketinimo judėti  Naudojant Mu bangas galima apmokyti judinti žymeklį kompiuterio ekrane

Mu Waves

P300 (Evoked Potentials)

 Atsiranda praėjus 300 ms nuo stimulo pradžios

P300 taikymas: simbolių matrica

 95% tikslumas  Greitis: 26s / simb

Kinect sąsaja

32

Gestų sąsajos 30 m Richard Bolt, 1980

Demonstracija: http://www.youtube.com/watch?v=0Pr2KIPQOKE R. Bolt. “Put-that-there”: Voice and gesture at the graphics interface.

SIGGRAPH Comput. Graph.

14, 3 (July 1980), 262-270.

http://www.paulmckevitt.com/cre333/papers/putthatthere.pdf

Kinect, 2010

What is Kinect?

  Microsoft produktas Reklamuojamas kaip žaidimams skirtas produktas, bet tinka inovatyvioms valdymo sąsajoms kurti MMSP Irek Defée

Kinect viduje

Kinect jutikliai

2 mikrofonai + triukšmo filtravimo sistema IR lazeris + IR daviklis + atstumo (gylio) matavimo sistema Nedidelė spalvota kamera 640x480 raiškos

Žmogaus skeleto (silueto) taškai Šaltinis: Kinect for Windows SDK

Ką gali Kinect?

  

Atpažinti balsą patalpoje ir naudoti valdymui balso komandomis Žmogaus judesių atpažinimas ir taikomųjų programų / įrenginių valdymas Turi būti apmokytas

Kinect taikymai robotikoje

 Aplinkos 3D žemėlapių sudarymas   http://vimeo.com/20361260#t=14 Vežimėlio valdymas naudojant Kinect  http://www.youtube.com/watch?v=NmnepqAQIlk 39

Kinect programinė įranga

  Robotics Developer Studio 4 palaiko Kinect Kinect for Windows 1.6 pavyzdžiai http://mrdssamples.codeplex.com/releases/view/97376  Kinect SDK http://www.microsoft.com/en us/kinectforwindows/develop/developer-downloads.aspx

40

Literatūra

 M.B. Jensen.

Natural user interfaces from all angles.

Master Thesis. Aalborg University, Denmark.

 http://projekter.aau.dk/projekter/files/52687173/Natural _interfaces_from_all_angles_Michael_B._Jensen.pdf

 J. Blake.

Natural User Interfaces in .NET.

Manning Publications, 2012. Ch. 1.

 http://www.manning.com/blake/MEAP_Blake_ch01.pdf

41

Literatūra

• 

R. Fazel-Rezai. RECENT ADVANCES IN BRAIN COMPUTER INTERFACE SYSTEMS



http://www.zums.ac.ir/files/research/site/ebooks/Human Computer%20Interaction/Recent_Advances_in_Brain Computer_Interface_Systems.pdf

• Sixto Ortiz Jr., "Brain-Computer Interfaces: Where Human and Machine Meet," Computer, 40(1), 17-21, 2007 http://csdl.computer.org/comp/mags/co/2007/01/r1017.pdf

42

Seminaras

 Gruodžio 18 d.

    Pradedame B305, 13.00

Toliau tęsiame D153, 15.00

Pristatyti grupės kursinį robotikos projektą Pristatymui pasiruošti skaidres 43

Egzaminas

  Sausio 8 d., 8.30, D153 Klausimai iš temų:     2 tema: Robotų programavimo architektūros ir metodai 3 tema: Pagrindiniai robotų valdymo metodai ir algoritmai 4 tema: Klasikiniai robotų valdymo algoritmai 5 tema: Braitenbergo mašina 44

Kvietimas projektinei veiklai

 Projekto paraiška: - projekto pavadinimas, projekto vykdytojų sąrašas ir jų kontaktai, projektą kuruojantis dėstytojas, projekto idėjos aprašymas, projektui įgyvendinti reikalinga įranga, numatoma projekto trukmė, - pateikiamas projekto rezultatas (pvz., ataskaita, sukurta mobili aplikacija), - pageidaujamas darbo laikas.

45