Transcript Meten van cognitieve processen met

Meten van cognitieve processen met
oogbewegingregistratieapparatuur
Workshop eye-tracking
Ludo van Meeuwen, CELSTEC, Open Universiteit Nederland
1 Informatie zoeken op het web 15 oktober 2010
Interesses en verwachtingen
• Voorstellen/Achtergrond?
• Ervaringen met eye-tracking?
• Met welke verwachting naar deze workshop
gekomen? / wat hoop je te leren?
2 Informatie zoeken op het web 15 oktober 2010
Ludo van Meeuwen
•
•
•
•
BSc Technische Innovatie Wetenschappen (oude Techniek en
Maatschappij)
Ir. Human Technology Interaction (HTI/HCI)
Master thesis: CELSTEC, Information Problem Solving
• Gebruik eye-tracker (meten van (meta-)cognitieve processen)
PhD: CELSTEC/Luchtverkeersleiding Nederland
• Adaptief trainen
• Gebruik eye-tracker
• Meten van (meta-)cognitieve processen
• Scanning
•
Docent Trends
3 Informatie zoeken op het web 15 oktober 2010
Het Oog: onderdelen
Tobii (2010)
4 Informatie zoeken op het web 15 oktober 2010
Het oog: Visual Acuity / Visual Resolution
•
Visual Acuity. Het stuk dat we scherp zien dankzij de Fovea
Centralis (geen staafjes, alleen kegeltjes)
5 Informatie zoeken op het web 15 oktober 2010
Het Oog
Saccades
Fixaties
6 Informatie zoeken op het web 15 oktober 2010
Het Oog: Fixaties en saccades
•
•
Saccades: 4 à 5 saccades per seconde tijdens lezen
Fixaties: Alleen dan kun je wat zien (je ziet nooit een eigen
saccade in een spiegel)
Secular & Blake (2002)
Holmqvist et al. (2010)
7 Informatie zoeken op het web 15 oktober 2010
Waarvoor eye-tracking?
•
User-interface design
8 Informatie zoeken op het web 15 oktober 2010
Waarvoor eye-tracking?
•
Verkeersonderzoek
9 Informatie zoeken op het web 15 oktober 2010
Waarvoor eye-tracking?
•
Luchtverkeersleiding
10 Informatie zoeken op het web 15 oktober 2010
Waarvoor eye-tracking?
•
Hulp voor gehandicapten
11 Informatie zoeken op het web 15 oktober 2010
Waarvoor eye-tracking?
•
Leesonderzoek
12 Informatie zoeken op het web 15 oktober 2010
Waarvoor eye-tracking?
•
Zoeken op Internet / HCI
13 Informatie zoeken op het web 15 oktober 2010
Verschillende modellen eye-trackers
according to Holmqvist et al. (2010)
14 Informatie zoeken op het web 15 oktober 2010
Verschillende modellen eye-trackers
15 Informatie zoeken op het web 15 oktober 2010
Verschillende modellen eye-trackers
16 Informatie zoeken op het web 15 oktober 2010
Verschillende modellen eye-trackers
17 Informatie zoeken op het web 15 oktober 2010
Voor- en nadelen
Mobiliteit,
hoofdbewegingen
✔
✖
✖
“aanwezigheid”
afleidend
✔
✔
✖
Resolutie
Automatische analyse
✖
✖
Fysische reacties
(armbewegingen)
18 Informatie zoeken op het web✔15 oktober 2010
✔
✔
✔
✔
✖
✔
✔
Data-kwaliteit
•
•
•
•
•
•
Callibratie
Bril
Mascara
Oudere ogen
Etniciteit
Lange haren
•
•
•
•
•
Knipperen
(Snelle) hoofdbewegingen
Schermafstand (ongeveer 60 cm)
Duur opname (drift  her-callibratie)
Onbekende factoren
19 Informatie zoeken op het web 15 oktober 2010
Hoe meet je (meta-)cognitieve processen?
•
•
Casus van meten: SRL in Luchtverkeersleidingopleiding
Wat zijn cognitieve processen
• Op taak niveau: domein competenties
• Scannen
• Opbouwen mentaal beeld
• Besluitvorming volgorde
•
Op meta niveau: SRL vaardigheden
•
•
•
•
•
Oriënteren
Plannen
Monitoren
Aanpassen
Beoordelen
20 Informatie zoeken op het web 15 oktober 2010
Hoe meet je (meta-)cognitieve processen?
•
Meten van (meta-)cognitieve processen
• Online: Hardop denken (noem voor- en nadelen)
- Stoort het ‘echte’ proces van een taak
- Behoeft training
- Mist informatie (klikken zonder iets te zeggen)
+Geen ‘fabricage’
•
Off-line: Vragenlijsten (noem voor- en nadelen)
- Sociaal wenselijke antwoorden
- Beperkte validiteit
- Lange vragenlijsten
+Eenvoudige data analyse
21 Informatie zoeken op het web 15 oktober 2010
Hoe meet je (meta-)cognitieve processen?
•
Cued Retrospective Reporting
• In plaats van Hardop denken
ATC Task
22 Informatie zoeken op het web 15 oktober 2010
Cued
Retrospective
Report
Hoe meet je (meta-)cognitieve processen?
•
•
•
•
•
•
CRR-uitingen
“Hier zie je hoe ik dit groepje in de gaten houd” (taakniveau)
“Ik had er voor kunnen kiezen om deze kist af te remmen, maar
ik gebruikte een andere strategie…” (meta-niveau/monitor).
“Hier had ik ervoor moeten kiezen om die kist toch naar voren te
halen omdat…”(meta-niveau/beoordelen)
“Hier maakte ik er echt een drama van!” (metaniveau/beoordelen)
Uittypen van report  Maken scoreschema  scoren
23 Informatie zoeken op het web 15 oktober 2010
Hoe meet je (meta-)cognitieve processen?
•
•
Online: Hardop denken (noem voor- en nadelen)
- Stoort het ‘echte’ proces van een taak
- Behoeft training
- Mist informatie (klikken zonder iets te zeggen)
+Geen ‘fabricage’
Cued Retrospective Report
+ Stoort het ‘echte’ taakproces niet
+ Behoeft nauwelijks training
+ Krijgt heel veel informatie
- Beperkte taaklengte (10 min)
- Kost veel tijd (zeker bij vertraagd afspelen)
- (dure) apparatuur
- Te veel informatie?
24 Informatie zoeken op het web 15 oktober 2010
Proef op de som
•
Een persoon achter de eye-tracker
•
Info zoeken
25 Informatie zoeken op het web 15 oktober 2010
IPS and eye-tracking
•
Tracking the brain
26 Informatie zoeken op het web 15 oktober 2010
Samenvattend tot nu toe
•
•
•
•
•
•
•
Het Oog
Waarvoor eye-tracking
Waarmee eye-tracking
Data-kwaliteit
Hoe meet je (meta) cognitieve processen?
Zelf ervaren
IPS
•
Straks:
• Zelf eye-tracken
• Zelf onderzoek opstellen
• Voorbeeld studie (Scanning)
27 Informatie zoeken op het web 15 oktober 2010
Einde deel 1
Vragen? Opmerkingen?
28 Informatie zoeken op het web 15 oktober 2010
Proef
•
MARS
29 Informatie zoeken op het web 15 oktober 2010
Het eigen onderzoek
•
•
•
•
•
Probleem
Hypothesen
Methode
• Eye-tracking
Resultaten/conclusie….
Wat voor type data komt er nou uit…wat voor vragen zijn te
beantwoorden
30 Informatie zoeken op het web 15 oktober 2010
Analyse van:
AOI’s Fixation Duration, Visit duration, Transition matrix...
•
Scanning studie
• Proefpersoon
• Presentatie van de voorlopige resultaten
31 Informatie zoeken op het web 15 oktober 2010
Einde deel 2
Vragen? Opmerkingen?
[email protected]
32 Informatie zoeken op het web 15 oktober 2010
(aan)leren mbv eye-trackng (Jarodzka 2010)
top-down
EXPERTS
NOVICES
bottom-up
33 Informatie zoeken op het web 15 oktober 2010
Expertise difference studies
•
Classification of movement patterns in zoology
Jarodzka, H., Scheiter, K., Gerjets, P., & Van Gog, T. (2010). In the eyes of the beholder: How do experts and
novices interpret complex, dynamic stimuli, Learning and Instruction, 20, 146-154.
NOVICES
EXPERTS
...
• are faster and more accurate
in task performance
• are slow and more inaccurate in
task performance
•use heterogeneous task
approaches
•use homogenous task
approaches (saliency-driven)
• use knowledge- and
experience-based shortcuts (in
34 Informatie zoeken
het web 15 oktober 2010
perceptual
andopconceptual
processes)
...
• attend to irrelevant elements (in
looking and describing)
Influence of different display designs to facilitate
task performance
•
•
•
Attention guidance
• How can attention of observers be
guided?
Efficient visual search
• Looking fast and long on relevant areas,
without being distracted by salient, but
irrelevant areas
Interpretation
• Correctly interpreting the relevant areas
35 Informatie zoeken op het web 15 oktober 2010