Transcript No Slide Title

Saccadische oogbewegingen
1) De techniek
Hoe meet je oogbewegingen?
2) Het waarom
Waarom maakt een mens oogbewegingen?
3) Het brein
Hoe genereert het brein saccades?
4) Gedrag
Saccade parameters
5) De toekomst:
Saccades om computers te besturen
De techniek
Hoe meet je oogbewegingen?
As early as 1878, the French physiologist Emile
Javal had become interested in the question of
eye movements during reading. Using direct
observation of the eyes, Javal reported the
existence of saccadic movements and
recognized that the eye's trajectory rarely
strays above or below a line of text as it is read.
Direct observation, however, could provide only
vague estimates of the speed and number of a
reader's eye movements or of the length and
variability of pauses between such movements.
2.Electro-oculography
Permanent potential difference between
the cornea and the fundus of
approximately 1mV
small voltages can be recorded from the
region around the eyes which vary as
the eye orientation varies.
By carefully placing electrodes it is
possible to separately record horizontal
and vertical movements.
Yarbus, A.L. 1967. Eye
movements and vision. New York:
Plenum Press.
QuickTime™ and a
GIF decompressor
are needed to see this picture.
QuickTime™ and a
Photo - JPEG decompressor
are needed to see this picture.
QuickTime™ and a
Photo - JPEG decompressor
are needed to see this picture.
QuickTime™ and a
Photo - JPEG decompressor
are needed to see this picture.
QuickTime™ and a
Photo - JPEG decompressor
are needed to see this picture.
Het gedrag
Waarom maakt een
mens oogbewegingen?
Waarom maakt een mens oogbewegingen?
Optical axis
Fovea
Oogbewegingen
snel
saccades
langzaam
pursuit
vergentie
QuickTime™ and a
Cinepak decompressor
are needed to see this picture.
Fixation
Oogbewegingen
vrijwillig
saccades
pursuit
reflexmatig
OKN
VOR
QuickTime™ and a
Cinepak decompressor
are needed to see this picture.
Het brein
Hoe genereert het brein
saccades?
Het oculomotorsysteem en eenvoudige systeemtheorie
PLANT
Lineaire
systeemtheorie
Wat is een systeem?
input
Systeem
output
Voorbeelden van systemen:
De Bloedsomloop, De Rijn, Een cassetterecorder,
Het doelzoeksysteem van een kruisraket, Een
Thermostaat en een televisie
Lineaire systemen
a
Systeem
a
1) S(a) = a, ook moet gelden dat S(ap) = ap
2) wanneer S(a) = a en S(b) = , er moet
gelden dat S(a+b) = a + .
Deze tweede eis heet superpositie en zal belangrijk
blijken bij het begrijpen van de relatie tussen
bijvoorbeeld neurale signalen een oogbewegingen
Lineaire systemen
Zijn de volgende systemen lineair?
200
10000
8000
y (m)
y (m)
150
100
6000
4000
50
2000
0
0
20
40
x (m)
60
80
100
0
0
20
40
60
x (m)
80
100
Lineaire systemen
Is het volgende systeem lineair?
300
y (m)
250
y = 2x + 100
200
150
100
0
20
40
60
80
100
x (m)
1) S(x) = y, ook moet gelden dat S(ax) = ay
Voorbeelden:
y=x+3
y = 2x
y = x2
y = dx/dt
y=
∫xdt
Systeem waarin een viskeus element en een veer parallel
aan elkaar staan. De relatie tussen de kracht en de lengte
wordt beschreven door de volgende 1ste orde differentiaal
vergelijking:
F = kL + r dL/dt
Is deze vgl lineair?
We doen de volgende drie
experimenten:
Experiment 1:
De aap moet recht vooruit kijken (E = 0°)
en blijven fixeren (dE/dt = 0°/s).
We meten dan Rm = R0.
De spontane activiteit R0 bij deze aap is 100 spikes/s.
R0 = 100 Hz
Experiment 2
We laten de aap naar verschillende doelen kijken. Elk
van die doelen wordt onder een andere hoek
aangeboden.
Er volgt: Rm = R0 + kE. De waarde van k bedraagt
ongeveer 4 spikes per seconde per graad.
k = 4 Hz/°
Experiment 3
We laten de aap bewegende puntjes volgen. We varieren de
snelheid van de bewegende puntjes. We meten Rm wanneer
E = 0°.
De waarde van r bedraagt ongeveer 1 spike/°. Controleer
zelf dat de dimensie van r klopt.
r = 1 spike/°
spike /s /(°/s) = spike/°
Experiment 3
De resultaten van de drie
experimenten kunnen samengevat
worden in de volgende eerste orde
differentiaalvergelijking:
Rm(t) = R0 + kE + rdE/dt
Is deze vgl lineair?
NEE!!!
als we stellen DR(t) = Rm(t) - R0 volgt:
DR(t) = kE + rdE/dt
DR(t) = 4E + dE/dt
F = kL + r dL/dt
Controle experiment
Uitwijking (°)
10
8
.
6
4
2
0
0
0.2
0.4
0.6
0.8
1
Tijd (s)
Met een zuigertje brengen we het oog van de aap uit de
evenwichtsstand.
Wat gebeurt er?
Dit blijkt te gaan als een e-macht.
10
Het terugdrijven blijkt te
beschrijven zijn als:
uitwijking (°)
8
E(t) = E0 e-t/T
6
(E0 x 1/e, T)
4
met E0 de beginuitwijking en T
de tijdsconstante (T = r/k). We
meten T = 0.25s
2
0
0
0.2
0.4
0.6
0.8
1.0
Tijd (s)
T = r/k. Uit experiment 3 volgde r = 1 en uit experiment 2
volgde k = 4, dus T = 0.25s
De saccade
DR(t) = kE + rdE/dt
QuickT i me™ and a
Cinepak decompressor
are needed to see this picture.
80
20
60
15
E (°)
DR (spikes/s)
..
E(t) = E0 e-t/T
QuickTime™ and a
YUV420 codec decompressor
are needed to see this picture.
40
20
0
10
5
0
0
0.2
0.4
Time (s)
0
0.2
0.4
Time (s)
Tijd (s)
Tijd (s)
100
A
80
60
40
..
20
.
0
0
0.2
0.4
100
E(t) (°)
DR(t) (spikes/s)
C
80
60
40
20
0
0
0.2
0.4
100
E
80
60
40
20
0
0
0.2
0.4
Tijd (s)
Tijd (s)
.
Hoe produceren de hersenen een puls-stap?
y(t) = dx(t)/dt
x(t)
d
dt
y(t)
*3
y(t) = dx(t)/dt + 3x(t)
x(t)
d
dt
*3
y(t) = 3(dx(t)/dt)
y(t)
+
dt *C
Plant
Gedrag:
Waarom maak je
saccades?
Saccadic search: The relation between
fixation duration and saccade amplitude
Ignace Hooge1, Björn Vlaskamp1 and Eelco Over2
1Psychonomics, 1Physics
of Man
Utrecht University, The Netherlands
Introduction
Hooge, Vlaskamp & Over
What is Saccadic search?
Saccadic search
(search for which a
saccade is required)
Search for which no
saccades are required
Introduction: Question
Hooge, Vlaskamp & Over
What is the relation between fixation duration and
saccade amplitude?
1) Time course of visual processing
2) Motor control
Introduction
Hooge, Vlaskamp & Over
Time course of visual processing
Visual lobe
(Widdel, 1983)
Visual span
(Jacobs, 1986)
Conspicuity area
(Engel, 1977)
The area from which information can be
extracted grows with time (Geisler & Chou, 1995)
Introduction
Hooge, Vlaskamp & Over
Motor Control
Subjects may adopt different strategies in dense displays
(Moffit, 1980)
Long-lasting Fixation
large area analyzed
large saccade
Short Fixation
small area analyzed
small saccade
Introduction
Harder
Search task
Fixation time (ms)
Simple model
Hooge, Vlaskamp & Over
Saccade amplitude (°)
Easier
Search
task
What is the
relation between
fixation duration
and saccade
amplitude?
Experiment 1
Hooge, Vlaskamp & Over
Target
Experiment 1
Hooge, Vlaskamp & Over
Results exp1
Hooge, Vlaskamp & Over
10
10
eo
bv
144
8
8
81
Amplitude (°)
6
6
64
36
4
4
4
6
8
10
4
6
8
10
10
ih
Gap size
8
0.09°
6
0.18°
4
0.27°
4
6
8
10
inter-object distance(°)
Objects distance mainly determines saccade amplitude
Varying Gap-size has a small effect
Results exp1
Hooge, Vlaskamp & Over
eo
200
180 144
Fixation time (ms)
81
bv
200
180
64
36
160
160
140
140
4
6
8
4
6
8
ih
200
Gap size
180
0.09°
160
0.18°
140
0.27°
4
6
8
inter-object distance(°)
Gap-size and inter-object distance determine fixation duration
Experiment 2
Hooge, Vlaskamp & Over
Results exp1 + 2 + 3
Hooge, Vlaskamp & Over
Number of saccades = 225624
Number of subjects 4-7 per condition
Number of different conditions = 21
Fixation time (ms)
350
Experiment 3
Experiment 2
300
Experiment 1
250
200
150
100
0
5
10
Saccade amplitude (°)
15
Discussion
Hooge, Vlaskamp & Over
What is the relation between fixation duration and
saccade amplitude?
Fixation time (ms)
Fixation time (ms)
Over a large range of densities (object dist. 0.75°- 7.1°)
We found short fixation durations with large saccades and
longlasting fixations with small saccades.
Saccade amplitude (°)
Saccade amplitude (°)
Subjects used only one strategy to adjust saccade parameters
Discussion
Hooge, Vlaskamp & Over
Why do amplitudes become small in dense
displays?
1) Tendency to make smaller saccades then expected on the
basis of psychophysical experiments (Engel, 1975; Findlay
and Gilchrist, 1998).
Single fixation experiments do not necessarily predict eye
movement behavior
2) Crowding
Opvallendheid
R
R
P
XPX
XPXXPX
Omgeving heeft invloed
De Toekomst:
Bijvoorbeeld: Saccades
om computers te
besturen
http://www.research.linst.ac.uk/drawing_cognition/portrait.htm
Heo, Sundar & Chaturvedi (2001,
August).
Wait! Why is it not moving? Attractive
and distractive ocular responses to Web
ads.
Paper presented to the Advertising Division at the
annual conference of the Association for Education
in Journalism and Mass Communication (AEJMC)
Washington, DC
Waarom oogbewegingen gebruiken in een
virtual reality omgeving?
Oogbewegingen en wapens?
Mogelijke problemen?
Waarom bijna niets op het internet?
The application of eye movement activated controls in aircraft is
still very much in a laboratory stage because of robustness and
accuracy considerations.
http://www.beyond2000.com/news/Apr_01/story_1104.html
The U.S. Navy recently began F/A-18E/F Super
Hornet flight testing of the Joint Helmet-Mounted
Cueing System (JHMCS), technology that allows
airplane crews to aim weapons and sensors by
simply looking at a potential target. Yes, the days
where a pilot would have to even roughly line up
his aircraft to get a missile lock will soon be over.
The system will also become standard
equipment on U.S. Air Force F-15, F-16 and F-22
fighters as well.
QuickTime™ and a
GIF decompressor
are needed to see this picture.
QuickTime™ and a
Photo - JPEG decompressor
are needed to see this picture.
QuickTime™ and a
Photo - JPEG decompressor
are needed to see this picture.
QuickTime™ and a
Photo - JPEG decompressor
are needed to see this picture.
QuickTime™ and a
GIF decompressor
are needed to see this picture.
QuickTime™ and a
GIF decompressor
are needed to see this picture.
QuickTime™ and a
Cinepak decompressor
are needed to see this picture.
QuickTime™ and a
Cinepak decompressor
are needed to see this picture.
QuickTime™ and a
Cinepak decompressor
are needed to see this picture.
QuickTime™ and a
Cinepak decompressor
are needed to see this picture.