Transcript Perceptie en Aandacht - Universiteit Utrecht

COGNITIE & COMMUNICATIE
College week 2, 17/09/2014
Perceptie & Aandacht
1
Informatiekunde
Universiteit Utrecht
Joske Houtkamp
ONDERWERPEN
Perceptie
•
•
•
•
Gewaarwording (sensatie)
Waarneming (perceptie)
Theorieën over visuele perceptie (o.a. patroonherkenning)
(Face perception & speech perception zelf bestuderen)
Aandacht
Top-down vs Bottom-up processing
Aandacht: Selectieve aandacht, verdeelde aandacht
Theorieën over aandacht
Saccades, Eye tracking
(Consciousness, facultatief)
2
•
•
•
•
•
LITERATUUR
Literatuur bij dit college:
Matlin, M.W. Cognitive Psychology
(2014, 8th edition; eventueel 7th edition)
• Chapter 2 Recognizing Visual and Auditory Stimuli
• Chapter 3 Paying Attention (behalve sectie
3
Consciousness)
HOE NEMEN MENSEN WAAR?
1.
Gewaarwording (sensation)
Het proces waarmee de zintuigen informatie
verzamelen en via neuronale signalen naar de
hersenen zenden.
•
Distale stimulus (prikkel): bijv. voorwerp in
buitenwereld
•
Proximale stimulus: de informatie die op
de receptoren (bijv. visuele receptoren) is
ontvangen, bijv. het beeld van het
voorwerp op de retina.
2.
Waarneming (perception)
4
Interpretatie van gewaarwordingen (bijv.
Illusies)
GEWAARWORDING
Sebastian Stosskopf
5
zien horen voelen ruiken proeven
ZIEN (1)
6
Wij ‘zien’ iets als
electromagnetische golven/photons
van 400 tot 700 nm (tussen 1014 en
1015 Hz) het oog bereiken – maar
een heel klein stukje van het
electromagnetische spectrum
ZIEN (2)
Veel dieren, met name insecten en
vogels, kunnen in het ultraviolette
spectrum waarnemen (10-400nm).
http://www.seanbluestone.com/interesting/5-extrasenses-that-animals-have-over-humans/
https://bybio.wordpress.com/tag/uv-receptors/
http://www.seanbluestone.com/interesting/5-extrasenses-that-animals-have-over-humans/
7
Andere dieren (o.a. bepaalde slangen,
vleermuizen, kevers), kunnen warmte
(infrarood) waarnemen met systemen die
overeenkomsten vertonen met het
visueel systeem.
ZIEN (3)
http://veterinaryvision.com/resources/
what-do-dogs-and-cats-see/
http://www.lovingpawsllc.com/Articles/2
8/Mythbusting_Dog_Color_Vision.aspx
8
http://fayeflamwriter.com/how-dogs-see-theworld-the-evolutionary-story-of-color-vision/
HOREN (1)
Wij ‘horen’:
• als mechanische golven van 20– 20.000 Hz. (frequentie),
onstaan door het trillen van objecten, het oor bereiken.
https://familynow.com/sun/the-two-main-types-of-audible-alarms/
9
• Daaronder: infrageluid. Daarboven: ultrageluid.
http://www.cochlea.org/en/hear/frequency-hearing-range-in-man-and-some-common-animal-species
10
HOREN (2)
11
HOREN (3)
VOELEN, RUIKEN, PROEVEN
wij ‘voelen’
• ‘druk’ , ‘temperatuur’, ‘pijn’
• Deze drie benutten afzonderlijke
sensoren, paden naar hersenen, en
hersenverwerkingsgebieden
wij ‘ruiken’
• bepaalde vluchtige moleculen, oplosbaar
in vet
• We kunnen ongeveer 10.000
verschillende geuren onderscheiden met
voor elke geur een specifieke receptor
12
wij ‘proeven’
• bepaalde moleculen, oplosbaar in
speeksel (saliva)
• Ook voor deze moleculen bestaat voor
elke combinatie een specifieke receptor
GEWAARWORDING
13
Eigenlijk is er erg veel dat we NIET gewaar worden.
KIJK ENKELE SECONDEN NAAR DE AFBEELDING
Wat was er te zien?
Bev Doolittle
16
THE FOREST HAS EYES
VAN GEWAARWORDING NAAR
WAARNEMING
Waarneming:
Interpretatie
(bos, man op
paard, riviertje)
Gewaarwording:
neuronale informatie naar
hersenen
(beeld op retina naar
hersenen)
Waarneming:
Interpretatie wordt
complexer
(gezichten in de
rotsen en in de
bomen, man op
paard is cowboy,
gezichten zijn
indianengezichten)
http://www.tru-access.com/tru-access-blog/diversity_inclusion_from_perception_to_reality
18
WAARNEMING
WAARNEMING/PERCEPTIE
Perceptie is de interpretatie van wat we gewaar worden door
onze zintuigen.
De manier waarop we dat doen maakt ons anders dan dieren en
verschillend van elkaar.
19
Er bestaan vele theorieën over hoe wat we gewaar worden
wordt georganiseerd en geinterpreteerd, en dus over hoe wij
begrijpen wat we zien, horen, aanraken, proeven en ruiken.
OEFENING
Beschrijf in ten hoogste één, zo kort
mogelijke zin (<20 woorden), het meest in
het oog springende van wat je zo dadelijk
ziet.
20
‘Ik zie …’
Kees van Overveld
-21-
MOGELIJKE ANTWOORDEN
1.
2.
3.
4.
5.
6.
7.
8.
9.
Ik zie licht van de beamer teruggekaatst vanaf het
projectiescherm
Ik zie een verdeling van lichte tinten in het midden,
bruinachtige naar
de randen
Al deze
antwoorden zijn
Ik zie overwegend
gladde
kleurverdelingen,
mogelijke
interpretaties
van wat maar in het
waarnaar
je kijkt
midden korrelighet
enisaan
de rand
vlekkerig
Ik zie een paar lichte, afgeronde, symmetrische 2D vormen in
het midden en een afgeronde driehoek linksonder
Ik zie een ruwweg bolronde vorm in het midden en een paar
afgeplatte liggende 3D vormen daaronder
Ik zie een kopje cappuccino en een krant
Ik zie dat het kopje bijna vol is, en de krant is dichtgeslagen
Ik zie het zorgeloze begin van een veelbelovende
vakantiedag in Italië
…..
Bron van dit voorbeeld: Kees van Overveld ‘Van Licht tot
Zicht ‘
EEN BEELD
Wij zijn geneigd wat we zien te beschrijven als (een reeks) objecten
Maar er zijn veel niveaus van beschrijving
23
• Fysisch niveau: licht(val), kleuren, textuur, …
• Niveau van de vormen: 2D en 3D vormen, eigenschappen van
vormen, …
• Niveau van objecten: objecten, eigenschappen, relaties, …
• Betekenisniveau: boodschap, gevoelswaarde, …
LICHT  BETEKENIS
Hoe halen we objecten uit elkaar in een binnenkomend beeld?
24
Perceptuele organisatie: de manier waarop het ‘probleem’ stimulus
wordt ‘opgelost’ in onze hersenen.
GESTALT-PSYCHOLOGIE
De Gestalt psychologie geeft inzicht in hoe we
visuele stimuli waarnemen.
Gestalt staat voor "een totaalbeeld", waarbij het
geheel méér is dan de som van de
samenstellende delen.
• de mens ervaart meer dan de som van de
afzonderlijke zintuiglijke prikkels.
25
• de mens heeft de neiging om actief te
organiseren wat zij/hij ziet en neemt de
wereld waar in ‘gehelen’ en patronen.
26
GESTALT PRINCIPES
BASISPRINCIPES
GESTALTSBENADERING
De constructie van een totaalbeeld vindt plaats voor de
waarneming van de onderdelen, en is automatisch.
Wij nemen gehelen waar
Het geheel is meer dan de som der delen
Het geheel bepaalt de betekenis van het deel
Het deel bepaalt de betekenis van het geheel
Wij nemen steeds een figuur tegen de achtergrond
waar.
27
•
•
•
•
•
28
FIGUUR EN
ACHTERGROND
29
AMBIGUOUS
FIGURE-GROUND RELATIONSHIP
GESTALT WETTEN
Law of Pragnanz
30
De wet van pregnantie (Prägnanz):
waarneming is er op gericht te zoeken naar een combinatie van
eenvoud en essentie
GESTALT WETTEN
Law of proximity
31
De wet van nabijheid: elementen die dicht bij elkaar liggen, worden
waargenomen als bij elkaar horend.
GESTALT WETTEN
Law of similarity
32
De wet van gelijkheid: bij het voorkomen van twee soorten elementen,
worden de elementen opgedeeld in twee afzonderlijke samenhangende
gehelen. Hierdoor kan het lijken alsof de ene groep elementen zich op
de voorgrond bevindt en de andere op de achtergrond.
GESTALT WETTEN
Law of continuity
33
De wet van goede voortzetting: er wordt een organiserend principe,
zoals bijvoorbeeld bewegingsrichting, gezocht achter de
elementen.
GESTALT WETTEN
Law of closure
34
De wet van geslotenheid: neiging om één geheel waar te nemen, in
plaats van afzonderlijke elementen.
PECEPTIE: ILLUSIES
35
Escher in Het Paleis
HOE BETROUWBAAR IS ONZE
WAARNEMING?
Welk vlak is donkerder? A of B?
HOE BETROUWBAAR IS ONZE
WAARNEMING?
ILLUSIES
Welke lijn is langer? Müller-Lyer illusion
39
AMBIGUE
AFBEELDINGEN
LEANING TOWER
ILLUSION
Twin Towers van Pisa
Ponzo illusie
Het brein corrigeert
40
MCGURK EFFECT
41
https://www.youtube.com/watch?v=G-lN8vWm3m0
THEORIES OF VISUAL OBJECT RECOGNITION
42
Template matching, Feature analysis, Recognition-by-components
CAPTCHA
43
Completely Automated Public Turing-test to tell
Computers and Humans Apart
VISUELE OBJECTHERKENNING (1A)
Template-matching model
44
• Een heel inkomend patroon wordt gematched op gelijkenis
met een heel opgeslagen (stored) patroon
VISUELE OBJECTHERKENNING (1B)
45
Template-matching model
VISUELE OBJECTHERKENNING
(2)
Feature analysis theories
- bepaalde kenmerkende
stukjes van een patroon
vergeleken met
opgeslagen stukjes
- match kenmerken
- match relatie tussen
kenmerken
46
- selecteer match met
hoogste activatie
Welke “feature demons” reageren op de R?
FEATURE ANALYSIS THEORY
Eleanor Gibson's research
Benodigde tijd om te bepalen of
letters verschillen hoger als letters
veel dezelfde kenmerken hebben
Model voor herkennen van letters
en cijfers op enveloppen
Hubel and Wiesel's research
Respons van enkel neuron op
eenvoudige visuele stimulus
Afhankelijk van plaats op de retina
and orientatie
Dus: (Aangeboren) feature
detectors helpen ons bepaalde
kenmerken van letters en
eenvoudige patronen te herkennen.
http://www.ftpress.com/articles/article.aspx?p=1431818
47
http://www.cns.nyu.edu/~david/courses/perception/lecturenotes/recognition/recognition.html
48
VISUELE OBJECT HERKENNING
THEORIEËN VAN VISUELE
OBJECTHERKENNING
Biederman (1990 /
1995): recognition-bycomponents theory:
• Een speciale view van
een object is een
samenstelling van
eenvoudige 3-D vormen;
geons
• 36 categories of geons
• We herkennen objecten
door een specifieke
combinatie van geons.
49
Is in feite een feature-analysis theorie!! Wordt ondersteund door fMRI onderzoek.
VISUAL OBJECT
RECOGNITION
Aanpassingen aan The Recognition-by-Components Theory:
viewer centered approach
•
•
Een standaard gezichtspunt leidt tot snellere
herkenning dan een ongebruikelijk gezichtspunt
Verschillende views op objecten opgeslagen, niet een
enkel gezichtspunt
50
Zowel feature-analysis theory als de recognition-bycomponents theory kunnen een deel van de menselijke
vaardigheden in objectherkenning verklaren …
OBJECT HERKENNING:
CONTEXT
Tot nu geïsoleerde
objecten
51
Hoe helpen
context, kennis en
verwachting
herkenning?
Bottom-up
processing
Top-down
processing
Kenmerken van de
stimulus zijn
belangrijk voor het
herkennen van een
object.
Concepten,
verwachtingen en
geheugen helpen
herkenning. Sterk bij:
-
Zeer korte
waarneming
-
Incomplete of
ambigue stimulus
52
BOTTOM-UP VERSUS
TOP-DOWN PROCESSING
TOP DOWNPROCESSING: LEZEN
Wat zegt het volgende over hoe we tekst herkennen?
53
Cognitie & Informatieverwerking 2008
OVERACTIEVE TOP-DOWN
PROCESSING
Smart mistakes: strategie van topdown processing overheerst
Change blindness (verandering wordt
niet opgemerkt)
Inattentional blindness (een nieuw
object wordt niet opgemerkt). Vooral
als de taak cognitieve inspanning
vraagt
Change blindness
http://www.youtube.com/watch?featur
e=player_embedded&v=FWSxSQssp
iQ
http://www.theinvisiblegorilla.com/videos.html
54
55
Kies 1 kaart
Ik heb jouw kaart verwijderd!!!
57
VERANDERINGSBLINDHEID
(1)
58
VERANDERINGSBLINDHEID
(2)
59
AANDACHT
WAT IS “AANDACHT” /
ATTENTION?
Onze cognitieve processen kunnen niet op alles tegelijk letten.
Matlin (2010): “Attention is a concentration of mental activity
that allows you to take in a limited portion of the vast stream of
information available from both your sensory world and your
memory.”
Top-down en bottom-up processing:
60
bewust concentreren – aandacht wordt getrokken door stimulus in
de omgeving.
BOTTOM-UP VERSUS
TOP-DOWN
niet hier!!
niet hier!!
Kijk hier
niet hier!!
61
Aandacht kan bottomup getrokken worden
BOTTOM-UP VERSUS
TOP-DOWN
Bottom-up: data driven (guided by sensory features)
62
Top-down: concept driven
ATTENTION PROCESSES
DIVIDED ATTENTION
Divided-attention task (verdeelde aandacht)
•
•
•
Proberen aandacht te besteden aan twee of meer tegelijk
binnenkomende boodschappen
Juist reageren op de boodschappen
Gevolg: langzamer en meer fouten
•
Proberen twee of meer taken tegelijk te doen
•
Zware belasting voor aandacht, werkgeheugen en
langetermijngeheugen
•
Task switching is net als multitasking belastend en leidt tot
vertraging en fouten
63
Multitasking
http://infographics.idlelist.com/the-perils-of-multitasking/
64
KLOPT DIT ?
DIVIDED ATTENTION
Veel onderzoek naar gebruik mobiele telefoon
Bijvoorbeeld studies naar autorijden
65
• Collet et al. (2011)
• Mobiele telefoongebruik tijdens rijden in een simulator
• Reactietijden tijdens rijden 20% langzamer dan zonder
de mobiele telefoon
• Strayer et al. (2003)
• hands-free bellen
• langzamer met remmen
• inattentional blindness
• passagiers die bellen leiden ook af (gesprek proberen te
volgen)
VOORBEELDEN
Aandacht voor mobiele telefoon
http://www.youtube.com/watch?v=R8-W6o8Eu7c
http://www.youtube.com/watch?v=Z8-Kcg11YcY
Appen in de auto
66
http://www.youtube.com/watch?v=HbjSWDwJILs&list=PLm8ucpV
zZ-bF23tP5fV8Fh_x-R794o4O3
ATTENTION PROCESSES
SELECTIVE ATTENTION
Selective Attention (selectieve
aandacht)
67
Bij een divided attention task moet een
individu evenveel aandacht besteden
aan twee of meer taken.
Bij een selective attention task juist
aandacht voor bepaalde informatie en
andere negeren.
Maakt het dagelijks leven eenvoudiger.
We filteren onbelangrijke informatie en
taken uit.
SELECTIVE
ATTENTION TASKS
Dichotic listening (=beide oren)
The Stroop Effect/Task
Visual search
Saccadic eye movements during
reading
68
•
•
•
•
SELECTIVE
ATTENTION TASK
Dichotic Listening
Via koptelefoon worden twee
verschillende teksten
voorgelezen (1 links, 1 rechts).
Opdracht: volg een van de
teksten en herhaal deze hardop
69
Mensen merken erg weinig op
over de andere tekst
(bijvoorbeeld niet het switchen
van taal).
DICHOTIC LISTENING
In het algemeen kunnen mensen maar een boodschap tegelijk
verwerken.
1.
Beide teksten langzaam worden gepresenteerd
2.
De uit te voeren taak niet te ingewikkeld is
3.
De betekenis van de boodschap waar de aandacht niet op
gericht was, relevant is
4.
Cocktail party effect (naam valt op)
70
De andere boodschap kan wel worden verwerkt wanneer:
SELECTIVE
ATTENTION TASK
The Stroop Effect
71
Zeg de kleuren van de woorden hardop, negeer de betekenis
van het woord. Meet de benodigde tijd om de lijst 5 maal op te
lezen.
SELECTIVE
ATTENTION TASK
The Stroop Effect
72
Zeg de kleuren van de vakjes hardop. Meet de benodigde tijd
om dit 5 maal te doen.
STROOP EFFECT
Het kost meer tijd om de kleur te noemen wanneer het woord een
andere kleur aanduidt (en dus afleidt). Bij de vakjes gebeurt dat
niet.
Verklaringen:
• connectionist/parallel distributed processing (PDP) approach ;
twee pathways worden tegelijk geactiveerd (kleur van de inkt,
betekenis van het woord) en interfereren.
• Volwassenen hebben meer ervaring met het lezen van
woorden (automatisch en onwillekeurig) dan benoemen van
kleuren
73
• Zie in Matlin: emotional Stroop task.
SELECTIVE
ATTENTION TASK
Visual search
Vind een specifiek object in een afbeelding met veel afleidende
objecten
Variabelen die invloed hebben:
74
• Meer accuraat wanneer het target vaker voorkomt (niet hier dus)
VISUAL SEARCH
Variabelen die visueel zoeken beïnvloeden
The isolated-feature/combined-feature effect (Treisman and
Gelade (1980))
75
1. Zoek de blauwe x. Vind je ze ongeveer even snel, of niet?
VISUAL SEARCH
76
En nu?
VISUAL SEARCH
Als het doelobject van de irrelevante objecten verschilt in een
enkel kenmerk zoals kleur, is het eenvoudig het doelobject te
vinden (isolated feature).
77
Wanneer er sprake is van een combinatie van kenmerken (kleur
en vorm) duurt het zoeken langer (combined feature).
VISUAL SEARCH
Variabelen die visueel zoeken beïnvloeden
The feature-present/feature-absent effect(Treisman and Souther
(1985)).
78
Zoek de cirkel met het streepje of de cirkel zonder het streepje
Attention in the real world: toward understanding its neural basis
M.V. Peelen, S.Kastner, 2013
79
The neural basis of attentional control in visual search
M. Eimer, 2014
80
SACCADES EN EYE TRACKING
SACCADIC EYE
MOVEMENTS BIJ LEZEN
A selective-attention task
Oogbewegingen zijn van belang bij kijken, zoeken, lezen, autorijden,
spreken …
Saccadic eye movement
•
Serie van kleine sprongetjes van het oog
brengt het centrum van de retina (fovea) boven de woorden die
gelezen worden
Het oog beweegt vaak over spaties, korte woorden en voorspelbare
woorden heen maar pauzeert bij spelfouten en ongebruikelijke
woorden.
http://www.microsoft.co
m/typography/ctfonts/W
ordRecognition.aspx
81
•
•
SACCADES
Wat doet deze persoon?
82
•bij elke saccade
beweegt het oog
ongeveer 7-9 letters
vooruit
•150.000 – 200.000
saccades per dag
MEASURING ATTENTION
BY EYE TRACKING
Are People Drawn to Faces on Webpages? – T.Tullis, M.Siegel &
M.Sun in: CHI 2009, Boston, Massachusetts, USA.
Faces draw
attention to them on
webpages
83
Study 1:
users are clearly
drawn to faces
when asked to look
at pages and report
what they
remember
EYE TRACKING AND TASKPERFORMANCE
Study 2:
•a Portfolio
Summary page
was modified to
contain either a
photo of a
woman’s face or
no image
•tasks that had
answers that
could be found
by reading
information on
the page
84
Are People Drawn to Faces on Webpages? – T.Tullis, M.Siegel &
M.Sun in: CHI 2009, Boston, Massachusetts, USA.
Study 2:
Contrary to
expectation, a
picture of a face in
this context actually
caused users to do
worse on a task
involving information
adjacent to the face.
85
EYE TRACKING AND
TASK-PERFORMANCE
VERKLARINGEN VOOR
AANDACHT
Neurowetenschappelijk
onderzoek
The Orienting Attention
Network
86
• Selecteert informatie uit
zintuiglijke input
• Voorbeeld: gericht zoeken,
visual search
• (voor een deel) in de
parietal lobe (pariëtale
kwab) gelegen
NEUROWETENSCHAPPELIJK
ONDERZOEK
The Executive Attention Network
87
• Is actief wanneer we ons richten
op een taak met
tegenstrijdigheden, zoals de
Stroop task
• Verhindert automatische
responses op stimuli
• Prefrontale cortex
• Top-down control van aandacht
• Academische vaardigheden,
nieuwe dingen leren
88
http://video.ted.com/talk/podcast/2013G/None/ApolloRobbins_2013G-480p.mp4
THEORIËN VOOR AANDACHT:
BOTTLENECK THEORIE
Bevinding: slechts een
gedeelte van het aanbod
aan input wordt verwerkt.
•
•
•
•
•
•
Menselijke informatieverwerking heeft vernauwing
Beperking van de hoeveelheid informatie die aandacht krijgt
De rest blijft achter/verdwijnt
Maar: deze verklaring is te simpel
Informatie verdwijnt in meer fasen van het proces van aandacht
Verouderde theorie
89
FEATURE-INTEGRATION
THEORY (ANNE TREISMAN)
focused attention
Automatisch registreren van
kenmerken (bijv.een ruimte)
Langzamere, seriële
verwerking
Parallel processing
Identificeren van 1 object
tegelijk
Identificeert objecten
simultaan
Complexe objecten
“Low-level processing” dwz
zonder inspanning,
automatisch
Identificeren welke kenmerken
bij elkaar horen (bijv. vierkant
en blauw)
90
1. Basic elements
distributed attention
FEATURE-INTEGRATION THEORY
2. Research on the theory
isolated features
(distributed attention;
‘pop out’)
91
combined features
(focused attention)
FEATURE-INTEGRATION
THEORY
3. Current status of the theory
• Distributed attention can occasionally
resemble focused attention.
92
• Visual system may use distributed
attention to quickly gather information
about the general gist of a scene.
SAMENVATTEND
Perceptie
• Gewaarwording (sensatie)
• Waarneming (perceptie)
• Theorieën van visuele perceptie (patroonherkenning)
• Face perception & speech perception zelf bestuderen!
Aandacht
• Top-down vs Bottom-up processing
• Selectieve aandacht
• Verdeelde aandacht
• Feature integration theory
93
• Saccades, eye tracking, change blindness
• Consciousness (facultatief)
94
WERKCOLLEGE
95
96
MULTITASKING
OPDRACHT
Bedenk en test een klein experiment om jongeren te laten zien en
overtuigen dat multitasking een negatief effect heeft op hun prestaties.
Kies uit twee cases:
1.
Whatsappen en fietsen
2.
Skypen/gamen en huiswerk maken
Het experiment mag de veiligheid van de puber niet in gevaar brengen, moet
overtuigend en eenvoudig uitvoerbaar zijn.
Bijvoorbeeld:
Whatsappen met de rechterhand en met de linkerhand het ritme van een
liedje tikken; versus eerst appen en dan ritme tikken. Hoeveel fouten?
97
Een couplet van een song leren en tegelijk gamen; versus ongestoord leren.
Hoeveel tijd nodig, hoeveel fouten?
ORGANISATIE
• 10 minuten bedenken
• 10 minuten uitproberen en aanpassen (mag buiten de zaal)
•
•
•
•
Het experiment is korter dan 5 minuten.
Welke materialen gebruik je? (smartphone, pilonnen, etc)
Waar voer je het uit?
Hoe meet je de uitkomsten? Fouten, tijdsduur, enz. Hoe
vergelijk je de condities?
Iedereen is terug in de zaal om 11.30u
98
Presentatie/demonstratie tot 12.00u.