Transcript Onder invloed van expertise

TCPII
Beslissingen van experts
Wat is een expert?
iemand die lang in het vak zit
iemand die goed presteert op zijn/haar terrein
iemand die veel weet over een onderwerp
iemand die door anderen als expert wordt beschouwd
Klassiek voorbeeld
expertonderzoek:
Schaken
Pionier:
A.D. de Groot (1914 – 2006)
Het denken van den schaker. (1946)
1. “realistische” maar hanteerbare taak:
zetkeuze
Vergelijking topspelers met redelijke spelers
Zoekgedrag uit hardopdenkprotocollen
topspelers:
geen grotere diepte en breedte
wel: eerder “goede zet”
Zoekstrategie:
Successieve verdieping
2. geheugentaak
H.A. Simon.
De Groot als inspirator
SUPERIEURE PRESTATIES:
o.a. geheugentaak
Prestatie monotoon stijgend met expertiseniveau
Verschillen verdwijnen (grotendeels) bij random stellingen
Oogbewegingen
(Charness, 2001)
“salient”
(volgens meesters)
Eerste 5 fixaties (1 à 2 sec):
12 intermediates, 12 experts
S
= salient piece
N = nonsalient piece
Experts meer fixaties op prominente stukken
Experts meer fixaties op lege velden
Configuraties, perifeer waargenomen prominentie
Simultaanprestaties Kasparov (ELO 2750) tegen sterke teams
(ELO 2354-2550):
2310 – 2710, mediaan 2646.
(Gobet & Simon 1996)
In termen van Kahneman (2003):
Intuitie geeft expert voorsprong
Redeneren (vooral in normale partij) op
hoger niveau
J. H. Donner
(1927-1988)
“Vrouwen en computers
zullen nooit behoorlijk
leren schaken want die
hebben geen intuitie”
KLASSIEKE VERKLARING SIMON
Normale informatieverwerkingscapaciteit
(Simon: STM 5 chunks)
Expert: veel kennis in LTM
(Simon: = grote chunks (meester 50000)
als gevolg van 10-15 jr leren
snelle herkenning
diepgaande analyses hoog niveau
Latere nuances
-dissociaties geheugen/speelsterkte
(oudere-jongere spelers zelfde niveau:
geheugenprestaties ouderen minder)
-toch (kleine) verschillen in diepte
-geheugenprestaties geen STM (interferentie, langer onthouden,
vgl Chase & Ericsson: retrieval structuur)
-(kleine) verschillen random stellingen
Algemeen (maar expertise is vooral specifiek):
kennis (declaratief en procedureel) is essentiëel
“eerste blik”
Bijzondere geheugeprestaties (soms!)
specificiteit
10-jaren regel
Op Knowledge Based level komt
ruimte “vrij” voor heel moeilijke
problemen
(als er tijd voor is)
In terminologie van Reason/Rasmussen:
-Knowledge Based level
-Rule Based level
-Skill Based level
Onder invloed van
expertise “zakken”
verrichtingen naar lager
niveau
De eerste blik: honden- en vogelkenners kijken naar vogel- en
hondenplaatjes (Tanaka & Curran, 2001)
Redeneerprocessen sterk gebieds- en taakafhankelijk !!!
Medische diagnose:
Experts gebruiken minder
informatie dan beginners
Ziektescripts
-Enabling conditions
-Symptomen
-“Standaardverloop”
gebaseerd op ervaring met
veel gevallen
Biomedische kennis “ingekapseld”
(kan desgewenst worden opgeroepen)
Strafrechtelijke beslissingen:
Verhaal + verankering (Wagenaar e.a.)
(goed) verhaal
Ankers:
Stopregels
-niemand kan op 2 plaatsen
tegelijk zijn
-2 onafhankelijke getuigen
hebben het niet mis ?
-NFI maakt geen fouten
?!
?!
-verklaring politie is juist
Juristen hebben beperkte expertise m.b.t. verankering!
Naturalistic Decision Making
(G. Klein e.a.)
-“Rijke situaties” ipv. lab
- Experts ipv novices
- beschrijven (i.p.v. vergelijken met normatief model
Complexe situaties, tijdsdruk,
Conflicterende doelen- organisatie
Zware consequenties
Geen duidelijk normatief model
Brandweercommandanten, piloten, intensive care
Experimentele controle moeilijk:
(Self-confrontation) interviews,
Analyse incidenten
Freeze (en dan ondervragen)
Simulatie
Recognition Primed Decision making :
Expert herkent situatie als “typisch”

verwachtingen
plausibele doelen
relevante cues
typische actie
Herkennen  actie
Situation awareness (Endsley)
verwachting niet bevestigd
Herkennen  [anomalie  verklaren]
herzien/repareren  actie
Herkennen  (actie) simuleren
herzien/repareren  actie
NB.:
vaak is dit een continue proces van routineactiviteit –
met situation awareness voor reageren op nieuwe of
onverwachte gebeurtenissen
Past goed in het stramien van Kahneman:
Systeem 1 herkent en geeft indruk
Systeem 2 repareert en simuleert
Experts hebben meer (specifieke!) kennis
Hebben geautomatiseerd wat bij beginners expliciet moet gebeuren
(betere intuities)
Ook meer expliciete kennis voor reparaties
(maar net als iedereen vaak laks met supervisie!)
Van knowledge based naar skill based
Knowledge based op hoger niveau
Met de typen fouten die daarbij horen!
Zou ook resultaten à la Dijksterhuis kunnen verklaren:
intuïtie ≈ geautomatiseerd ≈ onbewust
Maar ook verkeerde zaken kunnen geautomatiseerd zijn
En automatismen hebben hun beperkingen
NDM-onderzoekers hanteren experts als criterium
(i.p.v. normatief model)
lastig dilemma!
Zijn experts altijd zo goed?
Verschilt per terrein:
-goede theorieën
-feedback
De dominicaner monnik
Heinrich Kramer
was expert op het gebied van
de heksenbestrijding
Malleus malificarum
of Hexenhammer
(Speyer, 1486)
29 edities tot 1629
Shanteau 1992
GOED
Weersvoorspellers
veekeurders
astronomen
analisten foto’s
testpiloten
bodemkeurders
schaakmeesters
fysici
wiskundigen
boekhouders
verzekeringsexp.
Denk aan klinisch/statistisch (Meehl)
SLECHT
Klinisch psychologen
psychiaters
astrologen
inlichtingenanalisten
toelatingscommissies
counselors
rechters
personeelselectoren
reclasseringsambt.
leugendetectorexp.
beleggingsexperts
Hoe goed is de kennis op het terrein?
Hoe is de feedback gedurende al die jaren?
Belang “deliberate practice”
(Ericsson, Krampe & Tesch-Römer (1993)
Beursexperts
E. J. Johnson, 1988: experts (beursanalisten)
vs beginners MBA-studenten
40 aandelen 22 variabelen, al of niet voorzien van
nieuwsberichten (Wall Street Journal)
|prijs – voorspelling|
prijs einde jaar: error: -------------------------prijs
Gem. 49
%
50
error 51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
expert
beginner
regr.
boot
strap
geen nieuws
nieuws
Broken leg cues
Broken leg cues
Beleggingsexpert?
Jacko selecteerde 2x per week gelabelde bananen en presteerde 5
jaar lang beter dan de AEX.
Onderzoek artsen instabiele angina pectoris (Reyna & Lloyd)
9 cases (low-risk, intermediate-risk, high-risknationale richtlijnen)
Studenten, huisartsen, eerste opname, internisten,
cardiologen, topexperts
Beoordelen, op o.a. Coronary Artery Desease en MyocardiaI
Infarction-risico
triage (wegsturen, opname, intensive care)
Afwijkingen van officiële richtlijnen op alle niveaus
Triage
1: buiten,
2 opname,
3 intensive care
Opname
Risicotolerantie:
Met een signaaldetectieblik bekeken:
Met toenemende expertise
- meer en beter onderscheid tussen risicogroepen
- meer tolerantie voor CAD-waarschijnlijkheid
- eerst meer dan minder tolerantie voor MI risico
CAD-waarschijnlijkheid
MI-risico
22% schattingen van de kans op “MI of CAD” waren lager dan
de kans op MI of de kans op CAD
In dat opzicht was er geen verschil tussen de mate van
expertise
Het nut van expertise:
Verschuiving van Knowledge based naar rule based en skill based
performance
Goede zaak! Verwerkingscapaciteit expert is normaal!
Meer kennis
Maar:
Ga zo mogelijk na wat de expertise in kwestie precies inhoudt!
Problemen van expertise:
Onachtzaamheid (skill based!)
Zeldzame uitzonderingen op (bijna) perfecte regels, starheid
(rule based)
Ze zijn vaak eigenwijs
Onbekend met kansen en risico’s
Onbekend met grenzen van hun expertise
Feedback vaak gebrekkig
“domme pech”
In hun rol van ontwerper en/of gebruiker van apparatuur of
software:
Wat voor leek moeilijk problem is, is voor expert routine
-ontwerper kan zich de problemen van leek-gebruiker niet
voorstellen
-veel gebruikte apparatuur/software stelt andere eisen
dan weinig gebruikte
Maatregelen:
-geautomatiseerde schaduwcontroles en feedback (o.a.
voor situation awareness)
-op sommige punten dwingen tot
explicitering
-rekening houden met expertise van gebruikers en
frekwentie van gebruik