Transcript Beoordelen van competenties: Ontwerpen van authentieke performance assessments Judith Gulikers,

Beoordelen van competenties:
Ontwerpen van authentieke performance
assessments
Judith Gulikers, leerstoelgroep educatie- en competentiestudies,
WUR ([email protected])
Wat gaan we doen?



CGO vraagt ‘andersom denken’
Performance assessment / authentiek assessment
Ontwerpen van een AA:



Stappenplan Stiggins
5-dimensionale model authentiek beoordelen
Rubrics: hoe, waarom (niet)?
Andersom denken
Vakken
Inhoud
Onderwijs:
Toetsen
lessen
Beroepsrelevante,
Beoordelings-
herkenbare
uitkomsten
criteria en
situatie
(= competenties)
voor assessment
Onderwijs:
Leeractviteiten
Competentiegericht beoordelen
CGO zegt iets over het wat niet over het hoe
 Wat gebaseerd op de SHL competenties / werkprocessen
 Wat moet terugkomen in beoordelingscriteria
 De geschikte toetsmethode hierbij is, is pas vervolgvraag
Maar: binnen CGO filosofie wel
 andere doelen voor “toetsen”
 andere “toets”kenmerken hoog gewaardeerd
 én bepaalde beoordelingsvormen passen beter bij
competentiegerichte filosofie
Cruciale vraag in CGO
Om te beoordelen of iemand goed kan functioneren
in de beroepspraktijk, wat moet er dan allemaal
getoetst worden?
En als we dat dan weten:
 Hoe maken we dan een goede toets hiervoor?
 Hoe laten we de praktijk op een goede manier
terug komen in de toetsing?
Inkomertje 1……………… Competentie?
“Koe Bertha is al twee dagen niet
opgestaan, haar poep is dunner dan het
moet zijn en je meent iets te zien aan haar
vacht en ogen. De boer is er niet. Wat nu?”
Beschrijf de handelingen die je zou uitvoeren.
Waar hou je rekening mee?
Competente dierenverzorger?
‘Kennis over’ is niet genoeg voor
competentie uitspraak
 Observatie van daadwerkelijke handelen
nodig (actie)
 Interactie met koe in de stal en overleg met
de boer (context)
 Bewust handelen?

Inkomertje 2 …….. Competentie??
Vind je het praktische gedeelte van het
rijexamen een goed examen?
Waarom wel? Waarom niet?
Competente automobilist?
Half uurtje goed rijden kan toevalstreffer
zijn
 Niet alle activiteiten behorende bij goed
autorijden aan bod gekomen
 Niet alle voorkomende situaties gedekt
 Bewust handelen? Routine?

Authenticiteit
WAT wil je toetsen? Piramide van Miller
Does
Performance assessment in vivo:
Praktijkbeoordeling, video…..
Shows how
Knows how
Knows
Performance assessment in vitro:
Observatie, simulaties…………....
Contextueel rijke toetsen:
MCQ, open vragen, mondeling…
Feitgerichte toetsen:
MCQ, open vragen, mondeling…..
Performance assessment (PA)
Laag 3 / 4 van Miller
Beoordelen of iemand kan functioneren in de
beroepspraktijk
 Demonstreren van gedrag: ACTIE
 In betekenisvolle situatie: IN CONTEXT
Achterliggende gedachte: als iemand goed gedrag
laat zien bezit hij/zij de onderliggende KVA’s
Performance assessment gekaderd
Assessor is:
Te beoordelen gedrag is:
reactie op
natuurlijke gang
van zaken
expliciet
aanwezig
Proeve van
bekwaamheid
reactie op
uitlokking
Performance
assessment
impliciet Retrospectieve
aanwezig
beoordeling
In vitro
In vivo
Mystery
guest
Controle op conducteurs
Voorbeeld:
Voorbeeld:
UTRECHT – Kantoorbedienden
en andere
Beoordelingen
tijdens
demedewerkers
van de NS kijken
in(leraar
de treinin
deopleiding)conducteur op de vingers.
360
graden
feedback
LIO
Het NS-personeel houdt bij hoe vaak een conducteur
stage
kaartjes controleert en of er voldoende informatie bij
vertragingen wordt gegeven.
Niet denken vanuit methode
Cruciaal
criterium
Het maken van PA mag niet het
doel op
zich zijn!
Inspectie: Is de gekozen
beoordelingsvorm
passend?
WAT wil ik gaan beoordelen?
Is PA de goede vorm hierbij?
Beroepsonderwijs: toetsen relevant voor praktijk 
Authentiek beoordelen
Wat maakt een
assessment
authentiek???
“The criterion for a good test is its
congruence with reality” Wiggins (1993, p. 206)
Hoe nu aan de slag?

4-stappenplan van Stiggins voor
systematisch ontwerpen van performance
assessments

5 dimensionaal model voor authentieke
toetsing Gulikers (2005)
4 stappen
1.
2.
3.
4.
Toetsspecificatieplan: Redenen voor
beoordeling
Prestatiespecificatie: Welke prestatie moet
geëvalueerd worden en onder welke condities
Opdrachten: creëren van mogelijkheid geven tot
demonstreren van competent gedrag
Beoordelingsplan: om beoordeling zo expliciet,
gemotiveerd en betrouwbaar mogelijk te maken
Stap 1: Toetsspecificatieplan

Doel en functie van beoordeling:
summatief en/of formatief?
 Inrichten van onderwijstraject (EVC)?

Specificeer de studenten (aantal, niveau)
 Wie zijn de beoordelaars en de beslissers?
 Relevante randvoorwaarden?

Stap 2: prestatiespecificatie
WAT wil je gaan beoordelen? WAT moet student laten zien?
Gebruik van
model :
Wat is beroepspraktijk
van5-dimensionale
deze opleiding?
 Kritische beroepssituatie
benoemen
5 assessment
aspecten kunnen
 Rollen van opleiding benoemen
meer / minder
op beroepspraktijk
(referentiesituatie)
lijken
Welke competentie(s)
zijn hierin
nodig?
Maar hoe krijgt dit vorm in een concreet
assessment?
5-dimensionaal model voor
authenticiteit
Authentieke beoordeling
&
Authentieke instructie
Overeenkomstig de beroepspraktijk: 5 dimensies
Taak: opdracht die leerling moet uitvoeren
Fysieke context: omgeving/situatie waarin taak moet worden
uitgevoerd
Sociale context: samenwerkings- en hulp (on)mogelijkheden
Vorm: leer- / assessmentmethode, onafhankelijk van inhoud
Criteria: punten waarop leerling wordt beoordeeld
Authenticiteit is méér dan alleen een fysieke context!
Vervolg stap 2: Opdrachtenschema
1.
2.




Welke criteria gebruikt praktijk voor goed
handelen in beroepssituatie?
Vertaal criteria naar niveau van de student en
in concreet waarneembaar gedrag
Welke taken passen bij deze criteria?
In welke context?
Vraagt dit samenwerking / hulp?
Gaat het om een product of proces? (vorm)
Stap 3: Ontwerp van opdrachten
Uitlokken van gedrag?
 Wil je gaan uitlokken of juist niet?
 Transparant maken in assessmentopdracht
Assessment programma:
 1 PA genoeg om gehele kritische beroepssituatie te
beoordelen?
 Meerdere PA’s nodig?
 Combineren met andere toetsvormen?
Competentie assessment programma (Baartman, et al 2004); Protocol
portfolio scoring (Straetmans, 2004)
Stap 4: beoordelingsplan
Beoordelingscriteria
 Beoordelen van gedrag vraagt om beoordelingscriteria
gericht op observeerbaar gedrag!!

Gebruik van rubrics leent zich goed: niveaus van gedrag

Welk type score is nodig?
Holistisch of analystisch

Transparant maken voor alle partijen!
Stap 4: beoordelingsplan, vervolg
Beoordelaars
 Wie beoordeelt / hoeveel beoordelaars?
 Zelf-assessment / peer-assessment onderdeel?
Training nodig voor assessoren?
Beoordelingsprocedure
 Hoe verloopt beoordelingsproces / hoe komt
eindoordeel tot stand? (zwak punt!)
 Hoe verloopt feedback?
Gereedschapskist


Ontwikkeld door: APS, CPS, KPC groep, CITO en
ECS/WUR
Meer info: [email protected]
Rubric: wat is het?
= beschrijving van een aantal concreet te
observeren gedragsniveaus (van eenvoudiger
naar complexer) op een beoordelingscriterium
Verschillende soorten schalen
 Anayltisch / holistisch
 Kwalitatief / kwantitatief
Competentie: samenwerken
Beoordelingscriterium: luisteren naar anderen
1.
2.
3.
4.
Nooit
Soms
Vaak
Vrijwel altijd
Competentie: leiding geven
Beoordelingscriterium: omgaan met kritiek
1
Student kan
niet tegen
kritiek en
reageert
agressief /
verdedigend
2
3
4
Student
negeert kritiek
en gaat eigen
gang
Student
luistert naar
kritiek van
anderen maar
doet er niets
mee
Student doet
actief iets met
kritiek om
eigen gedrag
te verbeteren
Competentie: samenwerken in team
Beoordelingscriterium: Actieve inzet tonen
Neemt initiatieven
12345
Wacht af
Zegt tijdig wat hij/zij
wil
12345
Komt achteraf met
kritiek
Neemt voorzittersrol
of ondersteunt deze
12345
Houdt zich niet aan
vergaderprocedures
Geeft steeds aan wat
gedaan moet worden
12345
Gaat eigen gang
Voordelen / mogelijkheden van Rubrics
•
Communicatie instrument: transparantie voor leerlingen /
beoordelaars
•
Ontwikkelen en voorbereiden van leerlingen
•
Trainen van beoordelaars: zelfde intrepretatie geven
•
Objectievere beoordeling
•
Geven van feedback
Zeer waardevol voor:
1. Aansluiting onderwijs – formatief / summatief assessen (zwak!!)
2. Gebruiken bij alle beoordelingsvormen
Maar gaat niet vanzelf






Rubric maken is erg tijdsintensief
Vraagt samenwerking en afstemming tussen betrokkenen
Alles willen objectiveren kan niet
Valkuil: terug naar gedetailleerd beoordelen ipv holistisch
Nog niet vaak in onderwijs / formatief gebruikt
Gevaar van wildgroei aan rubrics
Zoeken naar een goede balans!