Transcript HU powerpoint-presentatie - Nederlands instituut voor Biologie

Nibi-conferentie 2012
Het Centraal Examen
Biologie
John Huizinga
André van der Aa
Plan voor vandaag
n
n
n
n
n
Stukje theorie toetsconstructie.
Het Centraal Examen.
Zelf een cluster maken.
Zelf een correctievoorschrift maken.
Is dit co-co?
Functie Toetsing
n
n
n
Meetinstrumenten die tot doel hebben de
kwaliteit van een onderwijssysteem te
beoordelen
Meetinstrumenten die tot doel hebben de
kwaliteit van de leerling te beoordelen
selectie, classificatie, plaatsing, certificering
(beheersing)
Meetinstrumenten die tot doel hebben het
onderwijsleerproces te beoordelen
leerlingvolgsysteem
Summatief vs Formatief
n
n
Een summatieve toets heeft de functie een
oordeel over de kennis en vaardigheden van
een leerling uit te spreken. Het eindexamen is
dus in de eerste plaats summatief.
De formatieve evaluatie heeft een functie naar
je onderwijstaak: je gaat na hoe de leerling er
voor staat en wat daar nog aan gedaan moet
worden.
Hoe maak je een examen?
n
n
n
n
n
n
n
n
n
n
n
Cluster maken door CG*-lid
Redigeren cluster door CG-lid
Bespreken cluster in CG
Redigeren cluster door CG
Samenstellen CE
CE bespreken in CG
CE bespreken in College voor de Examens
Redigeren CE
Pretest op scholen
Nederlandse redactie
Uiteindelijk CE samenstellen
* CG = Constructie Groep
Totaal ca.1200
uur per examen!
Toetseisen
n
Betrouwbaarheid [representatief /
herhaalbaarheid]
n
n
n
n
Specificiteit [onderscheidend vermogen]
Validiteit [meet wat je wilt weten]
Transparantie [de lln weet ook dat/wat je
toetst]
Bruikbaarheid [voldoende tijd?]
Kwaliteitseisen
n
n
n
n
Relevantie: directe relatie met een leerdoel.
Objectiviteit: score is onafhankelijk van
degene die het item ontworpen heeft of
degene die de scoring uitvoert.
Efficiëntie: items moeten zo efficiënt mogelijk
geformuleerd worden.
Juiste moeilijkheidsniveau: aanvaardbaar
gegeven het te verwachten niveau
Betrouwbaarheid
n
Een toets wordt betrouwbaar genoemd als het
bij herhaalde afname onder dezelfde
omstandigheden eenzelfde resultaat laat zien.
n
n
n
n
n
n
Formuleer helder en eenduidig
Vermijd extreem moeilijke of gemakkelijke
opgaven
Discrimineer
Gelijke omstandigheden afname
Resultaten worden gelijk beoordeeld
[halo-effect - Hawthorne-effect]
Validiteit
n
De validiteit van een toets is de eigenschap
dat de toets meet wat de constructeur bedoeld
heeft ermee te meten.
n
n
n
Aanvaardbaarheid - cesuur
procedure voor de bepaling van het cijfer
Ongeveer:
 x 
cijfer  
9  n( 1)
 totaal
0n2
Transparantie
n
Transparantie betreft vooral de inhoud van de
vragen en de berekening van het cijfer
n
n
n
Hoeveel punten nodig zijn voor een voldoende
Verwijzen naar herkenbare begrippen,
situaties of vaardigheden
Voorbereidingstoetsen
Toetsmatrijs
n
n
n
Overzichtstabel
Bouwplan van een toets
Bevat concreet de inhoud van het PTA
Toetsmatrijs
n
Wat is het nut van een toetsmatrijs?
n
n
n
n
n
Inhoud toets zichtbaar
Gelijkwaardigheid van toetsen vergroten
Verantwoordingsmodel naar de inspectie
Hulpmiddel toetsconstructie
Voorbereiding op examen
Voorbeeld toetsmatrijs
n
n
n
n
n
n
p’ % van de lln heeft het goed beantwoord
O/G open/gesloten vraag
Informatieverwerking
Argumenteren
Onderzoeksvraag
Rekenvaardigheden
www.examenblad.nl
Taxonomie
n
n
n
n
n
n
Ordening van leerdoelen
Hulpmiddel bij interpretatie eindtermen
Invulling geven van onderwijsproces en
toetsvorm
Romiszowski
Bloom
Et cetera
Taxonomie Romiszowski
kennis
vaardigheden
feiten [F] begrip [B] reproductie [R] productie [P]
Toetsconstructie
n
Hoe maak ik gesloten vragen?
Soorten gesloten vragen
n
n
n
Stam
In welke plaats is Cito gevestigd?
Alternatieven
n
n
n
n
Arnhem
Den Haag
Groningen
Zoetermeer
sleutel
afleider
afleider
afleider
Tips
n
n
n
n
Begin met het juiste antwoord
Neem alleen de afleiders die je verwacht, dat
leerlingen ook echt kunnen kiezen
Formulier bij voorkeur positief
Accentueer de negatieve vraagstelling
Constructie afleiders
n
Het goede of beste antwoord
n
n
n
n
Formuleer het goede antwoord eerst
Is het geformuleerde antwoord ook werkelijk
goed?
Is het goede antwoord volledig?
Vermijd formuleringen waarbij het goede
antwoord opvalt, door bijvoorbeeld hele lange
en uitsluitende antwoorden te maken waarbij
direct opvalt dat dit het goede antwoord wel
moet zijn….
Constructie afleiders
n
De afleiders
n
n
n
n
Afleiders moeten helder geformuleerd worden
De essentiële verschillen moeten helder zijn
Afleiders moeten plausibel zijn
Afleiders moeten elkaar uitsluiten
Tot slot….
n
n
n
n
Alternatieven in logische volgorde
rangschikken, bij voorkeur alfabetisch
Het alternatief “geen van bovengenoemde” of
“alle bovengenoemde” is niet wenselijk
De verschillen tussen de alternatieven mogen
niet te groot zijn
Zorg dat de alternatieven niet het juiste
antwoord aanwijzen.
Kwaliteitseisen
n
n
n
n
Relevantie: directe relatie met een leerdoel.
Objectiviteit: score is onafhankelijk van degene die
het item ontworpen heeft of degene die de scoring
uitvoert.
Efficiëntie: items moeten zo efficiënt mogelijk
geformuleerd worden.
Juiste moeilijkheidsniveau: aanvaardbaar gegeven
het te verwachten niveau
Voorbeeld Relevantie
1) Komt niet voor in de syllabus
2) Welke prokaryoten? Zijn er meer antwoorden goed?
Voorbeeld Relevantie
Kan in een een Hardy-Weinberg evenwicht het aandeel heterozygoten
groter zijn dan 50%?
Voorbeeld Relevantie
Een item is niet relevant als
1.
2.
3.
4.
5.
6.
7.
het kennis en vaardigheden meet, die niet in de leerdoelen
omschreven zijn;
het verkeerd beantwoorden van het item veroorzaakt wordt
door andere aspecten dan het niet bereikt zijn van het
leerdoel;
er een andere activiteit wordt gevraagd dan in het leerdoel
beoogd wordt;
geen probleem gesteld wordt in de stam (bijvoorbeeld door het
ontbreken van een werkwoord);
het met gezond verstand kan worden opgelost;
het een strikvraag is;
woorden als ‘nooit’, ‘alleen’, ‘altijd’, ‘alle’ gebruikt worden en
deze een aanwijzing kunnen geven voor het juiste alternatief;
Een item is niet relevant als
1.
2.
3.
4.
5.
6.
7.
8.
het juiste alternatief langer of juist korter is dan de overige
alternatieven;
enkele alternatieven hetzelfde zeggen;
de alternatieven er ‘met de haren bijgesleept zijn’;
het juiste alternatief systematisch op een bepaalde plaats
staat;
de onjuiste alternatieven elkaar overlappen;
niet alle alternatieven aansluiten op de stam (logisch of
grammaticaal);
een woord uit de stam terugkomt in het juiste alternatief;
de alternatieven te heterogeen en daardoor niet geloofwaardig
zijn.
Voorbeeld Objectiviteit
Wat synthetiseert het SER?
A. eiwitten
B. koolhydraten
C. lipiden
D. nucueïnezuren
Het glad ER [SER] bevat wel DNA [via DNA binding sites] én
synthetiseert vetten
Bron:
2000 JBC Wang and Shen.pdf
Een item is niet objectief als
1.
2.
3.
4.
5.
6.
7.
het vraagt naar de mening van de student;
het niet éénduidig waar is (of bij stelling juist of onjuist);
niet duidelijk is wat met een bepaald woord in het item wordt
bedoeld;
onvoldoende informatie in de stam is opgenomen om het juiste
alternatief te kunnen aanstrepen;
meer dan één alternatief juist is (behalve bij het ‘meerdere
antwoorden juist-type!);
meerdere deskundigen een verschillende opvatting hebben
over het juiste antwoord;
een ander alternatief ook te verdedigen is, maar dat staat niet
in de cursus vermeld.
Voorbeeld Efficiëntie
n
A.
B.
C.
D.
E.
F.
G.
In welk deel van de lever van de lever vindt opslag van zouten en
afbraakproducten uit de lever plaats?
1
2
3
4
5
6
7
Een item is niet efficiënt als
1.
2.
3.
4.
5.
6.
het niet duidelijk is geformuleerd;
er irrelevante inleidingen in de stam, stelling of uitspraak staan;
er een dubbele ontkenning in voorkomt;
het onnodig negatief is gesteld;
het grammaticaal niet juist geformuleerd is (bijv. enkelvoud in
de stam, meervoud in één van de alternatieven);
er ingewikkelde zinsconstructies en woorden in voorkomen;
Een item is niet efficiënt als
7.
8.
9.
10.
11.
12.
de zinnen te lang zijn (het streven is zinnen van maximaal
vijftien woorden te gebruiken);
er een (voor de student) onbekend woord in staat;
alternatieven in decimalen zijn gegeven, terwijl het juiste
antwoord een geheel getal is;
tussenvoegsels de leesbaarheid verlagen;
er onnodige verwijzingstekens ingevoerd zijn;
er in de alternatieven steeds één zinsdeel uit de stam herhaald
wordt.
TIP
n
n
n
http://toetswijzer.kennisnet.nl/html/toetsenops
chool/toetsenopschool.pdf
http://www.examenblad.nl/
http://www.ecent.nl/artikel/1390/Gebruik+van+
de+concept-contextbenadering/view.do
OPDRACHT 1
n
Maak 3 vragen bij het artikel “Rijst produceert
menselijk bloedeiwit”
OPDRACHT 2
n
n
n
Bepaal in groepjes (ca. 3 pers) het domein en
het taxonomisch niveau voor jullie cluster;
Maak een beoordelingsinstrument;
Kom tot overeenstemming!
OPDRACHT 3
n
n
Kijk elkaars werk na.
Gebruik strikt het
beoordelinginstrument.
OPDRACHT 4
n
n
n
Herschrijf het artikel in een context
leefwereld, beroepencontext,
wetenschappelijke context (vwo)
Kom tot overeenstemming!