Transcript Presentatie Rianne Janssen

School of Education
Uitwisseling
Instaptoetsen:
Enkele methodologische beschouwingen
Rianne Janssen
Centrum voor Onderwijseffectiviteit en –Evaluatie
Onderzoeksgroep Kwantitatieve Psychologie
1
Procedure toetsontwikkeling
doelstellingen
opgaven
meetschaal
toetsnorm
(onderwijskundige) context
2
Procedure toetsontwikkeling
doelstellingen
opgaven
meetschaal
toetsnorm
(onderwijskundige) context
3
doelstellingen
opgaven
• Vraag naar doelstelling is vraag naar beoogde
validiteit
4
Samenvatting validiteit
Doel
criteriumvaliditeit
voorspellen
inhoudsvaliditeit
Beheersing inhoudsdomein
Selectie van
items
In principe vrij
Empirische
evidentie
r(test, criterium)
argumentatief
Opmerkingen
- Gelijktijdige en
predictive validiteit
- kwaliteit meting
criterium
- niet steeds toepasbaar
Bepaling inhoudelijk
universum
-
Toetsmatrijs!
random steekproef
begripsvaliditeit
Meten van bepaald
begrip
Afleiden uit theorie
items: factoranalyse
test: Verband met
andere metingen
Interpretatie bij
negatieve bevindingen
5
Inhoudsvaliditeit
• Bepaling inhoudelijk ‘universum’
– Eventueel consensusgroep experten
• Stel toetsmatrijs op
= ‘blauwdruk’ van de toets
= ‘een expliciete formulering van verlangens’
• In principe ‘random’ steekproef items uit
elke cel
• Argumentatieve validiteit
6
COGNITIEF
Welke verwerkingsniveaus?
KENNEN
BEGRIJPEN
TOEPASSEN
3b
1
2a/b
3a/b
2b
3b
20
13
21
22
Bouw/werking
8
9a/b/c
12a
8
9a/b/c
12a
20
23
Voortplanting en
seksualiteit
4
5c/d
6a/b
7
5a/b/c/d
6a/b
7
21
5d
20
Gezondheidszorg
10a/b/c
11
12b
10a/b/c
11
12b
21
20
Organismen
14a
15a/b
13
14a
15a/b
13
20
Ecosysteem
16
14b
16
17
18
21
14b
16
17
21
20
Milieuzorg
19
19
21
19
20
21
BASIS VAN HET LEVEN
MENSELIJK LICHAAM
NATUUR RONDOM ONS
ONDERZOEKSVAARDIGHEDEN
Construeer items
• Open versus gesloten vraagvorm
• Pilootafname voor eerste kwaliteitscheck
• Beoordeling door experten
8
Open vraagvorm
• Categorisatie antwoorden
– Categorisatiesysteem
– Interbeoordelaarsbetrouwbaarheid
Gesloten vraagvorm
• Snelle en objectieve
verwerking (QMP!)
• Meer vragen mogelijk
• Productieve
(taal)vaardigheid
– Hogere betrouwbaarheid en
(inhouds)validiteit (cf eerste en
tweede set vragen Nederlands)
• Probleem van raden
• Hogere cognitieve
vaardigheden (begrip,
inzicht, evaluatie,
creativiteit)?
– “Face validity” of ook
empirisch onderbouwd?
• Eenvoudige cognitieve
vaardigheden (kennis,
herkenning)?
1. Empirisch onderzoek bewijst
tegendeel, mits goede
itemconstructie
2. MKV vaak betere predictoren dan
open vragen.
9
Detailopmerking: toeschrijving
Maak de juiste vijf combinaties:
Bloedcirculatie
Pasteur
Erfelijkheid
Freud
Evolutie
Mendel
Hondsdolheid
Darwin
Psychiatrie
Harvey
• Engels: ‘matching’
• Keuzes zijn niet onafhankelijk :
– Hoe meer zekere combinaties, hoe groter kans op correct
antwoord bij raden
– Eventueel een rij langer dan andere rij
10
Procedure toetsontwikkeling
doelstellingen
opgaven
meetschaal
toetsnorm
(onderwijskundige) context
11
opgaven
meetschaal
• Achterliggend model (Meskauskas, 1997)?
– State-view:
• ‘alles of niets’ beheersing (bv. basisspelling)
• Items uitwisselbaar (cf. Ned. : random keuze vragen)
• Domeinproportie (cf. Ned: FB student)
– Trait-view:
• gradaties van beheersing (vb. Frans: ERK)
• Items verschillen in moeilijkheidsgraad (vb. WISTIL)
• Meetschaal!
12
opgaven
meetschaal
• State-view:
– ‘alles of niets’ beheersing
– Items
• Afkomstig uit domein
• In principe uitwisselbaar
– domeinproportie
13
opgaven
meetschaal
• Trait-view:
– gradaties van beheersing
– Items verschillen in moeilijkheidsgraad
– Meetschaal!
14
MEETSCHAAL
LEERLINGEN
vaardigheid
OPGAVEN
moeilijkheidsgraad
Eventueel rekening
houdend met
raadkans
beheersing in termen van kansen
15
Voordelen meetschaal
• Interpretatie:
– Vergelijking positie student met positie opgaven
• Onderzoek naar band met itemkenmerken
– Bv. wiskunde:
• ingeschat beheersingsniveau (eenvoudig, gemiddeld, moeilijk)
– stERK
• Band met ERK-niveau
• Verschillende toetsen en vergelijkbaar resultaat
– Gegeven een meetschaal
(geen verschil “item based” en standaard toets)
– Bij opmaken van een meetschaal
16
Afnamedesign peiling biologie
1
2
3
4
5
6
7
X
X
X
2600
X
X
2600
X
2600
Basis van het leven
X
Bouw en werking
X
X
Seksualiteit en voortplanting
X
X
X
Gezondheidszorg
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
Organismen
Ecosysteem
Milieuzorg
N
2600
2600
2600
X
2600
650 650 650 650 650 650 650 4550
IRT alternative to equating
• given common items: possibility of
constructing a common measurement
scale
instaptoets
uitstaptoets
opgaven
meetschaal
• Achterliggend model
• Kalibratieonderzoek
– Afname bij grote steekproef studenten
• Vooraf, maar ook tijdens implementatie
– Prijs voor IRT-model
• Vuistregel: 500 studenten per item
19
Procedure toetsontwikkeling
doelstellingen
opgaven
meetschaal
toetsnorm
(onderwijskundige) context
20
cesuurbepaling
• Terecht:
– geen normgerichte cesuur
• Wel:
– criteriumgerichte cesuur
• Oordeel experten afhankelijk van meetmodel
– ‘alles-of-niets’ model
• Oordeel van toelaatbare foutenmarge (bv. Ned: 25%)
– Gradueel model
• Plaatsing cesuur op meetschaal
21
TOETSNORM
Behalen
eindterm
Deze opgaven moeten de
leerlingen nog niet beheersen
Behalen
eindterm nog
niet
Deze opgaven moeten de
leerlingen beheersen
Besluit
doelstellingen
opgaven
meetschaal
toetsnorm
(onderwijskundige) context
23