Transcript Evaluatiebijeenkomst voor examensecretarissen 23-4

EVALUATIE
pilot-rekentoets VO
2013
23 april 2013
Jan Kastelein, CvE
Inhoud
1.
De rekentoets lijkt meer op ‘begrijpend lezen’ dan op
rekenen.
Waarom is de rekentoets zo talig?
Referentieniveaus:
P – paraat hebben
F – functioneel gebruik
W – weten waarom
Rekentoetswijzer:
P – 20% contextloze opgaven
F – 80% opgaven in context
W
staat centraal
20% zonder rekenmachine
80% met rekenmachine
1.
Gevolg:
80% van de opgaven in contexten, bv:
 de prijs van aardbeien
 vervoersmiddelen van werknemers bij woon-werkverkeer
20% contextloos, bv. :
 5 x 38 + 15 x 38 = …
 1¾ + 2½ = …
Aandachtspunten makers rekentoets:
 Geen onnodige tekst
 Contexten zo mogelijk anders presenteren
bv. als afbeelding, grafiek of tabel
2.
Hoe je moet afronden is in de rekentoets niet altijd
duidelijk.
Kunnen afronden op juiste aantal decimalen is een
toetsdoel.
Dit is beschreven in de rekentoetswijzer.
3.
Waarom zoveel opgaven?
Leerlingen komen in tijdnood.
Hoeveelheid opgaven is nodig de voor betrouwbaarheid.
Iedere toets / examen is een meting van het
vaardigheidsniveau.
Meting moet nauwkeurig zijn:
 % ten onrechte onvoldoende en
 % ten onrechte voldoende
moeten minimaal zijn.
Dit geldt i.h.b. voor de rekentoets.
3.
Tijdnood:
Enige tijdnood was zichtbaar in de toets- en itemanalyses
Tijdnood kan gevolg zijn van
 hoeveelheid opgaven
 laag vaardigheidsniveau
 evt. ook: niet kunnen terugbladeren
4.
Niet kunnen terugbladeren:
Veel leerlingen: Dat is hinderlijk.
Oorzaak: gedeelte mét en gedeelte zonder rekenmachine.
Twee segmenten onderscheiden
 de opgaven zonder rm
 de opgaven mét rm
is in ExamenTester niet mogelijk.
In Facet kan dit wel.
5.
Waarom achteraf geen inzage?
Leerlingen kunnen zo niet leren van hun fouten.
De opgaven gaan in een itembank en kunnen na een aantal
jaren worden hergebruikt.
Daarom zijn de opgaven na afloop niet openbaar.
Behoudens de 60 opgaven uit de voorbeeldrekentoets.
Jaarlijks in september: één voorbeeldrekentoets.
Zo ontstaat set van voorbeeldrekentoetsen.
 via http://rekentoets.cito.nl
 als digitale toets in ExamenTester / Facet
t.b.v. ‘Proef op de Som’.
Oefenmogelijkheden voor / met leerlingen.
6.
Itembanken
Reden:
 meer afnametijdstippen – meer flexibiliteit
 preciezere cesuurbepaling
 op termijn: adaptieve toetsing van de referentieniveaus
mogelijk
Daarom ook: alleen automatisch scoorbare vragen
Itembanken zijn in opbouw.
Als de itembanken genoeg opgaven bevatten kan
overwogen worden om alle opgaven openbaar te maken.
7.
Waarom zijn alle vragen maar 1p. waard?
Sommige opgaven kennen drie denkstappen en zijn
toch goed of fout.
 Iedere opgave heeft een moeilijkheidsgraad.
 Opgaven gerangschikt van makkelijk naar moeilijk.
 De toets meet tot welke moeilijkheidsgraad de leerling
de opgaven goed beantwoordt.
 Zo meet de toets het vaardigheidsniveau van de leerling.
Het aantal scorepunten per opgave maakt dan niet uit.
(Dit is een vereenvoudiging van de (toets)werkelijkheid.)
8.
Signalen van tegenvallende resultaten
Die signalen krijgen wij ook.
Dat hadden we liever anders gezien.
 In hoeverre zijn er verschillen tussen scholen?
 Groep van 2013 niet goed vergelijkbaar met die van 2012
in 2013: 4x zo veel leerlingen, 80% uit voorlaatste leerjaar
 2F is ‘met de kennis van nu’ in 2012 te soepel genormeerd
9.
Normering / cesuurbepaling
standard bepaling door een panel van experts
experts schatten de cesuur
1) welke opgaven moet een kandidaten ogv de
rekentoetswijzer goed hebben voor een voldoende?
2) opgaven worden opvolgorde van moeilijkheidsgraad aan
het panel voorgelegd;
3) alle resultaten van eerdere standaard bepalingen
worden erbij betrokken. Inclusief die voor de centraal
ontwikkelde examens (coe’s) rekenen MBO.
4) rekentoets heeft overlap met coe’s en v.v.
5) ijking aan referentiesets
De normering van het heden is daardoor ‘per definitie’ beter
dan die uit het verleden.
vaardigheidsniveau
132
131
130
129
128
127
33 scorepunten
28 scorepunten
126
vaardigheidsniveau
130,0
3Fcesuur
vaardigheidsniveau
132
132
131
131
130
130
129
129
128
128
127
127
126
126
vaardigheidsniveau
109,8
105,7
2F-cesuur
2013
vaardigheidsniveau
120
120
115
115
110
110
105
105
100
100
95
95
90
2F-cesuur
2012
90
9.
Maatwerk per leerweg bij de normering vmbo
Besluit staatssecretaris:
 de lat omhoog bij GL/TL (= GT)
 de lat tijdelijk lager bij BB
Uitwerking door CvE voor pilot 2013:
 KB-cijfer = 2F-cijfer
 GT-cijfer: 1 cijferpunt strenger dan 2F-cijfer
 BB-cijfer: 1 cijfer punt soepeler dan 2F-cijfer
Gevolg:
lagere gemiddelde cijfers bij GT dan bij 2F-becijfering
hogere
,,
,, ,, BB ,, ,,
,,
vaardigheidsniveau
vaardigheidsniveau
120
116,0
120
GT
115
115
1 cijferpunt
109,8
110
110
2F = KB
1 cijferpunt
98,5
105
105
100
100
95
95
90
90
BB
10.
3S referentieniveau voor vwo?
Er is een rekentoetswijzer 3S uitgebracht
(Commissie Van der Craats)
Besluit OCW:
Nu onderzoeken
Er wordt een rekentoets 3S gemaakt
met in achtneming van de rekentoetswijzer 3S
± april 2014: veldraadpleging over rekentoets 3S
10.
Rekentoets 3S
zelfde vorm als rekentoets 3F , d.w.z. digitaal
± april 2014: op
 op http://rekentoets.cito.nl
 wellicht ook digitale toets in ExamenTester / Facet
3S-opgaven voordien uitproberen in 5 vwo
 tijdens afnameperiode van rekentoets 3F
 ook in C&M, E&M
d.m.v. 2 varianten van een toets die een mix is van 3S- en 3Fopgaven
 met als resultaat: een 3S- en een 3F-cijfer
 3F-cijfer kan (onder voorwaarden) op cijferlijst
m.a.w. extra kans voor 5-vwo-ers van deelnemende
scholen
11.
Dyscalculie
In juni: rapportage van OCW aan TK.
Bevat bevindingen van onderzoek naar mogelijke
aanpassingen in de rekentoets VO t.b.v. dyscalculische
kandidaten.
Gedacht wordt aan:
Het onderzoeken van de mogelijkheid van een dyscalculieversie van de rekentoets.