Transcript Projectvoortgang algemeen

Dialang en het Europees taalportfolio:
Inschattingen niveaus en gemeten scores
Slotconferentie INTUIT
30 januari 2008
Alessandra Corda
Universiteit Leiden
Inhoud
Vragen
Achtergrondinformatie
– CEF en niveau Engels in het vo
Resultaten Dialang en Europees Taalportfolio
Resultaten SET 10
Vergelijking Dialang en SET 10
Conclusies
Vragen
Wat weten we over het niveau aan
het eind van het vwo?
Hebben studenten het vereiste
niveau (C1) in het Engels?
Hoe kun je dit meten voor de
receptieve en productieve
vaardigheden?
Eisen beheersing Engels
BA
MA
UVT
vwo, TOEFL 550/213
IELTS 6.0 (= B2+)
TOEFL 575/233, IELTS 6.5
(= C1)
UU
vwo
TOEFL 237 of 93, IELTS 6.5
(= C1)
UL
vwo; IELTS 6.0 (= B2+)
IELTS 6.5 (= C1)
RUG
vwo (B2 prod., C1 rec);
TOEFL 580/240,
IELTS 6.5 (= C1)
vwo (B2+ prod., C1 rec.);
TOEFL 620/260, IELTS 7.0
(= C1+)
RU
vwo; TOEFL 550/213,
IELTS 6.0 (= B2+)
Niet gespecificeerd
Het CEF in het schoolcurriculum
Start project ETP 1998, start ontwikkeling
webversie 2003
2001: eindtermen gekoppeld aan CEF niveaus
2006: koppeling niveau CE leesvaardigheid
aan CEF
– Opgaven CE Engels vwo: B2, enkele C1
Het CEF in de examens
Vanaf 2009 (vmbo), 2011 (vwo):
– CEF uitgangspunt voor centrale examens (nu
omgekeerd)
– Huidig niveau eindexamenleerlingen (gekoppeld
aan CEF) wordt uitgangspunt voor bepaling
niveau nieuwe centrale examens, niet langer de
oude eindtermen
Centraal examen leesvaardigheid
CE leesvaardigheid Engels bedoeld voor kandidaten
in het gebied tussen B2 en C1
CEVO-cesuur lager: kandidaten kunnen een
voldoende krijgen bij een lagere score
35% behaalt in feite wel het niveau B2 op dit
examen
Maar in wezen kan men gaan studeren met een
onvoldoende voor Engels (vanwege
compensatieregelingen)
Zie CITO-onderzoeken op
http://toetswijzer.kennisnet.nl/html/cef/home.htm
Niveau leesvaardigheid Engels vwo
Niveau luistervaardigheid Engels vwo
Dialang
Bedoeld voor self-assessment,
ook gebruikt als placement test
Adaptieve toets (5 onderdelen)
Resultaten Dialang Leiden
Woorden
schat
Taalstruc
turen
Luisteren
Lezen
Schrijven
N=263
N=263
N=260 N=248
N=258
A1
3
1
1
0
1
A2
2
3
3
1
11
B1
5
17
15
24
46
B2
138
130
65
75
123
C1
92
89
96
120
70
C2
23
23
80
28
7
Resultaten Dialang RUG en
RUG + Leiden
RUG Lezen
Schrijven
N=317
N=317
A1
0
0
A2
2
B1
RUG
Lei
Lezen
Schrijven
N=565
N=575
A1
0
1
1
A2
3
12
47
41
B1
71
87
B2
109
153
B2
184
276
C1
142
108
C1
262
178
C2
17
14
C2
45
21
Resultaten Dialang
Samenvatting gegevens Leiden
– Taalstructuren, woordenschat, schrijven:
ongeveer de helft op B2, nog ca. 30% C1
– Lezen: 30% B2, 48% C1, 11% C2
– Luisteren: 25% B2, 37% C1, 31% C2
Samenvatting gegevens RUG + Leiden
– Lezen: 32% B2, 46% C1, 8% C2
– Schrijven: 48% B2, 31% C1
Voorlopige conclusies
Eindniveau vwo lezen en luisteren
– Ca. twee derde leerlingen onder niveau B2
Resultaten Dialang studenten pre-MA:
– Leesvaardigheid (N=565): 46% onder niveau C1
– Luistervaardigheid (N= 260): 32% onder niveau
C1
Vragen
Hoe kun je meten of studenten
het vereiste niveau (C1) voor
schrijf- en spreekvaardigheid
hebben?
–Schrijven: Dialang?
–Spreken: SET 10?
–Self assessment: ETP
Resultaten Europees Taalportfolio
Spreken
A1
A2
B1
B2
C1
C2
N = 48
1
11
21
13
1
1
Gesprekken
voeren
N = 51
0
13
24
12
1
1
ETP vs Dialang / QPT
ETP vs Dialang
– 22 studenten
– 6 studenten: Dialang gelijk aan self-assessment
– 13 studenten: Dialang hoger dan self-assessment
– 3 studenten: Dialang lager dan self-assessment
ETP vs QPT
– 10 studenten
– 4 studenten: self assessment opvallend lager dan QPT
– 2 studenten: self assessment ongeveer gelijk (hetzij wat lager)
dan QPT
– 4 studenten: self assessment lager dan QPT
CEF niveau Dialang vaker hoger dan CEF niveau self
assessment
CEF niveau QPT altijd hoger dan CEF niveau self assessment
SET 10
A1
A2
B1
B2
C1
C2
Leiden + RU
N = 48
1
1
7
11
19
9
SET 10 vs Dialang
SET 10 vs Dialang
– 13 studenten (12 NL, 1 Chinese studente)
– Scorepercentages per niveaus, Dialang:
• 0% A1-A2
• 60% B1-B2
• 40% C1-C2
– Scorepercentages per niveaus, SET 10:
• 8% A1-A2
• 39% B1-B2
• 53% C1-C2
Dialang
Dialang test results - % achievements per level
0%
0%
10%
5%
A1
A2
B1
30%
B2
C1
55%
C2
SET 10
Set 10 - % correlated with CEF levels
8%
15%
0%
A1
A2
31%
B1
B2
C1
C2
38%
8%
SET 10 vs ETP
SET 10 vs ETP
– 18 studenten
– in 12 gevallen resultaat SET 10 hoger dan
self assessment ETP
– In 3 gevallen resultaat SET 10 gelijk aan
self assessment ETP
– In 3 gevallen resultaat SET 10 lager dan
self assessment ETP
Voorlopige conclusies
In SET 10 heeft 58% van de studenten
het vereiste niveau (C1 of hoger)
Vergelijking SET 10 – Dialang (N = 13)
– studenten scoren vaker op C1-C2 niveau
in SET 10 dan in Dialang (53% vs 40%)
Vergelijking SET 10 – ETP (N = 18)
– Score SET 10 in 66% van de gevallen
hoger dan self assessment
Discrimineert SET 10 op hogere niveaus?
Vragen en antwoorden
Wat weten we over het niveau Engels aan het eind van het
vwo?
– ca. 1/3: leesvaardigheid en luistervaardigheid B2 en >
Hoe kun je meten of studenten het vereiste niveau (C1) in het
Engels hebben?
– Dialang
– Toetsen gekoppeld aan CEF: SET 10, QPT
– Beoordeling van prestaties via aan CEF gerelateerde criteria
Self assessment: ETP
Hebben studenten het vereiste niveau (C1) in het Engels?
Volgens Dialang:
– 67% kan luisteren op niveau C1 en > (n=260)
– 54% kan lezen op niveau C1 en > (n=565)
– 34% kan schrijven op niveau C1 en > (n=575)
Volgens SET 10:
– 58% kan spreken op niveau C1 en > (n=48)
– nog niet genoeg gegevens, wel indruk dat percentage lager is