Transcript Presentatie Etalagebijeenkomst

Professionalisering
Medewerkers
Doelstelling
Professionalisering van alle bij examinering
betrokken medewerkers.
a.Het kunnen ontwerpen, uitvoeren en
evalueren van toetsen en toetsprogramma’s
op basis van kwaliteitscriteria.
b.Het kunnen verantwoorden van keuzes voor
toetsen en toetsprogramma’s op basis van
kwaliteitscriteria.
c.Het kunnen toepassen van procedures voor
kwaliteitszorg.
Resultaat
Alle medewerkers betrokken bij toetsing zijn
gecertificeerd als toetsdeskundige, tenminste op
het niveau van hun betrokkenheid.
a. docent
b. onderwijseenheid-coördinator of studiefasecoördinator
c. lid examencommissie
Iedere OWE heeft een eigen specificatietabel voor
het toetsprogramma
Iedere toets heeft een specificatietabel inclusief
beoordelingscriteria
Landelijke
voortgangstoets
fysiotherapie
Ontwikkeltraject tot nu
 Aftrapbijeenkomst SROF 2012
 Eerste bijeenkomst projectorganisatie
 Tweede bijeenkomst kerngroep CITO
plan van aanpak.
 Derde bijeenkomst CITO bepalen keuze
voor inhoud op basis van BOK (national
transcript)
 Vierde bijeenkomst bepalen van keuze
voor vraagvorm.
Eigen
Intitatief
Script
Concordance
Test

De Script Concordance Test is een
schriftelijke test die het klinisch
redeneren van studenten fysiotherapie
beoogt te meten. De test is gebaseerd
op korte klinische scenario's (scripts)
gericht en heeft een antwoordsleutel die
verschillen in opvatting tussen experts
toelaat. De sleutel is dus niet gebaseerd
op consensus tussen experts.
A
a
n
l
e
i
d
i
n
g

Drie studenten van Saxion
Hogeschool opleiding fysiotherapie
hebben het initiatief genomen om de
geschiktheid van de Script
Concordance Test (SCT) te
onderzoeken als voortgangstoets in
het kader van hun
afstudeeropdracht.

De HAN opleiding Fysiotherapie
heeft de SCT ter beschikking gesteld
voor dit experiment. De HAN heeft
deze gelegenheid aangegrepen om
de te toets extern te valideren door
experts van Saxion en de
mogelijkheid van benchmarking te
verkennen.
D o e l s t e l
l
i n g

Onderzoek naar de geschiktheid
van de Script Concordance Test
als voortgangstoets.

Onderzoek naar de geschiktheid
van de Script Concordance Test
als Benchmark
D
e
e
l
n
e
m
e
r
s

Expert panel (docenten /
werkveld)
14 experts Saxion
14 experts HAN

2e jaars studenten en 4e jaars
studenten HAN opleiding
fysiotherapie.

Deelname was vrijwillig. Alle
studenten hebben een ‘informed
consent’ getekend.
R e s u l


t a t e n
De interne consistentie (item-betrouwbaarheid) is
redelijk voor deze vorm van toetsing, maar in de
literatuur worden ook hogere waarden
gerapporteerd. Hier is nog verbetering mogelijk.
Cronbach’s Alpha = 0,68 bij 54 items en 152
deelnemers.
Geschiktheid als voortgangstoets
De verschillen tussen 2e jaars-scores en 4e jaars-scores zijn
significant , maar de verschillen zijn klein.
Verschil in scores tussen 2e leerjaar en 4e leerjaar
Leerjaar
N
Gem.
Score
Sax en
HAN
2
121
327,1
42,7
Sax en
HAN
4
51
358,4
44,8
*significant verschil
SD Sig (2-tailed)
P=0.000*
Gem. verschil
31,4
Geschiktheid als benchmark
In het 2e jaar scoort HAN significant beter dan Saxion. In
het 4e jaar scoort Saxion beter dan HAN, maar het
verschil is niet significant. Ook hier is verbetering
wenselijk.
Verschil in scores tussen Saxion en HAN: functie als benchmark
Leerjaar
N
Gem.
Score
Saxion
2
27
305,9
45,3
HAN
2
94
333,1
40,2
Saxion
4
26
364,2
45,1
HAN
4
27
351,4
44,5
*significant verschil
SD Sig (2-tailed)
Gem.
verschil
P=0,003*
27,2
P=0,360
11,61
Dataverzameling en analyse






In September hebben de studenten van Saxion
de toets ontvangen en de casussen geselecteerd
die zowel 2e als 4e jaars studenten zouden
kunnen maken naar hun verwachting.
In november 2013 is de SCT afgenomen bij
experts uit het werkveld van Saxion en HAN.
In december 2013 is de SCT afgenomen bij
studenten van Saxion en HAN.
In januari is de antwoordsleutel berekend op
basis van de expertscores.
Op basis daarvan zijn de antwoorden van
studenten getransformeerd naar scores.
Somscores en gemiddelde scores zijn berekend.
Door middel van onafhankelijke t-toetsen en
lineaire regressieanalyse zijn de verschillen in
scores tussen leerjaren en tussen Hogescholen
berekend.