SOE: de leerkracht als poortwachter OOF Toetskoffer

http://www.toetskoffer.be/

[email protected]

23 oktober 2014

Context en aanleidingen •

What you test is what you get

. • Visitatie: evaluatie als derde GKW • een ‘professionele evaluatiecultuur’? (

Verankerd in leren

, D. Sluijsmans) -

Van individueel naar samen evalueren

-

Van afhankelijk naar het nemen van regie - Van ad hoc-kwaliteit naar duurzame invulling kwaliteit gericht op toekomstige maatschappelijke ontwikkelingen

Algemene doelstelling Toetskoffer • Duurzaam en systematisch werken aan kwaliteitszorg van evalueren: verschillende handvaten aanreiken • Organisatorisch: via een toetscommissie (of toetsadviesbureau)

Op verschillende niveaus Toetsbeleid/ kaders opleiding: toetsprogramma/ toetsplan OPO: evaluatiepraktijk EVA: evaluatie-activiteit toetsitems, opdrachten

Concrete doelstellingen Concrete tools, methodieken, … aanreiken voor: 1.ontwikkelen toetsplan/ toetsprogramma 2.ondersteunen/ uitvoeren van analyses Eva’s en toetsprogramma’s (PD

CA

) 3.ondersteunen in verdere ontwikkeling kwaliteitsvolle Eva’s/ toetsprogramma’s

3 kern- en 3 resonantie-opleidingen •

3 Kernopleidingen

- Thomas More: PBa communicatiemanagement - KHLim: PBa orthopedagogie - KHLeuven: PBa biomedische laboratorium technologie •

3 Resonantie-opleidingen

- HUB- Odisee - KATHO- VIVES - KaHo St Lieven - Odisee

Meerwaarde • Voor 6 opleidingen duurzaam en systematisch werken aan kwaliteitszorg van evaluatie • Voor de Associatie KU Leuven toetskoffer als startbagage http://www.toetskoffer.be/

Toetscommissie (toetsadviesbureau) De toetscommissie (TC) of toetsadviesbureau (TAB) is verantwoordelijk voor de uitvoering van kwaliteitszorg van het toetsgebeuren door het aansturen, uitvoeren, opvolgen en rapporteren over kwaliteitszorgprocessen rond toetsing.

Toetscommissie: samenstelling • Bestaande groep (curriculumontwikkeling) • Bestaande onderwijsgroep • Nieuwe werkgroep • …

Toetscommissie: profiel • Representatieve vertegenwoordiging docenten (leerlijnen) • Voorzitter: evaluatiedeskundige • Optioneel: medewerker kwaliteitszorg, onderwijs, opleidingshoofd • Op opleidingsniveau (departementaal groepsniveau voor kleine opleidingen)?

Toetscommissie: bevoegdheden • Voert uit of stuurt systematisch kwaliteitszorgprocessen rond toetsing aan • Ondersteunt en adviseert managementteam inzake toetsing, bereidt samen met coördinator opleiding agenda rond toetsing voor • De examencommissie kan de toetscommissie bepaalde opdracht geven

Toetscommissie: mogelijke taken • Ontwikkeling toetsplan/ toetsprogramma • Kwaliteitsanalyses toetsprogramma/ Eva • Ondersteuning ontwikkeling kwaliteitsvolle toetsprogramma’s / Eva’s (PD)

Toetsplanontwikkeling: wat Toetsplan of toetsprogramma: inhoudelijk bewust samengesteld coherent geheel van toetsen op in de opleiding (wat, hoe, wie, wanneer, tijdsbesteding, feedback, …)

Toetsplanontwikkeling: hoe?

1. Toetsinventarisatie van bestaande situatie toetsen in de opleiding (via toetsmatrix) 2. Van bestaande naar wenselijke situatie via analyse en overleg

Toetsvormen

Competenties

Toetsinventarisatie: hoe?

• Via ECTS-fiches/ SAP • Via bevraging docenten • Check op volledigheid • Timing

Van toetsinventarisatie naar wenselijke situatie: analyse • Via analyse: Evalueren we alle DLR’s/ competenties die we willen ontwikkelen?

- Hoe toetsen we? - Wie is betrokken? - Wanneer toetsen we? …

Van toetsinventarisatie naar wenselijke situatie: overleg • Via overleg: - Op basis van conclusies analyse: wat willen we aanpakken?

- Waar willen we naartoe? Via afspraken, een toetsplan - Actieplan (acties, prioriteiten, wie, wanneer, SVZ, …)

Output toetsontwikkelingsproces • Bestaande situatie (inventarisatie) en conclusies • Verhaal/visie: Welke keuzes/accenten maken we als opleiding (vanuit kaders toetsbeleid instelling) • Wenselijke situatie: via toetsplan², afspraken, … • Actieplan: hoe wenselijke situatie realiseren? (acties, tijdspad, wie, svz)

Toetsfiches: wat?

• gebruiksvriendelijke en ‘kernachtige’ info over Eva’s (losse fiches) • rond ≠ vragen over een Eva • breed keuzepalet • om te ondersteunen bij het ‘doen’ (ontwerpen, opstellen toets/opdracht, beoordelelen, afnemen, …)

Kader: toetscyclus met toetsfasen Waarom?

Wat?

TERUG KOPPELEN aan studenten DOELEN BEPALEN BEOORDELE

N en BESLISSEN

ONTWERPEN

Wanneer? Hoe? Wie? Waar?

AFNEMEN/ UITVOEREN ONTWIKKELEN VOOR BEREIDEN STUDENTEN

Structuur en concrete fiches toetskoffer

Hoe?

• toetsvormen (11)

Wanneer?

Permanente evaluatie …

Wie?

Self-assessment Peer-assessment Leerweg onafhankelijke beoordelaar …

Toetsfase?

Ontwerpen Beoordelen Cesuurbepaling Terugkoppeling (feedback geven) …

Andere

Authentiek toetsen …

Fiches over evaluatievormen Presentatie/ uiteenzetting Beroepsproduct / ontwerp Voortgangstoets Verslag Portfolio Mondeling examen Verslag Schriftelijke examen met MKV, gesloten, (half)open vragen, casus, overalltoets Vaardigheidstoets Simulatie Stationsproef Praktijkevaluatie/ observatie Evaluatiegesprek (criteriumgericht inverview, driehoeksgesprek) Paper …

Ontwikkeling • Literatuuronderzoek • Peerreview (Werkgroep Toetskoffer, medewerkers onderwijs betrokken partners, …)

Doel fiches • Inspiratie om ‘ruis’ te beperken:

stappenplan, tips en tricks, …

• inspiratie bij het maken van bewuste keuzes voor een toetsvorm of keuze te expliciteren

: pro’s en contra’s

• om te inspireren om verder te lezen en/of te doen

: meer weten en/of doen

Gebruik fiches • ‘Fiche’ op maat kiezen • Als inspiratie voor TC/ TAB om gerichte feedback te geven aan docenten • Voor groepen van docenten (peerreview en peerfeedback) • Ter inspiratie voor docenten • Impuls voor toetsprogramma?

Toetszorginstrumenten 1. Toetsmatrijs 2. Scan in kwaliteitsvol toetsen 3. Excel voor psychometrische analyses 4. KIT: edumetrische analyses toetsprogramma

1. Toetsmatrijs: wat?

= matrix waarin wordt aangegeven hoe de items, vragen, opdrachten, … in een Eva verdeeld zijn over de leerresultaten/competenties/leerdoelen/in houden en verwachtte niveau.

1. Toetsmatrijs: waarom?

• Als hulpmiddel om de inhoudsvaliditeit te verhogen (ook van de verschillende beheersingsniveaus) • Als hulpmiddel om de gelijkwaardigheid tussen 2 paralleltoetsen te bewaken • Verantwoording van inhoud van de toets naar anderen

1. Toetsmatrijs: voorbeeldsjabloon 1

1. Toetsmatrijs: voorbeeldsjabloon 2

2. Scan in kwaliteitsvol toetsen = instrument om vanuit een objectief kader met verschillende kwaliteitsindicatoren (die psychometrisch en edumetrisch kunnen ingevuld worden) een evaluatie-activiteit te screenen of te plannen.

2. Scan: concept • °IOC WG Toetsbeleid KHLeuven • Informatie over ‘kwaliteitsvol toetsen’ gebruiksvriendelijk en concreet vertalen • niveau van een Evaluatiepraktijk (één of meerdere Eva’s)

2. Scan: ontwikkeling • Vertrekpunt: decretale kwaliteitscriteria • Via literatuuronderzoek concretisering in concrete ‘items’ • Via cocreatie medewerkers onderwijs KHLeuven • Validering en uittesten in opleidingen • Peerreview WG Toetskoffer, lno2, …

2. Scan: kader kwaliteitscriteria • Valide • Betrouwbaar • Transparant Uitgebreid met: • Leerrijk • Efficiënt TERUGKOPPELEN ONTWERPEN/ MODALITEITEN KIEZEN BEOORDELEN ONTWIKKELEN AFNAME

2. Scan: kwaliteitscriteria en subcriteria • indruks • begrips • inhouds • generaliseerbaar • afstemming

valide

• intrabeoordelaars • interbeoordelaars • vergelijkbaar in instructie/vragen, afname, beoordeling • triangulatie

betrouwbaar

• informeren • ervaren

transparant

• student, docent en opleiding • pre-, true-, post leereffect • tijd • middelen • infrastructuur

efficiënt leerrijk

2. Scan: Spanningsvelden I. Psychometrie en edumetrie II. Tussen kwaliteitscriteria onderling III. Tussen Eva en toetsprogramma IV. Tussen een generaliseerbaar en concreet instrument

I.

. Psychometrie- edumetrie • • • • •

Geef kinderen toch geen punten

. (R. Standaert)

Gevaarlijk om te stellen dat niets in onderwijs objectief meetbaar is

(D. Van Damme)

Punten afschaffen is een slecht idee. Punten, en centrale examens, houdt leerlingen en scholen scherp

(K. De Witte)

Cijfers zijn nuttig als indicatie, zolang ze niet amputeren

(I. Nicaise)

Meten uit angst? Verschuilen we ons niet achter objectieve tests, omdat we niet meer durven beoordelen?

(M. Simons)

I.

Psychometrie - edumetrie • Psychometrie: vanuit testpsychologie, vanuit ‘cijfers’, van ‘meten is weten’. • Edumetrie: focust op ontwikkeling en leren, ‘niet alles is meetbaar’ • Scan: om bewuste keuzes te maken over invulling van toetskwaliteit vanuit betekenis van kwaliteitscriteria die edumetrisch (kwantiatief en/of psychometrisch (kwalitatief) ingevuld kunnen worden

II. Kwaliteitscriteria • indruks • begrips • inhouds • generaliseerbaar • afstemming

valide

• intrabeoordelaars • interbeoordelaars • vergelijkbaarheid • triangulatie

betrouwbaar

• informeren • ervaren

transparant

• student, docent en opleiding • pre-, true-, post- effect

leerrijk

• tijd • middelen • infrastructuur

efficiënt

III. Eva- toetsprogramma • Niet mogelijk om alle kwaliteit realiseren in één evaluatiepraktijk, je moet keuzes maken, elke Eva bevat een minimum aan ‘ruis’ • Ook kwaliteit bekijken op het niveau van het toetsprogramma!

IV. Gebruiksvriendelijk en concreet- generaliseerbaar • Elke evaluatievorm heeft specifieke kwaliteitscriteria • Voor alle Eva’s binnen de Associatie

2. Scan: doel • Om een Eva te plannen, te scannen (eventueel bij te sturen) op toetskwaliteit • Geen exhaustieve ‘checklist’ voor elke Eva, streven naar ‘balanced assessment’ • zo breed mogelijke concrete ‘keuzes’ aanreiken om te reflecteren over mogelijke keuzes en deze keuzes te maken

2. Scan: concreet gebruik 1. self-assessment door docenten 2. input voor peerreview van docententeams (zie handleiding) 3. screening door TC/ TAB’s, toetscoaches, onderwijsondersteuners, … 4. Om te gebruiken als input voor screening toetsen door externen/ het werkveld In functie van (systematische) actie in kwaliteitsvol toetsen

3. Excel psychometrische analyses • Gebaseerd op een instrument ontwikkeld door D. Joosten-Ten Brink. • Psychometrische analyse (kwantitatief, cijfers) • Check (na toetsafname) • Voor gesloten en open vragen • Voor grote groepen studenten

3. Excel psychometrische analyses • Mediaan, gemiddelde, variantie en standaardafwijking • Moeilijkheid van de vraag: p-waarde • Onderscheidingsvermogen vraag: R it • Betrouwbaarheid van de toets: Cronbachs α

3. Excel psychometrische analyses: handleiding I. Resutaten invoeren II. Analyse III. Resultaten interpreteren IV. Actie ondernemen

3. Excel psychometrische analyses I. Resutaten invoeren

Vul hier het antwoord van iedere individuele student in

3. Excel psychometrische analyses II. Analyse - mediaan, gemiddelde, variantie en standaardafwijking - p-waarde - R it waarde - Cronbachs α

3. Excel psychometrische analyses III. Interpretatie resultaten: in kleuren en met codes IV. Met suggesties voor mogelijke acties in handleiding

Links zie je de gemiddelde score per student. De studenten in het groen zijn geslaagd voor deze toets, de studenten in het rood niet. Dit is afhankelijk van de cesuur, die je zelf kan bepalen.

De cesuur is het enige cijfer dat je op dit tabblad handmatig moet invullen.

De mediaan is de middelste score als je alle onderling verschillen De standaardafwijking is de wortel uit de variantie en geeft dus ook de spreiding weer

Deze toets is niet betrouwbaar!

4. KIT: edumetrische analyse van toetsprogramma’s • Ontwikkeld door Baartman & Kloppenburg Hogeschool Utrecht • Edumetrische (kwalitatieve analyse) • Zelfevaluatie • Op het niveau van een toetsprogramma

4. KIT: toetsprogramma Toetsprogramma = samenhangende combinatie van toetsen. Geeft als programma een coherent beeld van de leerresultaten/ competenties.

 Verschillende toetsvormen vullen elkaar aan.

Portfolio Opdrachten / projecten Gesloten vragen Open vragen TP Praktijk observatie Meerkeuze toets Praktijk observatie

4. KIT: Kwaliteitscategorieën, criteria en indicatoren

Kwaliteitscategorie Kwaliteitscriteria indicatoren

Validiteit Operationalisatie Betrouwbaarheid Functie Conditie Dekking Complexiteit Vorm Vergelijkbaarheid Triangulatie Selectie Leereffect Onderwijseffect Transparantie Oordeelkundigheid Organisatie

4. KIT: Procedure zelfevaluatie Uitgangspunten: • Evaluatie van toetsprogramma • Meerdere evaluatoren • Formatief Stap 1: Stap 2: Stap 3: - bepalen Toetsprogramma - verzamelen bewijs - individueel invullen KIT - Analyse

indicatoren Score 1-10 of “onbekend” voldoende ja / nee voorbeeld / bewijs

Andere input rond toetsing • OOF-projecten • SOE-projecten • Toetspraktijken, toetsprogramma’s • Instrumenten • Websites • Literatuur • …

Toetskoffer: A never ending story?

• vragen om verdere instrumenten, tools, methodieken, … te ontwikkelen • materiaal om breder te valideren • input voor workshops

Toetskoffer: A never ending story?

• materiaal om verder te ontsluiten: toetskoffer als een toegangspoort voor ‘input’ rond evaluatie?

Vragen, bedenkingen, …: [email protected]