Transcript Deel 9: Evaluatie

Evaluatie
Advance organizer
• Noteer de drie grootste bezwaren, kritieken,
… die je had over de examens in je
secundair onderwijs:
1...
2...
3...
http://www.sciencedirect.com/science/article/pii/S0191886912002917
http://www.klasse.be/archief/scholen-zonder-examens/
http://www.scholierenkoepel.be/rechten_en_plichten/thema/examens
http://www.sciencedirect.com/science/article/pii/S0360131512001339
• Youtube
• http://www.youtube.com/watch?v=jaUwfm
k0OMI&feature=relmfu
Geachte heer / mevrouw,
In de krant van zaterdag 2 juni jl. las ik dat u een vacature heeft voor een
administratief medewerker in de vakantieperiodes. Op die baan wil ik bij dezen
graag solliciteren.
Mijn naam is Manuela Schmitz en ik ben 18 jaar. Ik kom uit Duitsland. Het
afgelopen jaar heb ik de Schakelcursus Administratie gedaan. Tevens heb ik een
cursus tekstverwerken in MS Word en veel Nederlandse lessen gevolgd. Op dit
moment beheers ik het Nederlands redelijk goed. Op 15 juni neem ik deel aan het
Staatsexamen Nederlands als tweede taal.
Volgend jaar ga ik de opleiding voor administratief medewerker volgen. Zoals u in
mijn c.v. kunt zien heb ik dit jaar al stage gelopen, maar ik zou graag meer
praktijkervaring opdoen. Bovendien kwam ik er tijdens mijn stage achter dat ik het
werken op een kantoor heel erg leuk vind. Omdat u veel contacten heeft met het
Duitse moederbedrijf, lijkt het me een voordeel dat ik de Duitse taal vloeiend
spreek.
Ik hoop dat u mij uitnodigt voor een persoonlijk gesprek.
Hoogachtend,
Manuela Schmitz
Advance organizer
Advance organizer
• Rapport Kerst 2012
• Frans:
– Klasgemiddelde 37%
– Piet: 16%
– Miet: 60%
• Uw reactie ….
Evaluatie: begripsomschrijving
• Thorpe (1988): “Evaluatie is het totale
proces van het verzamelen, analyseren en
interpreteren van informatie over elk
mogelijk aspect van een instructie-activiteit,
met als doel een uitspraak te doen over de
effectiviteit, de efficiëntie en/of een andere
impact“[vrije vertaling].
Evaluatie en assessment
• Thorpe (1988): “Evaluatie is het totale proces van het
verzamelen, analyseren en interpreteren van informatie
over elk mogelijk aspect van een instructie-activiteit, met
als doel een uitspraak te doen over de effectiviteit, de
efficiëntie en/of een andere impact.“.
• Burke (1999) en Feden & Vogel (2004): “Assessment
involves an ongoing process of gathering and analyzing
evidence of student learning, whereas evaluation is the
process of interpreting and making judgments based on
this evidence.”
• Meten
• Evalueren / waarderen
• Scoren
Dimensies in evaluatie
• Op welk aggregatieniveau wordt de
evaluatie uitgevoerd?
• Wat is de functie van de evaluatie?
• Wie voert de evaluatie uit?
• Op welk type leerdoelen richt zich de
evaluatie?
• Wanneer wordt de evaluatie opgezet?
• Welke technieken worden gebruikt bij de
evaluatie?
Evaluatie op microniveau
Evaluatie op micro-niveau; zie ook Hattie (2009)
Aggregatieniveau – microniveau
• In welke mate heeft de lerende (de groep) de leerdoelen bereikt?
• Hoe effectief, efficiënt en bevredigend is de aanpak van de
instructieverantwoordelijke?
• In welke mate is rekening gehouden met de kenmerken van de lerende
en/of van de instructieverantwoordelijke?
• Hoe effectief of efficiënt is de begeleiding van de lerende en/of de
instructieverantwoordelijke?
• Hoe effectief, efficiënt en bevredigend is de instructieactiviteit, voor
wat betreft de:
–
–
–
–
–
leerstof,
media,
werkvormen,
leerdoelen,
en toetsbenadering?
• Wat is de kwaliteit van de leeractiviteiten?
• Hoe effectief en efficiënt is de organisatie van de instructie?
• Hoe is de verhouding tussen instructie en de context?
Microniveau: doelen
• Criterium? Honderd meter laten lopen.
– criterion-referenced assessment
– norm-referenced assessment
– ipsative assessment of self-referenced assessment
• Verschil tussen 3 vormen evaluatiecriteria!!
• Verwarring criteriumgerichte en normgerichte
evaluatie (bijv. nationale examens)
Microniveau: media
• Heel wat checklists: software, websites,
elektronische leeromgevingen , …
• Zie o.a.
• http://www2.ed.gov/admins/lead/academic/evalonline/evalonline.pdf ;
• http://discoveryschool.com/schrockguide/evalelem.html
Microniveau: instructieactiviteiten
• Kenmerken van de instructie-activiteit
– Kwantiteit van de instructie
– Kwaliteit van de instructie
• Psychisch stimulerende leeromgeving
–
–
–
–
Thuisomgeving
Klas- of schoolomgeving
Peer groep buiten de school
Massamedia (vooral TV )
• Walberg: 26 instructiemethoden
• Zie ook Hattie (2009)
Waarde van instructiestrategieën
• Zie cognitivisme voor overzicht strategieën
• Meta-analyses Marzano, Pickering & Pollock
Instructiestrategie
Aantal
onderzoeken
‘effect
size’
Gelijkenissen en verschillen ontdekken
31
.31
Samenvatten en het nemen van nota’s
179
.50
Bekrachtigen
21
.35
Huiswerk en inoefenen
134
.36
Non-linguïstische representaties
246
.40
Samenwerkend leren
122
.40
Doelstellingen formuleren en feedback geven
408
.28
Hypothesen stellen en testen
63
.79
Vragen stellen, ‘cues’ geven en advance organizers
aanbieden
1251
.26
Mesoniveau: kwaliteitszorg
• Kwaliteit van een school!
• Aanvankelijk simplistische modellen
Mesoniveau: Calder
• Calder (1994): meer complexe benadering die aansluit bij
een systeemopvatting: de CIPP-aanpak.
– Contextevaluatie: beschrijvende gegevens over het
programma, de doelen, verwachte effecten,
standaarden, beschikbare middelen, het beheer van het
programma, enz.
– Inputevaluatie: de leerstrategie in het programma.
– Procesevaluatie: de manier waarop het programma is
geïmplementeerd, de gebruikte strategieën en
procedures.
– Productevaluatie: de impact van het programma
(summatieve evaluatie).
Meso- en macroniveau
• Evaluatie op mesoniveau in nauwe relatie
tot evaluatie op macroniveau.
• Scholen (lager en secundair onderwijs):
zelfevaluatie in functie van een doorlichting
door de inspectie die de financierende
overheid vertegenwoordigt.
• CIPO = context – input – proces – output
• Scholen bewijzen hun effectiviteit
Mesoniveau
http://www.ond.vlaanderen.be/doorlichtingsverslagen/lijst.asp?niveau=4
Macroniveau schooleffectiviteitsonderzoek
• “Het doel van schooleffectiviteitsonderzoek is
het verklaren van verschillen tussen scholen op
basis van specifieke criteria.
Schooleffectiviteitsonderzoek exploreert deze
verschillen in de mate dat leereffecten worden
bereikt in relatie tot verschillen in de
instructieverantwoordelijken of verschillen in de
kenmerken van lerenden, klassen of scholen.”
Macroniveau schooleffectiviteitsonderzoek
• Basis:
– Coleman rapport (1966, chapter 1): “Schools have little
effect on students’ achievement that is independent of their
family background and social context.”
– Plowden rapport (1967, p.35): “Differences between
parents will explain more of the variation in children than
differences between schools. (…) Parental factors, in fact,
accounted for 58% of the variance in student achievement
in this study.”
• Scholen willen bewijzen dat ze wel bijdrage
leveren.
Fraser
1989)
School
.12
Lerende
.24
Doelen en beleid
.12
Affectieve kenmerken
.12
Infrastructuurkenmerken
-.02
Cognitieve kenmerken
.44
Klasomgeving
.26
Fysische kenmerken
.10
Sociale variabelen
.19
Mogelijkheden tot leren
.29
Peer groep
.19
Instructiekenmerken
.14
Massamedia
-.06
Individualisatie
.07
Thuisomgeving
.31
Simulaties / spellen
.17
Instructieverantwoordelijke
.21
Computerondersteund onderwijs
.15
Achtergrond
.29
Geprogrammeerde instructie
.09
Stijl
.20
Tutoring
.25
Instructie
.22
Leerhiërarchieën
.09
Kwaliteit
.47
Beheersingsleren
.25
Kwantiteit
.38
Team teaching
.03
Methodes algemeen
.17
Huiswerk
.21
Methodes wetenschappen
.18
Leermiddelen
.14
Methodes wiskunde
.16
Leerstrategieën
.28
Methodes lezen
.24
Bekrachtigen
.49
Methodes andere vakken
.13
Advance organizrs
.18
Operationele leerdoelen
.06
Remediëring en feedback
.30
Algemeen gemiddelde
.20
Kritieken op SE-benadering
 Eén van de antwoorden op de
schooleffectiviteitsbenadering is de ‘school
improvement’ beweging.
 Aantonen dat “schools do make a difference”.
 Reynolds, Teddlie, Hopkins & Stringfield (2000):
“School improvement approaches to educational
change embody the long term goal of moving
toward the ideal type of the self renewing school.”
Naar ‘school improvement’
Macroniveau
• Performance indicatoren onderzoek (PI)
• Centrale examens
–
–
–
–
Nederland CITO
Frankrijk 'bacalauréat’
Groot-Brittannië 'National curriculum’
Vlaanderen: Diocesane proeven, toegangsproef
geneeskunde (geen ranking of vergelijking
scholen)
Macroniveau: Performance indicatoren
• Vlaanderen: wèl internationaal vergelijkend
performance indicatoren onderzoek
• Indicatoren: parameter voor kwaliteit
• Morris, A. (1990) "statistische gegevens,
verhoudingsgetallen, kosten en alle andere
informatie die de opbrengst verheldert of meet van
een instelling in relatie tot de vooropgestelde
doelen.“
Macroniveau: PI
• Accountability: politiek-economische ratio
• Soorten indicatoren:
– Verloop/productie: studentenaantallen,
middelen
– Quality of life: intrinsieke waarden
– Affectieve domein
– Gedragsdimensie
– Cognitieve domein
Macroniveau: PI
Australië
Groot-Brittannië
Curriculum and Standards Framework
Achievement Indicators Programme
Performance Tables
VANP Value Added National Project
International Association for
the Evaluation of
Educational
Achievement
Organisation for Economic
Cooperation and
Development (OECD)
PIRLS Progress in International Reading Literacy Study
USA
EEOS Equality of Educational Survey
NAEP National Assessment of Educational Progress
TIMSS Trends in International Mathematics and Science
Study
INES International Indicators of Educational Systems; bijv.
PISA Programme for International Student Assessment
PIAAC Programme for the International Assessment
for Adult Competencies
Macroniveau: PI
• Voorbeeld PISA 2006 onderzoek
Vlaanderen vergeleken met 41 andere landen in het PISA2006
PISA2006De samenhang tussen
leerresultaten en SES van
15-jarigen in het
PISA2006 (De Meyer,
2007, p.36).
PISA2006
Reading assesment framework in PISA2006. Let op de aandacht
voor de verschillende soorten tekst die via computer en/of via
gedrukte media worden onderzocht (OECD, 2009, p.35).
Macroniveau: centrale examens
• Vlaanderen: tégen centrale examens
De Standaard
15 12 2003
Functie van de evaluatie?
• Formatieve evaluatie
(etymologie assessment = ad sedere)
• Summatieve evaluatie
diagnostisch
• Predictiefunctie
• Selectiefunctie.
Selectiefunctie
Predictie
• PMS- en MST- centra
• Centra voor Leerlingenbegeleiding (CLB):
– Leren en studeren (studiemethodes)
– Onderwijsloopbaan (studiekeuze, opties, …)
– Preventieve gezondheidszorg (besmettelijke
ziektes, luizen, oogafwijkingen, …)
– Psychisch en sociaal functioneren (pesten,
geweld, gedragsmoeilijkheden, racisme, …)
Wie voert de evaluatie uit?
Wie voert evaluatie uit?
Microniveau
Mesoniveau
Macroniveau
Formatief
Self assessment
Peer assessment
Instructieverantw.
Expert
Evaluatie-afdeling
Expert
Evaluatie-afdeling
Summatief
Self assessment
Peer assessment
Expert
Evaluatie-afdeling
Instructieverantw.
Externe instantie
Expert
Evaluatie-afdeling
Externe instantie
Expert
Evaluatie-afdeling
Diagnostisch
Self assessment
Peer assessment
Instructieverantw.
Expert
Evaluatie-afdeling
Predictief
Externe instantie
Wie voert de evaluatie uit?
Self-assessment
• lerende centrale rol in leerproces:
–
–
–
–
–
–
doelen
criteria
checklist
voert evaluatie uit
conclusies
een score
• Zie verder gebruik van rubrics
Wie voert de evaluatie uit?
Self-assessment
• Thomas (1999): Dearing rapport 1996:
–
–
–
–
rekenvaardigheden
het gebruik van informatie- en communicatietechnologieën
leren leren
communicatievaardigheden
• Twee hoofdstappen (training)
– toetscriteria expliciet maken en bediscussiëren
– gebruiken eigen oordeel over leerproces en leerproducten
• ‘Assessment-as-learning’
Wie voert de evaluatie uit? peer-assessment
• Elkaars werk beoordelen
• Opvatting over leren (samenwerkend leren)
• Twee stappen
– Gestructureerd proces voor om tot
groepsevaluatie te komen:
– Ontwikkelen van meta-cognitieve leerdoelen.
Voorbeelden
• Nieuw-Zeeland
http://www.tki.org.nz/r/assessment/two/self
_and_peer_e.php
• V oorbeeld peer assessment KULeuven
http://ppw.kuleuven.be/cod/pasi.htm
Assessment centre
• Adler (1978) “Gestandaardiseerde
evaluatieprocedure van complex gedrag -veelheid
van inputgegevens. Het gedrag beoordeeld, in
gesimuleerde situaties. Verschillende
beoordelaars beoordelingen samen tot globale
uitspraak.”
• Tweede Wereldoorlog: “goede officier of spion?”
• Nu standaardprocedure in selectie- en promotieen opleidingsprocedures
Welk type leerdoelen?
• Verschuiving van
– declaratieve kennis naar
– procedurele kennis
– Competenties
• Zie technieken, wie, functie, …
Wanneer wordt evaluatie opgezet?
• Voor
– voorkennistoetsing
• Tijdens
– Voortgangstoetsing
– Portfoliotoetsing
• Na
Portfolio
• Een portfolio is het
pakket, het dossier
dat men samenstelt
met brieven,
informatie,
illustraties,
producten, … als
basis voor de
evaluatie.
Portfolio - EVC
Portfolio
• We kunnen verschillende soorten portfolio’s
onderscheiden:
– Een documentenportfolio of produktportfolio. In dit portfolio
documenteert men al het werk dat men in een het kader een
opleiding, stage, praktijkervaring, … uitvoert. Naast de
documenten die dit werk illustreren, voegt de lerende ook
reflectieverslagen toe op dit werk. Het is handig wanneer de
lerende hiervoor criteria krijgt aangereikt.
– Een procesportfolio. Het procesportfolio kan men vergelijken met
een uitgebreid logboek. Stap voor stap documenteert men de
voortgang in het eigen leerproces. Men reflecteert op de eigen
sterktes of zwaktes en stelt actieplannen voor.
– Een showcase portfolio. Dit type portfolio kan men zien als “the
best of …”. Het is een bundeling van het beste werk van een
lerenden in functie van een besluitvormingsproces over de
prestaties van de lerenden. Ook dit type portfolio kan een
zelfreflectie bevatten waarbij de lerende eigen commentaren
toevoegt aan zijn/haar selectie van de werkstukken.
Portfolio
ChalkandWire, één van de vele elektronische portfolio omgevingen die momenteel beschikbaar
zijn (http://www.chalkandwire.com/). Uiteraard bestaan er ook open source oplossingen die
vrijwel gratis te integreren zijn in elektronische leeromgevingen. Dit vergemakkelijkt de
technische en administratieve integratie van de evaluatie.
Technieken
De template structuur bij de PISA2006 toetsen (De Meyer , 2007, p.8).
Technieken: rubric
Rubrics
• Rubric: scoringstool voor een kwalitatieve inschatting van
het niveau van een authentieke of complexe activiteit.
– Een rubriek bouwt verder op criteria die verrijkt worden met een
schaal waarop beheersingsniveaus zijn aangegeven
– Per beheersingsniveau worden standaarden aangegeven die die
niveau weerspiegelen.
– Een rubric geeft zowel voor de lesgever als de student aan wat
concreet verwacht wordt.
– Rubrics worden voor “high stake assessment” gebruikt en voor
“formatieve toetsing” (in functie van leren).
(Arter & McTighe, 2001; Busching, 1998; Perlman, 2003).
• Rubrics focus on the relationship between competenciescriteria, and indicators and are organized along mastery
levels (Morgan, 1999).
62
Rubrics
• Holistisch – Analytisch
• Taakspecifiek - Generiek
63
Assumpties m.b.t. rubrics
• Grotere consistentie in scores
(betrouwbaarheid).
• Meer valide beoordeling van complex
gedrag.
• Positieve invloed op vervolgens leergedrag.
64
Onderzoek rubrics
• Review article 75 studies m.b.t. rubrics:
•
65
Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability,
validity and educational consequences. Educational Research Review, 2, 130–
144.
– (1) the reliable scoring of performance assessments can be enhanced by the
use of rubrics, especially if they are analytic, topic-specific, and
complemented with exemplars and/or rater training;
– (2) rubrics do not facilitate valid judgment of performance assessments per
se. However, valid assessment could be facilitated by using a more
comprehensive framework of validity;
– (3) rubrics seem to have the potential of promoting learning and/or
improve instruction. The main reason for this potential lies in the fact that
rubrics make expectations and criteria explicit, which also facilitates
feedback and self-assessment.
Voorwaarden effectief gebruik
• Grondig inzicht in raamwerk van specifieke
rubriek.
• Training in gebruik
• Interrater gebruik
66
Aanpak ontwikkeling rubric
• Kies criteria voor verwacht gedrag
– 4 tot 15 statements die criterium beschrijven
• Bepaal bandbreedte die verschil in bereiken
criterium weergeven
– Bijv. 0-5 of kwalitatieve termen
• Werk een beschrijving uit voor elke waarde
in de bandbreedte
– Concreet observeerbare/vaststelbare
kwalificaties
http://www.teach-nology.com/cgi-bin/presentation.cgi/
69
http://teachers.teach-nology.com/cgi-bin/research.cgi
Schermafdruk van een website met “rubric makers”
(http://www.teach-nology.com/platinum/samples/rubrics/).
Websites rubrics
• Uitgebreid overzicht tools, voorbeelden, theorie,
achtergrond, onderzoek:
http://school.discoveryeducation.com/schrockguide/assess.html
• Critical thinking rubrics:
http://academic.pgcc.edu/~wpeirce/MCCCTR/Designingrubricsassessingthinking
.html
• Rubric generators: http://www.teach-nology.com/web_tools/rubrics/
• Intro op interessante rubric sites:
http://web.njit.edu/~ronkowit/teaching/rubrics/index.htm
• Rubric APA research paper:
http://web.njit.edu/~ronkowit/teaching/rubrics/samples/rubric_apa_research.pdf
• Veel voorbeelden K12:
http://school.discoveryeducation.com/schrockguide/assess.html
• Algemene intro en overzicht:
http://web.njit.edu/~ronkowit/teaching/rubrics/index.htm
Objectieve toets
Essay toets
Mondelinge vraag
Performance assessment
Doel
Op een efficiënte en betrouwbare
manier een steekproef uit de
nagestreefde kennisdoelen toetsen.
Denkvaardigheden, beheersing
van structuren.
Toetsen tijdens het leerproces.
Meten van toepassen in een
nieuwe complexe context.
Typische opgave in een
dergelijke
evaluatie
Meerkeuzevragen.
Juist/onjuist vragen.
Invuloefening.
Vergelijken.
Verhandeling.
Open vraag.
Schriftelijke opdracht.
Natuurlijke setting waarin
opdracht wordt gegeven.
Typische respons van
lerende
Lezen, evalueren, selecteren.
Organiseren, samenstellen.
Mondeling antwoord.
Plannen, construeren en een
originele oplossing uitwerken.
Scoringswijze
Tel juiste antwoorden.
Peilen van inzicht.
Bepalen juistheid antwoord.
Check kenmerken oplossing en
proces, rating op een schaal.
Grootste voordeel
Efficiënt, er kan véél getoetst
worden in weinig tijd.
Complexe cognitieve
structuren kunnen getoetst
worden.
Integreren evalueren en
instructie.
Rijke informatie over
beheersing van vaardigheden,
attitudes.
Mogelijke foutenbron
Slecht geconstrueerde items.
Teveel nadruk op feitenkennis.
Zwakke testvaardigheden van
lerende.
Representativiteit.
Slechte opgave.
Zwakke schrijfvaardigheden
die interfereren met
inhoudelijke kennis.
Zwakke scoringsprocedure.
Itemkwaliteit.
Bereidheid tot antwoorden.
Te weinig vragen.
Kwaliteit opdracht.
Te korte opdracht.
Ratingschaal zwak.
Zwakke evaluatieomstandigheden.
Impact op leerproces
Teveel nadruk op ‘weet’niveau
(geheugen).
Kan denkvaardigheden oefenen bij
goed geconstrueerde items.
Bevordert schrijfvaardigheden.
Stimuleert actieve
medewerking.
Geeft direct feedback op
effectiviteit instructie.
Nadruk op toepassen in
relevante probleemcontexten.
Kritische succesfactor
Goede ‘blauwdruk’ vanuit
behandeld curriculum.
Voorbereiding.
Antwoordmodel.
Voldoende tijd om te lezen en
te scoren.
Heldere vragen.
Representatief aantal vragen.
Voldoende tijd voor
antwoorden.
Goed voorbereide opdrachten.
Duidelijke verwachtingen.
Goede ratingschaal.
Voldoende ratingtijd.
Welke technieken?
Performance evaluatie:
•
•
•
•
•
•
Meten van toepassen in een nieuwe complexe context
Natuurlijke setting waarin opdracht wordt gegeven
Plannen, construeren en een originele oplossing uitwerken
Check kenmerken oplossing en proces, rating op een schaal
Rijke informatie over beheersing van vaardigheden, attitudes
Kwaliteit opdracht, te korte opdracht, ratingschaal zwak,
zwakke evaluatie-omstandigheden
• Nadruk op toepassen in relevante probleemcontexten
• Goed voorbereide opdrachten, duidelijke verwachtingen,
goede ratingschaal, voldoende ratingtijd
Technieken: toetsautomatisering
Scoren van evaluatieresultaten
• Moore (2005) “Assigning grades is a
responsibility most teachers dislike and feel
uncomfortable doing. There is no way to
assign grades that is fair to all students.
Most assign grades of A, B, C, D, and F.
regardless of the system used, however,
assigning grades to students’ work is
inherently subjective.”
Scoren
• Absolute grading
• Relatieve grading
• Gewogen grading
Kwaliteitseisen bij evaluatie
• Betrouwbaarheid.
• Validiteit
Extra eisen:
• Authenticiteit
• Recentheid
Evaluatie: kritische visies
• “A sample of behaviour”
• klassieke evaluatie-benadering - visie op
leren: alternatieve evaluatietechnieken en –
systemen
Evaluatie en het onderwijskundig
referentiekader
• Microniveau: zie alle processen, actoren en
variabelen.
• Mesoniveau: modellen, betrokkenen,
instanties
• Macroniveau: positie stakeholders
Evaluatie