Transcript onderzoek - Fontys Toetsconferentie

Examinering in het hbo en de rol
van eindwerkstukken
Toetsconferentie 2014
Tilburg
11 november 2014
Dr. Daan Andriessen
Lector Methodologie van Praktijkgericht Onderzoek
Hogeschool Utrecht
Agenda
1.
2.
3.
4.
5.
6.
7.
8.
Aanleiding Expertgroep Protocol
Model voor examinering in het hbo
Mogelijkheden tot protocoleren
Protocol Verbeteren en Verantwoorden van
afstuderen in het HBO
Ontwikkelen van goede beoordelingsmodellen
De eis van onderzoekend vermogen
De rol van onderzoekend vermogen in
beroepsonderwijs
Eisen aan het niveau van onderzoekend vermogen
Naar een alternatief voor landelijke examens
1. Aanleiding Expertgroep Protocol
Motie Beertema (27/3/2012)


De Kamer, verzoekt de regering, per opleiding of
cluster van opleidingen samen met het bedrijfsleven
of betrokken werkveld kernvakken te laten vaststellen,
landelijke eindtermen te bepalen voor de
kenniscomponent van deze kernvakken en die te
examineren via landelijke toetsing die
onafhankelijk wordt geborgd,
en gaat over tot de orde van de dag.
Vreemde Ogen Dwingen
(mei 2012)


Voordelen landelijk examen wegen niet op tegen nadelen
Overgenomen aanbevelingen:
1.
Externe validering van toetsen via pilots met
gemeenschappelijk toetsen
2.
Externe validering via certificering van examinatoren
en opleiding van docenten door ontwikkeling van een
Basis- resp. Seniorkwalificatie examinering
(BKE/SKE).
3.
Duurzame kennisuitwisseling
4.
Externe validering van eindwerkstukken door een
gezamenlijk bottom-up opgesteld protocol bij
individuele eindscripties en bij qua niveau en
importantie vergelijkbare eindwerkstukken.
Opdracht Expertgroep Protocol

“Onderzoek de wenselijkheid en mogelijkheid van een
gezamenlijk, bottom-up opgesteld protocol of
protocollen voor het beoordelen van
(kern)werkstukken en adviseer over de wijze waarop
deze tot stand dienen te komen en aan welke
kwaliteitseisen deze dienen te voldoen”
Samenstelling Expertgroep
Protocol
•Daan Andriessen (voorzitter)
•Petra Manders (secretaris)
•Dan Greve
•Peter Hermans
•Linda Jakobs
•Lucie te Lintelo
•Karin Neijenhuis
•Gerard Straetmans
Hogeschool Utrecht
Saxion
Hogeschool Utrecht
Cito / Artez
Hogeschool Arnhem Nijmegen
Hogeschool van Amsterdam
Hogeschool Rotterdam
Cito / Saxion
Afstuderen in het hbo is veel meer dan het schrijven van een
werkstuk
2. Model voor examinering in het hbo
Principes van afstuderen
Afstudeerprogramma
Beroepsbekwaamheid
moet blijken uit
verwoord in
Eindkwalificaties
Prestatie(s)
Prestaties in het hbo zijn
beroepsproducten
1.
Advies
2.
Ontwerp
Mogelijke
Verbeelding van
oplossing of een een eindproduct
plan
• Organisatie
• Bouwontwerp
advies
• Bestemmings• Pedagogisch
plan
advies
• Ondernemings• Financieel
plan
advies
3.
Eindproduct
Fysiek of digitale
uitwerking van
een ontwerp
• Schilderij
• ICT applicatie
• Apparaat
• Film
• Journalistiek
tekst
4.
Handeling
5.
Onderzoek
Professioneel
Antwoorden en
gedrag naar
conclusies
cliënt of publiek
• Les geven
• Archeologisch
• Voorstelling
rapport
geven
• Laboratorium
• Hulp verlenen
rapport
• Verplegen
• Forensisch
• Therapie geven rapport
• Leiding geven
• Ondernemen
(Naar Losse, 2012)
Principes van afstuderen
Afstudeerprogramma
Beroepsbekwaamheid
moet blijken uit
verwoord in
Eindkwalificaties
Prestatie(s)
leiden tot
Beroepsopdracht (en)
Beroepsopdrachten in het hbo
zijn zoveel mogelijk:


Authentiek:
 Authentieke taak
 Authentieke omstandigheden
Representatief:
 Complexiteit (cognitief en context)
 Zelfstandigheid
Principes van afstuderen
Afstudeerprogramma
Beroepsbekwaamheid
moet blijken uit
verwoord in
Eindkwalificaties
Prestatie(s)
beoordeeld
door
Examinatoren
leiden tot
Beroepsopdracht (en)
Examinator is deskundig


Examinator is deskundig op:
 De te beoordelen bekwaamheid
 Het beoordelingsproces
Beoordelen is mensenwerk!
Principes van afstuderen
Afstudeerprogramma
Beroepsbekwaamheid
moet blijken uit
verwoord in
Eindkwalificaties
Prestatie(s)
beoordeeld
door
geoperationaliseerd in
Prestatiecriteria en
beoordelingsschalen
Beoordelingsmodel(len)
helpen de
Examinatoren
leiden tot
Beroepsopdracht (en)
Beoordelingsmodel
ondersteunt de examinator



Beoordelingsmodel helpt bij beoordelen van:
 Kwaliteit beroepsproduct
 Kwaliteit verantwoordingsverslag
 Kwaliteit van het proces
Beoordelingsmodel bevat:
 Prestatiecriteria
 Beoordelingsschalen
 Beslisregels
Beoordelingsmodel is:
 Valide
 Inzichtelijk
 En draagt bij aan betrouwbaarheid beoordeling
Principes van afstuderen
Afstudeerprogramma
Beroepsbekwaamheid
moet blijken uit
verwoord in
leidt tot conclusie over
Eindkwalificaties
Prestatie(s)
beoordeeld
door
geoperationaliseerd in
Prestatiecriteria en
beoordelingsschalen
Beslissingsprocedure(s)
Beoordelingsmodel(len)
helpen de
bepalen scores
Examinatoren
leiden tot
Beroepsopdracht (en)
Niet alles kan landelijk worden afgesproken
3. Mogelijkheden tot protocoleren
Vier niveaus in hbo




Niveau 1: Alle opleidingen van alle instellingen;
Niveau 2: Alle opleidingen met hetzelfde
opleidingprofiel
Niveau 3: Beperkt aantal opleidingen met hetzelfde
opleidingprofiel
Niveau 4: Binnen één instelling.
Mogelijk en wenselijk
Niveau 1: landelijk
Wel
 Gestandaardiseerde
wijze van verslaglegging
over het afstudeerprogramma als geheel
 Betekenis en
minimumeisen
Onderzoekend Vermogen
Niet
 Eén beoordelingsmodel
voor afstudeerprestaties
Mogelijk en wenselijk
Niveau 2: per opleidingsprofiel
Wel
 Body of knowledge &
skills Onderzoekend
Vermogen
 Gezamenlijk reviewen
van de afstudeerprogramma’s
Niet
 Eén beoordelingsmodel
voor afstudeerprestaties
(tenzij de opleidingen
dezelfde eindkwalificaties
én afstudeerprogramma
hebben)
Mogelijk en wenselijk
Niveau 3: groep verwante opleidingen
Wel
 Gezamenlijke invulling
van (delen van) het
afstuderen
 Gezamenlijk
beoordelingsmodel per
afstudeerprestatie
 Inzetten van waarnemers
en examinatoren
 Gezamenlijk reviewen
van afstudeerprogramma’s
Niet
Mogelijk en wenselijk
Niveau 4: binnen één hogeschool
Wel
 Reviewen van
afstudeerprogramma’s
door collega’s of het
werkveld
Niet
 Gezamenlijk
beoordelingsmodel per
afstudeerprestatie
Protocol als middel voor systematische kwaliteitszorg en externe
validering van afstuderen
4. Protocol Verbeteren en
Verantwoorden van afstuderen in het
HBO
Doel van het protocol

Opleidingen in het hbo helpen samen werken aan het
valide, betrouwbaar en voor studenten inzichtelijk
toetsen van de beoogde eindkwalificaties, zoals
beoogd in standaard 3/16 van de NVAO en het
rapport ‘Vreemde ogen dwingen’ van de commissie
Bruijn.
1.
Duidelijkheid scheppen over terminologie en
inrichting van het afstuderen.
2.
Een kader scheppen voor gezamenlijk leren en
verbeteren.
3.
Een kader scheppen voor borging en
verantwoording.
Opzet van het protocol



Een opsomming van 12 vragen over het afstudeerprogramma waar een opleiding een goed antwoord op
moet hebben om een goede beoordelings- en
beslissingskwaliteit in het afstuderen te garanderen.
In een verantwoording van het afstudeerprogramma
beschrijft en verantwoordt de opleiding de
antwoorden.
Vragen zijn afgeleid van
 Standaard 1 en standaard 3/16 van de NVAO en
de relatie tussen beide
 Theorie over toetsen
 Eis van onderzoekend vermogen
Inhoud van het protocol (1)

Eindkwalificaties
1.
Weerspiegelen de eindkwalificaties van de
opleiding zowel de eisen vanuit het werkveld als
de eisen aan het hbo-niveau?
2.
Heeft de opleiding het vereiste niveau voor
onderzoekend vermogen beschreven in de
eindkwalificaties?
3.
Toetst de opleiding alle eindkwalificaties in het
afstudeerprogramma en, indien het meerdere
afstudeeronderdelen betreft, is het duidelijk waar
wat getoetst wordt?
Inhoud van het protocol (2)

Beroepsopdrachten
4.
Zijn de beroepsopdrachten die studenten
uitvoeren in het afstudeerprogramma geschikt
voor het aantonen van de te verwerven
eindkwalificaties?
5.
Bewaakt de opleiding dat de complexiteit van de
beroepsopdrachten voor alle studenten dezelfde
is en dat er een vergelijkbare mate van
zelfstandigheid van hen verwacht wordt bij de
uitvoering hiervan?
Inhoud van het protocol (3)

Beoordeling
6.
Waarborgt de opleiding dat elke examinator bekwaam
is om een onderbouwd oordeel van de prestaties van
studenten tot stand te brengen?
7.
Bieden de gehanteerde beoordelingsmodellen
voldoende garantie op een valide, betrouwbare en
transparante beoordeling en zijn ze tegelijkertijd
werkbaar voor examinatoren?
8.
Borgt de opleiding een gemeenschappelijke
interpretatie van de beoordelingsmodellen door de
examinatoren?
9.
Is de beoordelingsprocedure voor alle betrokkenen
transparant en werkbaar en bevordert deze een zo
betrouwbaar mogelijke beoordeling?
Inhoud van het protocol (4)


Randvoorwaarden
10. Zorgt de opleiding ervoor dat het
afstudeerprogramma door alle betrokkenen binnen
de beschikbare tijd en mogelijkheden uitgevoerd
kan worden?
Verantwoording en ontwikkeling kwaliteit
11. Geeft de opleiding invulling aan het ‘vreemde
ogen’-principe om de kwaliteit van het
afstudeerprogramma aantoonbaar te bevorderen?
12. Overlegt de opleiding bij een visitatie bewijzen die
samen een transparant en representatief beeld
geven van het afstudeerprogramma en het
gerealiseerde eindniveau van studenten?
Balanceren tussen analytisch en holistisch beoordelen
5. Ontwikkelen van goede
beoordelingsmodellen
Stappen bij beoordelen
1
2
3
4
• Prestatie van de student
• Vergelijking prestatie met een standaard
• Score op een zinvolle beoordelingsschaal
• Combineren van scores tot beslissing en cijfer
Twee vormen van beoordelen
Analytisch beoordelen



De perfecte prestatie wordt
uiteengelegd in groot aantal
concreet observeerbare
aspecten
Van de geleverde prestatie
wordt gechecked (j/n) of deze
de observeerbare aspecten
bezit
De beoordeling komt to stand
door de scores (al dan niet
gewogen) op te tellen
Holistisch beoordelen


Examinator beoordeelt de
prestatie in zijn totaliteit zonder
eerst aspecten te wegen
Oordeel wordt onderbouwd
met beoordelingscriteria
Beide vormen kennen nadelen
Analytisch beoordelen




Heeft opdrijvend effect op hoe
hoog de lat ligt (‘op elke slak
zout leggen’)
Risico dat het geheel van de
prestatie (en daarmee van de
student) uit het zicht verdwijnt
Risico is dat beoordelaars hun
scores aanpassen aan de
indruk die ze voorafgaand op
holistische wijze hebben
gevormd
Geen ruimte om aspecten mee
te wegen die niet vooraf zijn
geformuleerd
Holistisch beoordelen




Veronderstelling is dat
beoordelingscriteria sterk
samenhangen (iemand is goed
in A en dan waarschijnlijk ook
in B)
Stelt hoge eisen aan kwaliteit
van de examinator
Is moeilijker navolgbaar /
transparant te maken
Grotere kans op lage
betrouwbaarheid
Zoeken naar een goede
middenweg
1.
2.
3.
4.
5.
6.
7.
Criteria die zijn afgeleid van de te toetsen eindtermen
Criteria die eigenschappen benoemen van de
prestatie (de tekst, de presentatie, de verdediging)
Clustering van criteria in standaarden om zo ruimte te
scheppen voor een holistische kijk
Verduidelijking van de criteria in een toelichting ten
behoeve van kalibratie, beoordeling, begeleiding en
onderwijs
Zinvolle schaalpunten
Ruimte voor toelichting om transparantie te verhogen
Navolgbare beslisregel om te komen tot een
beslissing
Voorbeeld van een standaard
voor een onderzoeksverslag
Standaard
Centrale vraag en
deelvragen zijn
inhoudelijk verankerd,
relevant, afgebakend,
precies en functioneel
Standaard benoemt:
• De objecten in het verslag
• De criteria waaraan die objecten moeten voldoen om goed te zijn
Criteria zijn toegelicht in een achterliggende toelichting
Schaalpunten hebben betekenis
Standaard
Schaal
Centrale vraag en
deelvragen zijn
inhoudelijk verankerd,
relevant, afgebakend,
precies en functioneel
OV / V / G / ZG
Betekenis schaalpunten:
• OV onvoldoende: De objecten voldoen niet aan de standaard
• V voldoende: De objecten voldoen niet op alle punten aan de
standaard maar wel in voldoende mate
• G goed: De objecten voldoen op alle punten aan de standaard
• ZG zeer goed: De objecten overtreffen de standaard
Toelichting bevordert
transparantie
Standaard
Schaal
Centrale vraag en
deelvragen zijn
inhoudelijk verankerd,
relevant, afgebakend,
precies en functioneel
OV / V / G / ZG
Toelichting
Omdat deze wijze van beoordelen niet volledig analytisch is dient de
examinator zijn scores toe te lichten
Hij/zij maakt daarbij zoveel mogelijk gebruik van de “taal” uit de
toelichting op de standaarden
Beslisregel helpt bij cijfer
Standaard
Schaal
Standaard 1
OV / V / G / ZG
Standaard 2
OV / V / G / ZG
Standaard 3
OV / V / G / ZG
Standaard 4
OV / V / G / ZG
Standaard 5
OV / V / G / ZG
Standaard 6
OV / V / G / ZG
Standaard 7
OV / V / G / ZG
Standaard 8
OV / V / G / ZG
Toelichting
Eén van de standaarden O -> cijfer onder de 5,5
Alle standaarden V -> cijfer tussen 5,5 en 7,0
Standaarden V en G -> cijfer tussen 7,0 en 8,0
Alle standaarden G -> cijfer een 8,0
Standaarden G en ZG -> cijfer tussen 8,0 en 9,0
Alle standaarden ZG –> cijfer > 9,0
Doel van kalibreren


Hoofddoelen:
 gezamenlijk aanscherpen van de standaarden
 het bepalen van de cesuur: onvoldoende /
voldoende
Nevendoelen:
 Ontwikkelen toelichting op het beoordelingsformulier
 Begrip krijgen voor de verschillende visies op
onderzoek
 Leren beter te begeleiden
 Leren beter te beoordelen
 Leren beter te onderzoeken
De lat is in 2009 hoger gelegd
6. De eis van onderzoekend vermogen
Kwaliteit als opdracht (2009)
1.
2.
3.
4.
Gedegen theoretische basis
Onderzoekend vermogen
Professioneel vakmanschap
Beroepsethiek en maatschappelijke oriëntatie
Onderzoekend vermogen

2009: HBO raad (2009) “Kwaliteit als opdracht”:
“In onze moderne samenleving is het cruciaal dat hbobachelors over een onderzoekend vermogen
beschikken dat leidt tot reflectie, tot evidence based
practice, en tot innovatie”.
43
Onderzoekend vermogen moet
leiden tot:



Reflectie: dit betreft het terugkijken
op het eigen handelen in de
beroepspraktijk, signaleren wat er
niet goed ging, dat proberen te
verklaren vanuit de kennisbasis en in
diezelfde kennisbasis ook de
uitgangspunten vinden voor een
betere aanpak;
Evidence-based practice: dit betreft
het gebruiken van de kennisbasis om
de juiste handelingen te kiezen;
Innovatie: dit betreft het ontwikkelen
van nieuwe handelingen om de
beroepspraktijk te verbeteren.
VERANTWOORDEN
ONDERBOUWEN
VERNIEUWEN
Onderzoekend vermogen =
1.
Onderzoekend houding
Zie bijvoorbeeld Bruggink & Harinck 2012
Bruggink & Harinck 2012
1.
2.
3.
4.
5.
6.
7.
8.
9.
Nieuwsgierig zijn / Willen weten / Je dingen afvragen
Een open houding / Op zoek naar eigen vooronderstellingen /
Oordeel kunnen uitstellen
Kritisch zijn: is het wel zo? / Zaken in twijfel trekken
Willen begrijpen / Tot inzicht willen komen / Willen doorgronden
Bereid zijn tot perspectiefwisseling
Distantie nemen van routines / Vraagtekens bij het
vanzelfsprekende / Gebaande paden durven verlaten / Eigen
richting durven kiezen
Gerichtheid op bronnen / Willen voortbouwen op eerdere
opvattingen en ideeën
Gerichtheid op zeker weten / Goede bronnen willen gebruiken /
Nauwkeurig willen zijn
Willen delen met anderen / Onderdeel willen zijn van
leergemeenschappen.
Onderzoekend vermogen =
1.
2.
3.
Onderzoekend houding
(Zie bijvoorbeeld Bruggink & Harinck 2012)
Onderzoeksresultaten van anderen toepassen
Onderzoek doen
Onderzoekend vermogen is ondersteunend bij het maken van een
beroepsproduct
7. De rol van onderzoekend vermogen
in beroepsonderwijs
Zoeken naar overkoepelende
definitie van onderzoek
Naar een definitie van onderzoek

Onderzoek is een doelbewust en
methodisch zoeken naar nieuwe kennis in
de vorm van antwoorden op tevoren
gestelde vragen volgens een tevoren
opgesteld plan (Verschuren, 1994).
50
Naar een definitie van onderzoek

Onderzoek is een doelbewust en
methodisch zoeken naar nieuwe kennis in
de vorm van antwoorden op tevoren
gestelde vragen volgens een tevoren
opgesteld plan.
51
Naar een definitie van onderzoek

Onderzoek is een doelbewust en
methodisch zoeken naar nieuwe kennis in
de vorm van antwoorden op tevoren
gestelde vragen volgens een tevoren
opgesteld plan.
52
Naar een definitie van onderzoek

Onderzoek is een doelbewust en
methodisch zoeken naar nieuwe kennis in
de vorm van antwoorden op tevoren
gestelde vragen.
53
Een definitie van praktijkgericht
onderzoek

Onderzoek is het methodisch
beantwoorden van vragen dat leidt tot
relevante kennis.
54
Rol van onderzoekend vermogen
hangt samen met beroepsproduct
1. Advies
Mogelijke
oplossing of een
plan
2. Ontwerp
Verbeelding van
een eindproduct
3. Eindproduct
Fysiek of digitale
uitwerking van
een ontwerp
4. Handeling
Professioneel
gedrag naar
cliënt of publiek
 Organisatieadvies
 Pedagogisch
advies
 Financieel
advies
 Bouwontwerp
 Technisch
ontwerp
 Bestemmingsplan
 Ondernemingsplan





 Les geven
 Archeologisch
 Voorstelling
rapport
uitvoeren
 Laboratorium
 Hulpverlenen
rapport
 Verplegen
 Forensisch
rapport
 Therapie
geven
 Leiding geven
 Ondernemen
Schilderij
ICT applicatie
Apparaat
Film
Journalistieke
tekst
Wat is het belangrijkste beroepsproduct
waarvoor jullie studenten worden opgeleid?
5. Onderzoek
Antwoorden en
conclusies
Naar Losse (2012)
Onderzoekend vermogen
ondersteunt beroepsproduct
Methodisch werken
Probleemstelling
V
A
Diagnose
V
A
Plan
V
A
Onderzoekscyclus
Onderzoekscyclus
Onderzoekscyclus
Probleemverkennend
onderzoek
Diagnostisch
onderzoek
Ontwerponderzoek
Onderzoeken
Ingreep
Evaluatie
V
V
A
Onderzoekscyclus
Monitoring
onderzoek
A
Onderzoekscyclus
Evaluatieonderzoek
Naar Leen (2012)
We moeten de lat op reële hoogte leggen
8. Eisen aan het niveau van
onderzoekend vermogen
Drie niveaus van
onderzoekend vermogen
Methodische grondigheid (MG)
Praktische relevantie (PR)
Naar Butter (2013)
Drie niveaus van
onderzoekend vermogen
Methodische
grondigheid
Praktische relevantie
Relevant voor het
vakgebied
Relevant voor
wetenschap en
maatschappij
Praktische relevantie (PR)
Relevant voor de
situatie /
opdrachtgever
Bescheiden
Diepgaander
Uitgebreid
Methodische grondigheid (MG)
BA
MA
PhD
#onderzoekhbo
Naar Butter (2013)
Mogelijke dimensies van methodische
grondigheid
Bescheiden
Diepgaander
Methodische grondigheid (MG)
Gebruik literatuur
Bewijskracht
(Van Yperen, in press)
Generalisatie
Body of Knowledge
Uitgebreid
Vakliteratuur vs Wetenschappelijke literatuur
Nederlands vs Engels
Theoretisch, Indicatief, Causaal
Geen, Beperkte groep, Grote groep
Vereiste kennis van onderzoeksdesigns en -methoden
#onderzoekhbo
Samenvatting eisen
onderzoekend vermogen BA
Verantwoording en reflectie eigen aanpak (bv in
reflectie hoofdstuk)
 Evidence-based practice: onderbouwen van
beroepsproduct
 Innovatie: vernieuwen in één casus
 Toepassen van modellen, theorieën en
onderzoeksresultaten van anderen
 Kritische houding t.a.v. modellen, theorieën en
onderzoeksresultaten van anderen
 Zelf kunnen uitvoeren van de onderzoekcyclus met
rode draad van vraag naar conclusie
De vereiste ‘rigor’ van onderzoek bepaal je als opleiding
zelf in je BoKSO.

Dank voor uw aandacht






[email protected]
www.methodologie.hu.nl
@onderzoekcoach.nl
Bezoek de stand van het Lectoraat Methodologie van
Praktijkgericht Onderzoek
Doe de paradigmatest
Neem een exemplaar mee van mijn openbare les
Bronnen







Bruggink M. & Harinck, F. (2012) De onderzoekende houding van
leraren, wat wordt daar onder verstaan? Tijdschrift voor lerarenopleiders
(VELON/VELOV), jrg. 33, nr. 3
HBO Raad (2009) Kwaliteit als Opdracht, Den Haag, HBO Raad.
Leen, J. (2012) Persoonlijke communicatie
Losse, M. (2012) Verbinding tussen onderwijs en onderzoek.
Amersfoort: Presentatie Facta conferentie 11 december 2012
Oskam, I. et al. (2012) Ontwerpen van technische innovaties.
Groningen: Noordhoff Uitgevers.
Renepbutter (2013, november) Role of research in higher prof. educ. on
BA, MA & PhD levels is demarcated by the scope of the required
relevance&rigour claims. #mmucarpe [Twitter post] Retrieved from
https://twitter.com/renepbutter/status/398695835288223744
Verschuren, P. (2009). De probleemstelling voor een onderzoek.
Spectrum.