Transcript 121207-Presentatie-Andriessen-kwaliteitscriteria-v5[3]

Management, finance en recht
Wanneer is onderzoek goed:
de kwaliteitscriteria
De
verwarring
Naar
hernieuwdvoorbij
zelfvertrouwen
Congres ‘Praktijkgericht onderzoek in het HBO’
Amersfoort, 11 december 2012
Daan Andriessen
Hogeschool Inholland
Het Nederlandse accreditatiestelsel
Standaard 1:
• De beoogde eindkwalificaties van de opleiding zijn
wat betreft inhoud, niveau en oriëntatie
geconcretiseerd en voldoen aan internationale
eisen.
Standaard 16:
• De opleiding beschikt over een adequaat systeem
van toetsing en toont aan dat de beoogde
eindkwalificaties worden gerealiseerd.
2
Wat is een adequaat systeem van toetsing
voor scripties?
3
De verwarring is compleet
4
Mijn probleemstelling en deelvragen
Wat is een adequaat systeem van toetsing
voor scripties?
1. Wanneer zijn kwaliteitscriteria goed?
2. Welke kwaliteitscriteria voor scripties bieden de
officiële kaders en wat is hun kwaliteit?
3. Hoe kan je als opleiding komen tot goede
kwaliteitscriteria?
4. Wat is daarvan een goed voorbeeld?
5
1. Wanneer zijn kwaliteitscriteria goed?
6
Wat is de belangrijkste functie van
kwaliteitscriteria voor scripties?
1. Student helpen er achter te
komen hoe hoog de lat ligt
voor beroepsproducten in
zijn toekomstige beroep
2. Zodat de student kan bepalen wat
hij moet doen om dit nivo te halen
3.
Waardoor de docent dit leerproces goed
kan begeleiden
4.
En de scriptie kan worden
beoordeeld
7
Kwaliteitscriteria voor kwaliteitscriteria
1. Afgeleid uit de (internationale)
competentie-eisen,
beroepsprofiel en visie op
onderzoek daarin
2. Richtinggevend bij het maken van
keuzes tijdens het onderzoek
3. Didactisch functioneel
4. Valide, betrouwbaar en voor
studenten inzichtelijk (standaard
8
16)
Standaard 16: Valide, betrouwbaar en voor
studenten inzichtelijk
Hiertoe moeten ze worden
geoperationaliseerd. Ze hebben:
1. Een object in de scriptie (wat moet kwaliteit
hebben? Bv. probleemstelling of literatuurstudie)
2. Een criterium (welke kwaliteit moet het hebben?
Bv. Relevant, afgebakend of functioneel)
3. Indicatoren (waaraan kan ik zien of er sprake is
van kwaliteit?)
9
2. Welke kwaliteitscriteria voor scripties
bieden de officiële kaders en wat is hun
kwaliteit?
10
Officiële kaders
Algemene internationale en landelijke
kaders:
• Dublin descriptoren (DD)
• HBO kenmerken Commissie Fransen (CF)
• “Kwaliteit als opdracht” (HBO raad)
Commissie Dunnewijk-Budé / “Vreemde
ogen dwingen”
Beroepsprofielen van opleidingen
11
Wat moeten BA studenten kunnen volgens
internationale en landelijke kaders?
Onderzoekend vermogen (HBO raad):
Vraagstelling
ontwikkelen
1. Definiëren en analyseren
complexe
probleemsituaties (CF)
Onderzoeksplan
maken (CF)
2. Planmatig aanpakken
van werkzaamheden
3. (wetenschappelijke) inzichten,
theorieën, concepten en
Theorie toepassen
onderzoeksresultaten toepassen (CF)
Data verzamelen
en analyseren
4. Gegevens verzamelen
en interpreteren
(DD)
5. Afwegen van sociaal-maatschappelijke, wetenschappelijke of
ethische aspecten (DD)
Conclusies trekken
6. Oordeel vormen (DD)
7. Ontwikkelen en beoordelen van oplossingen (CF)
anderepractice
beroepsproducten
Leiden totAdviezen
evidenceofbased
(HBO raad)maken
Innovatie (HBO raad)
Reflecteren
resultaten
8. Reflecteren op het handelen
(CFop
/ HBO
raad)
12
Conclusie algemene internationale en
landelijke kaders
Deze bieden wel overzicht van benodigde
onderzoeksvaardigheden`van de student
Maar geen kwaliteitscriteria voor scripties
13
Commissie Dunnewijk-Budé
• “Hiertoe heeft de Commissie een toetsingskader
ontworpen met deels hbo-generieke en deels
opleidingsspecifieke criteria (standaarden)
waarmee zou kunnen worden bepaald of sprake is
van voldoende hbo-bachelor kwaliteit in het
algemeen, en van het vereiste BE-, CE-, MEM-, en
VTM-opleidingsniveau in het bijzonder.”
Bron: Rapport van Bevindingen NVAO-Commissie Onderzoek
Hogeschool Inholland, 26 april 2012
14
Beoordelingscriteria (standaarden) van de
Commissie (1)
1. Vinden we onderstaande componenten terug in
het afstudeerproject?
- A. Vraagstelling & verantwoording
- B. Onderzoek & analyse (vraag- en aanbodzijde,
publiek, omgeving)
–
–
–
–
–
a. Onderzoeksopzet
b. Bronnenonderzoek
c. Empirisch onderzoek
d. Conclusies
e. Output [Afhankelijk van type afstudeerproject]
15
Beoordelingscriteria (standaarden) van de
Commissie (2)
2. Zo ja, zijn die componenten voldoende
kwaliteitsvol uitgewerkt?
16
Beoordelingscriteria (standaarden) van de
Commissie (3)
3. Kunnen we uit het afstudeerproject afleiden dat de
afstuderende blijk geeft van minstens “voldoende”:
1. theoretische vorming / onderbouw
2. overzicht en inzicht, het kunnen plaatsen van
problemen in de context
3. reflectie (incl. zelfreflectie), kritische en
objectiverende ingesteldheid, zin voor nuance
4. creativiteit en/of vermogen tot conceptualisering
5. vermogen om helder te communiceren
6. vermogen om efficiënt en resultaatgericht te
werken
17
Kunnen we de Dunnewijk-Budé eisen aan
afstuderenden gebruiken als criteria voor
scripties?
Onderzoekend vermogen
Een goede scriptie
18
4. Valide, betrouwbaar en voor
studenten inzichtelijk (standaard 16)
19
Theoretische vorming / onderbouw
Object
Criterium
Indicatoren
Literatuurverkenning Verantwoorde -selectie, - gebruik,
verwerking en -vermelding
geen
Literatuurverkenning Evenwichtige mix van binnen- en
buitenlandse bronnen
geen
Theoretische
verkenning
Adequaat
geen
Veldonderzoek
Behoorlijk uitgevoerd
geen
Dataverzamelingsmethoden
Behoorlijk uitgevoerd
geen
Dataverwerking
Behoorlijk uitgevoerd
geen
20
Reflectie (incl. zelfreflectie), kritische en
objectiverende ingesteldheid, zin voor nuance
Object
Criterium
Indicatoren
Bronnen
bronnenkritiek
geen
?
Eigen oordeelsvorming
geen
?
reflectie over de eigen plaats in het
onderzoek
geen
Conclusies (?) aanzet tot beantwoorden van
onderzoeksvragen
geen
?
onafhankelijke ingesteldheid
geen
?
goede inschatting van de toegevoegde
waarde van het onderzoeksresultaat
t.b.v. het werkveld
geen
?
inzicht in eigen werkwijze en proces
geen
22
Creativiteit en/of vermogen tot
conceptualisering
Object
Criterium
Indicatoren
?
onderzoek kunnen vertalen naar een concreet
concept voor een product en/of dienst
geen
?
originaliteit
geen
?
eigenheid
geen
?
out of the box aanpak
geen
?
onafhankelijk denken
geen
?
meer perspectieven kunnen innemen
geen
?
ideeën kunnen genereren
geen
?
gevoel voor innovatie
geen
?
oog voor aspecten van usability
geen
?
kunnen vormgeven van steekhoudende look
en feel
geen
23
Conclusie Commissie Dunnewijk-Budé
• Commissie Dunnewijk-Budé biedt geen lijst met
kwaliteitscriteria voor scripties
• En is hier ook niet eenvoudig naar te vertalen
26
Conclusie: officiële algemene criteria voor
scripties zijn in Nederland niet voorhanden
Onderzoekend vermogen
Een goede scriptie
27
3. Hoe kan je als opleiding komen tot
goede kwaliteitscriteria?
28
Hoe dan wel?
1
2
3
4
5
• Eisen bachelor als basis
• Visie en eisen beroepsprofiel t.a.v. onderzoek
• Vertaling naar goede criteria
• Verantwoording criteria <-> Dunnewijk-Budé
• Borging in de organisatie
29
4. Wat is daarvan een goed voorbeeld?
30
Voorbeeld Bedrijfskunde MER Inholland
31
Landelijk beroepsprofiel Bedrijfskunde MER
• “De startende bedrijfskundige professional richt
zich op het analyseren, ontwerpen en managen
van doelgerichte processen van productie en
dienstverlening in en tussen organisaties”.
Bron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER
32
Bachelor student als probleemoplosser
die handelen onderbouwt met onderzoek
PROBLEEMKEUZE EN
DIAGNOSE
6
5
4
3
1
2
Onderzoekscyclus
ONTWERP
6
5
4
3
1
2
Onderzoekscyclus
VERANDEREN
6
5
4
3
1
2
Onderzoekscyclus
VOORSTEL VOOR VERVOLGONDERZOEK
Bron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER
EVALUATIE
6
5
4
3
1
2
Onderzoekscyclus
Vertaling naar goede criteria
• Gebaseerd op het wetenschappelijke onderzoek
van Heinze Oost (Oost & Markenhof, 2002)
• Aangevuld met criteria voor praktijkgericht
onderzoek (Andriessen & Van Weert 2008)
• Getoetst aan eisen Dunnewijk – Budé
Kern van de methodiek: Werken met inhoudelijke criteria voor kwaliteit
34
Bijvoorbeeld:
Criteria probleemstelling en deelvragen
1.
2.
3.
4.
5.
Verankerd
Relevant
Precies
Functioneel
Afgebakend
35
Didactisch functionele kwaliteitscriteria
Kennisgebied
VERANKERD
Probleemstelling
en deelvragen
Strategie
RELEVANT
Reden
FUNCTIONEEL
PRECIES
Antwoord
Naar: Oost & Markenhof (2002)
36
Een probleemstelling is functioneel
1. Beschrijven
2. Vergelijken
3. Definiëren
4. Evalueren
5. Verklaren
6. Ontwerpen
Bron: Oost & Markenhof, 2002
Criteria probleemstelling en deelvragen
Object
Criterium
Indicatoren
Probleemstelling
Functioneel
1. Maakt duidelijk wat de onderzoeksfunctie is
2. Is uitgewerkt in deelvragen waarvan een deel
theoretisch is en een deel empirisch
3. De deelvragen vormen samen een
onderzoekstructuur die past bij de
onderzoeksfunctie.
38
Onderzoeksfuncties in de scriptie
PROBLEEMKEUZE EN
DIAGNOSE
OP BASIS
VAN
en/of
OP BASIS
VAN
ONTWERP
VOORSTEL
VOOR
En/of
OP BASIS
VAN
VERANDEREN
VOORSTEL
VOOR
En/of
EVALUATIE
VOORSTEL
VOOR
6
Beschrijven
1
5
Evalueren
4
2
Verklaren
3
6
Ontwerpen
1
5
4
2
3
6
Ontwerpen
1
5
4
2
3
6
Evalueren
1
5
Verklaren
4
2
3
Onderzoekscyclus
Onderzoekscyclus
Onderzoekscyclus
Onderzoekscyclus
VOORSTEL VOOR VERVOLGONDERZOEK
Onderzoeksfunctie bepaalt deelvragen
Voorbeeld: Ontwerpen
PROBLEEMKEUZE EN
DIAGNOSE
ONTWERP
Beschrijvende deelvragen:
Ontwerpende deelvragen:
- Wat zijn de kenmerken van
situatie A?
- Wat zijn de kenmerken van de
norm?
- Welke oplossingen zijn er
bekend?
- Welke eisen stellen we aan de
oplossing?
Evaluerende deelvragen:
Evaluerende deelvragen:
- Voldoet situatie A aan de norm?
- Welke oplossingen voldoen aan
de eisen?
- Welke oplossing wordt gekozen?
Verklarende deelvragen:
- Wat maakt dat er verschillen zijn
tussen A en de norm?
[Verklarende deelvragen:
- Wat maakt dat de oplossing gaat
bijdragen aan het wegnemen van
40
het probleem?]
Download de hele set van kwaliteitscriteria
41
Borging van kwaliteitscriteria in de opleiding
1. Kwaliteitscriteria leidend maken in
onderzoekslijn
2. Kwaliteitscriteria didactisch benutten in de
onderzoekslijn
3. Reviewen van studentproducten met
afstudeerbegeleiders en beoordelaars helpt om:
–
–
–
–
–
De ontwikkelde kwaliteitscriteria te leren toepassen
De kwaliteitscriteria te verbeteren
Intersubjectiviteit van beoordeling te verhogen
Betere onderzoekbegeleider te worden
Betere onderzoeker te worden
42
Conclusies: Wanneer is onderzoek goed?
1. Daar zijn landelijk geen algemeen geldende
criteria voor
2. Het hangt af van het beroepsprofiel en de visie
op onderzoek in het beroep
3. Het is alleen te bepalen met kwaliteitscriteria die
voldoen aan de volgende kwaliteitscriteria:
1. Afgeleid uit de (internationale) competentieeisen, beroepsprofiel en visie op onderzoek
2. Richtinggevend bij het maken van keuzes
tijdens het onderzoek
3. Didactisch functioneel
4. Geoperationaliseerd in object, criterium en
43
indicatoren
Meer informatie?
Dr. Daan Andriessen
[email protected]
44