Transcript W13 de kwaliteit van gedragsonderzoek bewaken

De kwaliteit
van gedragsonderzoek
bewaken
Workshop NIBI-conferentie Nature x nurture
Vrijdag 10 januari 2014
Contactgegevens:
Herman Schalk ([email protected])
Saskia van der Jagt ([email protected])
Wie zijn wij?
Herman Schalk
SLO / Onderwijscentrum VU
Expertise:
- Leren onderzoeken bij biologie
- Concept-context didactiek
- Invoering nieuw examenprogramma biologie
Saskia van der Jagt
Coornhert Gymnasium / Onderwijscentrum VU
Expertise:
- Leren onderzoeken bij bètavakken
- Begeleiden van onderzoek voor profielwerkstuk
Programma workshop
-
Inventarisatie knelpunten bij bewaken kwaliteit van gedragsonderzoek
Verschillende invalshoeken bij doen van onderzoek
Bewaken van kwaliteit van onderzoek
Zelfevaluatie-instrument: aanpassen voor gedragsonderzoek
Bekijken & discussie aangepast zelfevaluatie-instrument
Inventarisatie
Welke knelpunten ervaart u
met betrekking tot
de kwaliteit van gedragsonderzoek
dat uitgevoerd wordt door
bovenbouwleerlingen?
Categoriseren knelpunten
biologie leren
(inhoudelijke / conceptuele kennis)
onderzoekspractica
over biologie leren
(procedurele kennis)
illustratieve practica
Biologieonderwijs
vaardigheidspractica
biologie doen
(ervaring, praktische vaardigheden)
Invalshoeken onderzoek
PROCEDUREEL INZICHT
Bijvoorbeeld
deelvragen ondersteunen onderzoeksvraag
methode is geschikt om onderzoeksvraag te beantwoorden
conclusie is alleen gebaseerd op de resultaten
een representatieve steekproef kunnen trekken
CONCEPTUELE KENNIS
Bijvoorbeeld
Kennis over:
- antropomorfismen
- gedragsketens, gedragssystemen
- gedrag van dier in het wild
PRAKTISCHE VAARDIGHEDEN
Bijvoorbeeld
- waarnemingen verwerken in Excel
- juiste wijze van protocolleren
- overzichtelijk ethogram opstellen
Focus op procedureel inzicht
Procedureel inzicht is verder onder te verdelen in:
- Nauwkeurigheid
- Uitvoering van een meting of observatie
 Geschikte meetapparatuur
 Eén of meer waarnemers
- Betrouwbaarheid (herhaalbaarheid, reproduceerbaarheid)
- Alle metingen / observaties samen
 Invloed van omgevingsvariabelen
 Gemiddeldes & afwijkingen van gemiddelde
- Validiteit
- Samenhang tussen onderdelen van onderzoek
 Hypothese toetsbaar via uitgevoerde onderzoek
 Conclusie (alleen) gebaseerd op onderzoeksresultaten
EQI-instrument
Evaluation of Quality of Inquiries (EQI) instrument:
- Memobriefje (overzichtsdocument)
- Checklist (controle van handelingen)
- Rubrics (evalueren nauwkeurigheid, betrouwbaarheid en validiteit)
Bedoeld voor zelfevaluatie door leerlingen en evaluatie door docent en
klasgenoten. Zie: http://hdl.handle.net/1871/38422
Inhoud gebaseerd op Concepts of Evidence (CoE)-model:
- Inzicht in hoe bewijs binnen onderzoek wordt opgebouwd.
- CoE zijn (door ons) gerangschikt rond vier fasen van
natuurwetenschappelijk onderzoek:
•
•
•
•
Onderzoeksplan / - ontwerp
Uitvoeren van metingen
Verwerken van onderzoeksgegevens
Evaluatie van de gehele onderzoekstaak
-Volledige lijst met CoE:
http://www.dur.ac.uk/rosalyn.roberts/Evidence/cofev.htm
Experiment vs. observatie
EQI-instrument: ontwikkeld voor bewaken
kwaliteit van experimenteel onderzoek
Hoe te ‘vertalen’ naar gedragsonderzoek?
EQI-instrument
fragment memobriefje
Memobriefje
Opdracht
Wat zou toegevoegd /aangepast moeten worden om
- nauwkeurigheid
- betrouwbaarheid (herhaalbaarheid, reproduceerbaarheid)
- validiteit
van een gedragsonderzoek te kunnen bewaken?
Voorbeeld uit lespraktijk Coornhert Gymnasium:
Aanpassing bij betrouwbaarheid:
Invloed van omgevingsvariabelen opgesplitst in:
- ‘interne omgevingsvariabelen’
- ‘externe omgevingsvariabelen’
EQI-instrument
fragment checklist
EQI-instrument
voorbeeld van een rubric
Hoe ver ben je?
Omcirkel het
behaalde niveau
HET THEORETISCH KADER…
VOORBEELDEN
1
is gebaseerd op informatiebronnen uit het
dagelijks leven.
Ik zag in Studio Sport een interview met een wielrenner
over de invloed van sporten op zijn hartslag.
2
is gebaseerd op één wetenschappelijke
bron
In de wetenschapsbijlage van de krant las ik dat
Jansen in 2008 het verband tussen sporten en
hartslagfrequentie heeft onderzocht.
is gebaseerd op verschillende
wetenschappelijke bronnen
Jansen (2008) gaat in op de relatie tussen sporten en
hartslagfrequentie. Hij heeft onderzocht dat…. Ook
Owen (2004) heeft onderzoek gedaan naar dit
verband en haar conclusies zijn…..
is gebaseerd op informatie uit verschillende
wetenschappelijke bronnen die verwerkt zijn
tot een samenhangende tekst, waarin het
centrale onderzoeksonderwerp duidelijk
naar voren komt.
Wanneer je de conclusies van Jansen (2008) vergelijkt
met die van Owen (2004) dan blijkt dat uit het ene
onderzoek komt dat door sporten de hartslagfrequentie
verlaagd wordt en uit het andere onderzoek komt dat er
geen verband is tussen sporten en de verandering van
hartslagfrequentie.

3
4
is gebaseerd op informatie uit verschillende Uit het onderzoek van Contador (2005) hebben we
wetenschappelijke bronnen die verwerkt zijn afgeleid dat de meetapparatuur uit het onderzoek van
tot een samenhangende tekst, waardoor het Jansen (2008) en Owen (2004) waarschijnlijk niet tot
Niveaubeschrijvingen in rubrics
Rubrics ontworpen met SOLO Taxonomie
•
Gebaseerd op stadia van cognitieve ontwikkeling (Piaget)
•
Vijf niveaus:
1. Prestructural leerling probeert wat uit, m.b.v. ideeën uit eigen
leefwereld, zonder duidelijk natuurwetenschappelijk doel.
2. Unistructural leerling richt zich op één aspect van een
onderzoek
3. Multistructural leerling richt zich op meerdere aspecten van
een onderzoek, zonder een verband hiertussen te leggen
4. Relational leerling legt verband tussen verschillende aspecten
van een onderzoek
5. Extended abstract leerling trekt vergelijking tussen eigen
onderzoek en onderzoek van anderen, onderzoek uit ander
vakgebied etc.
Rubrics
Wat zou aan iedere rubric toegevoegd /aangepast
moeten worden om
- nauwkeurigheid
- betrouwbaarheid (herhaalbaarheid, reproduceerbaarheid)
- validiteit
van een gedragsonderzoek te (kunnen) bewaken?
Opdracht
- Per vijftal één rubric (A3-formaat)
- Welke voorbeeldomschrijvingen van
gedragsonderzoek zijn geschikt om de vijf rubric-niveaus
te illustreren voor leerlingen uit bovenbouw vwo?
- Wat zou aan de algemene beschrijvingen aangepast
kunnen worden om deze beter te laten aansluiten bij
gedragsonderzoek?
Bekijken aangepaste rubrics
- Bekijk de rubrics van de andere groepen.
- Noteer eventuele opmerkingen en aanvullingen onder
de betreffende rubric.
Discussie
- Welke ‘open eindes’ zijn er nog per rubric?
- Wat was lastig bij het aanpassen van de rubrics?
- Hoe zou je de rubrics kunnen inzetten bij voorbereiden,
uitvoeren en evalueren van gedragsonderzoek?
- In hoeverre zou er verschil moeten zijn in rubrics voor
bovenbouw havo en vwo?
Bedankt voor je
deelname aan deze
workshop
en
veel plezier tijdens de
NIBI-conferentie!
18