Transcript HU powerpoint-presentatie

Verkennen van de rol van
onderzoek in het maken van een
ICT-product
Begeleiden van onderzoek binnen opleidingen MT, Inf. en TI.
Rotterdam
4 februari 2014
Dr. Daan Andriessen
Lector Methodologie van Praktijkgericht Onderzoek
Hogeschool Utrecht
Agenda
1.
2.
3.
4.
5.
Verwarring in het hbo
De eis van onderzoekend vermogen
De rol van onderzoekend vermogen in
beroepsonderwijs
Eisen aan het niveau van onderzoekend vermogen
Onderzoeksvragen en onderzoeksmethoden bij MT,
Inf. en TI.
1. Verwarring in het HBO
HBO is in verwarring





Hoe hoog ligt de lat?
Moeten studenten afstuderen op een onderzoek?
Mag je nog in duo’s afstuderen?
Wat zijn goede criteria voor afstudeerverslagen?
…
Ontstaan van de verwarring
A.
B.
C.
Crisis bij Inholland
Rol van de Commissie Dunnewijk-Budé
Nota “Kwaliteit als Opdracht” van de HBO-Raad
(2009)
A. Crisis bij Inholland
B. Commissie Dunnewijk-Budé


Opdracht: een indicatieve uitspraak doen of het
geheel van de werkstukken/afgestudeerden onder,
op of boven het niveau is dat in het hbo mag
worden verwacht
“Hiertoe heeft de Commissie een toetsingskader
ontworpen met deels hbo-generieke en deels
opleidingsspecifieke criteria (standaarden)
waarmee zou kunnen worden bepaald of sprake is
van voldoende hbo-bachelor kwaliteit in het
algemeen, en van het vereiste BE-, CE-, MEM-, en
VTM-opleidingsniveau in het bijzonder.”
Bron: Rapport van Bevindingen NVAO-Commissie Onderzoek Hogeschool
Inholland, 26 april 2012
7
Beoordelingscriteria (standaarden)
van de Commissie (1)
1.
Vinden we onderstaande componenten
terug in het afstudeerproject?
•
•
A. Vraagstelling & verantwoording
B. Onderzoek & analyse (vraag- en
aanbodzijde, publiek, omgeving)





a. Onderzoeksopzet
b. Bronnenonderzoek
c. Empirisch onderzoek
d. Conclusies
e. Output [Afhankelijk van type
afstudeerproject]
8
Beoordelingscriteria (standaarden)
van de Commissie (2)
2.
Zo ja, zijn die componenten voldoende
kwaliteitsvol uitgewerkt?
9
Beoordelingscriteria (standaarden)
van de Commissie (3)
Kunnen we uit het afstudeerproject afleiden dat
de afstuderende blijk geeft van minstens
“voldoende”:
3.






theoretische vorming / onderbouw
overzicht en inzicht, het kunnen plaatsen van
problemen in de context
reflectie (incl. zelfreflectie), kritische en
objectiverende ingesteldheid, zin voor nuance
creativiteit en/of vermogen tot conceptualisering
vermogen om helder te communiceren
vermogen om efficiënt en resultaatgericht te
10
werken
De verwarring is compleet
11
C. Kwaliteit als opdracht (2009)
1.
2.
3.
4.
Gedegen theoretische basis
Onderzoekend vermogen
Professioneel vakmanschap
Beroepsethiek en maatschappelijke oriëntatie
2. De eis van onderzoekend vermogen
Onderzoekend vermogen

2009: HBO raad (2009) “Kwaliteit als opdracht”:
“In onze moderne samenleving is het cruciaal dat hbobachelors over een onderzoekend vermogen
beschikken dat leidt tot reflectie, tot evidence based
practice, en tot innovatie”.
14
Onderzoekend vermogen moet
leiden tot:



Reflectie: dit betreft het terugkijken
op het eigen handelen in de
beroepspraktijk, signaleren wat er
niet goed ging, dat proberen te
verklaren vanuit de kennisbasis en in
diezelfde kennisbasis ook de
uitgangspunten vinden voor een
betere aanpak;
Evidence-based practice: dit betreft
het gebruiken van de kennisbasis om
de juiste handelingen te kiezen;
Innovatie: dit betreft het ontwikkelen
van nieuwe handelingen om de
beroepspraktijk te verbeteren.
VERANTWOORDEN
ONDERBOUWEN
VERNIEUWEN
Onderzoekend vermogen =
1.
2.
3.
Onderzoekend houding (Van der Rijst, 2009)
 kritisch zijn
 willen begrijpen
 willen bereiken
 willen delen
 willen vernieuwen
 en willen weten
Onderzoeksresultaten van anderen toepassen
Onderzoek doen
3. De rol van onderzoekend vermogen
in beroepsonderwijs
Eisen aan een definitie voor
onderzoek



Beschrijft alleen definiërende eigenschappen van
onderzoek, geen kwaliteitseisen
Past bij zoveel mogelijk stijlen van onderzoek
(onderzoeksparadigma’s)
Past bij praktijkgericht onderzoek
Naar een definitie van onderzoek

Onderzoek is een doelbewust en
methodisch zoeken naar nieuwe kennis in
de vorm van antwoorden op tevoren
gestelde vragen volgens een tevoren
opgesteld plan (Verschuren, 1994).
19
Naar een definitie van onderzoek

Onderzoek is een doelbewust en
methodisch zoeken naar nieuwe kennis in
de vorm van antwoorden op tevoren
gestelde vragen volgens een tevoren
opgesteld plan.
20
Naar een definitie van onderzoek

Onderzoek is een doelbewust en
methodisch zoeken naar nieuwe kennis in
de vorm van antwoorden op tevoren
gestelde vragen volgens een tevoren
opgesteld plan.
21
Naar een definitie van onderzoek

Onderzoek is een doelbewust en
methodisch zoeken naar nieuwe kennis in
de vorm van antwoorden op tevoren
gestelde vragen.
22
Een definitie van praktijkgericht
onderzoek

Onderzoek is het methodisch
beantwoorden van vragen dat leidt tot
relevante kennis.
23
Rol van onderzoekend vermogen
hangt samen met beroepsproduct
1. Onderzoek
Antwoorden en
conclusies
2. Advies
3. Ontwerp
4. Eindproduct
5. Handeling
Mogelijke oplossing Verbeelding van een Fysiek of digitale
Professioneel
of een plan
eindproduct
uitwerking van een gedrag naar
ontwerp
cliënt of publiek
 Archeologisch
rapport
 Laboratorium
rapport
 Forensisch
rapport
 Organisatieadvies
 Pedagogisch
advies
 Financieel advies
 Bouwontwerp
 Technisch
ontwerp
 Bestemmingsplan
 Ondernemingsplan





Schilderij
ICT applicatie
Apparaat
Film
Journalistieke
tekst
Wat is het belangrijkste beroepsproduct
waarvoor jullie studenten worden opgeleid?
 Les geven
 Voorstelling
uitvoeren
 Hulpverlenen
 Verplegen
 Therapie
geven
 Leiding geven
 Ondernemen
Naar Losse, 2012)
TI aanpak: deelonderzoek aspecten
methodologie
aanbeveling
conclusies
vraag
doel
probleem
context
belang van
het werk
ontwerp implementatie evaluatie
De relatie tussen onderzoek en het
bereiken van een gewenste situatie
(POKI-model, Greve et al., 2009)
Kwestie:
• Probleem
• Kans
Gewenste
Organiseren situatie
Interacteren
Produceren
Kennis mobiliseren
26
De rol van onderzoeksvragen in het
POKI model
Kwestie:
• Probleem
• Kans
Gewenste
Organiseren situatie
Interacteren
vraag
vraag
antwoord
antwoord
antwoord
vraag
Produceren
Kennis mobiliseren
27
Student doorloopt verschillende
processen (1)
Kwestie:
• Probleem
• Kans
Gewenste
Organiseren situatie
Interacteren
Produceren
Kennis mobiliseren: Onderzoekcyclus
28
Kennis mobiliseren = onderzoekcyclus
doorlopen
Conclusie
Data
analyse
Vraag
Onderbouwen,
Verantwoorden,
Vernieuwen
Data verzameling
(kan ook secundiaire
data zijn of literatuur)
Onderzoeksmethode
Student doorloop verschillende
processen (2)
Kwestie:
• Probleem
• Kans
Gewenste
Organiseren situatie
Interacteren
Produceren: bv een ontwerpmethode
Kennis mobiliseren: Onderzoekcyclus
30
Student doorloop verschillende
processen (3)
Kwestie:
• Probleem
• Kans
Gewenste
Organiseren (Projectmanagement cyclus) situatie
Interacteren (Proces van onderhandelen, vertrouwen kweken,
kritisch en onafhankelijk blijven, presenteren, verkopen etc.)
Produceren: bv ontwerpmethode
Kennis mobiliseren: Onderzoekcyclus
31
Beroepsproduct 1: Antwoorden en
conclusies
Kwestie:
• Probleem
• Kans
Gewenste
situatie
Organiseren
Interacteren
(produceren =
onderzoeken)
Kwestie:
• Probleem
• Kans
32
Antwoorden
Kennis mobiliseren
en
conclusies
Beroepsproduct 2: Advies
Kwestie:
• Probleem
• Kans
Gewenste
situatie
Organiseren
Interacteren
(produceren =
onderzoeken)
Kwestie:
• Probleem
• Kans
Kennis mobiliseren
Conclusies
Advies
Student doorloopt de onderzoekcyclus
en doet op basis daarvan aanbevelingen
Aanbevelingen
Conclusie
Data analyse
Vraag
(of vragen)
Onderbouwen
Verantwoorden
Vernieuwen
Data verzameling (bv
via literatuurstudie)
Onderzoeksmethode
(onderzoeksontwerp)
Variant 3a: Ontwerp
Kwestie:
• Probleem
• Kans
Organiseren
Gewenste
situatie
Interacteren
Produceren
(=ontwerpen)
Ontwerp
Kennis mobiliseren
35
Variant 3b: Gevalideerd ontwerp
Kwestie:
• Probleem
• Kans
Organiseren
Interacteren
Produceren
(=ontwerpen)
Ontwerp
Valideren
Kennis mobiliseren
36
Gewenste
situatie
De rol van onderzoek bij
ontwerpen: ICT
Produceren
Kennis mobiliseren
Wat ik ga ontwerpen en op welke
manier ik dat ga doen
Welke kennis en informatie heb ik
daarvoor nodig?
Doelstelling
“ontwikkelen van een mobiel
bestelsysteem voor kleinschalig
eetcafé in Leiden”
Hoofdvraag:
“op welke manier kan een mobiel
bestelsysteem voor kleinschalig
eetcafé in Leiden worden
gerealiseerd?”
Ontwerpmethode en –fasen
Deelvragen
Ontwerpactiviteiten
Onderzoeksmethoden
Vb: GAMP (Good Automated
Manufacturing Practice)
Produceren
Kennis mobiliseren
(deelvraag)
Kennis mobiliseren
(methode)
Requirements
Welke eisen stelt de
opdrachtgever aan het te
ontwerpen systeem, zodat zijn
probleem wordt verholpen en
zijn doel wordt bereikt?
Interviews
Specification
Wat moet het systeem kunnen,
zodat het probleem wordt
opgeheven / zodat de nieuwe
toepassing mogelijk wordt?
Interviews
Enquête onder
gebruikers
Literatuuronderzoek
Design
Hoe ontwerp je het systeem
zodanig dat het de testen
doorstaat?
- Aspect A
- Aspect B
- Aspect C etc.
Literatuuronderzoek
Soorten onderzoek bij ontwerpen
(naar Oskam et al., 2011)
Onderzoek
Beschrijving
Vraag
Technologieverkenning
In kaart brengen nieuwe
technische mogelijkheden
Wat zijn de laatste
technische trends?
Productanalyse
Producten analyseren
Hoe werken bestaande
producten?
Gebruiksanalyse
Gebruik analyseren
Hoe gebruiken
gebruikers bestaande
producten?
Octrooionderzoek
Zoeken naar vergelijkbare
oplossingen
Maakt mijn ontwerp geen
inbreuk?
Normen
onderzoek
Zoeken naar normen en
richtlijnen
Waaraan moet mijn
ontwerp voldoen?
Doelgroeponderzoek
Doelgroep in kaart brengen Wie is de doelgroep en
welke wensen heeft die?
Marktonderzoek
Verzamelen van
marktinformatie
Hoe tevreden is men?
Wat is het imago? Hoe
groot is de markt etc.?
Variant 4a en 5a: Product of
handeling
Kwestie:
• Probleem
• Kans
Gewenste
Organiseren situatie
Interacteren
Ontwerpen
Produceren (= ontwerpen & realiseren)
Realiseren
Kennis mobiliseren
40
Product of
handeling
Variant 4b en 5b: Getest product /
handeling
Kwestie:
• Probleem
• Kans
Gewenste
situatie
Organiseren
Interacteren
Produceren (= ontwerpen, realiseren en testen)
Realiseren
Ontwerpen
Product of
handeling
testen
Kennis mobiliseren
41
Samenvattend rol van
praktijkgericht onderzoek
Praktijkgericht onderzoek =
 het methodisch beantwoorden van vragen dat leidt tot
relevante kennis,
 Teneinde het beroepsproduct te VERANTWOORDEN,
ONDERBOUWEN en VERNIEUWEN
 Rol verschilt per soort beroepsproduct
Verslaglegging bv:
 Beroepsproduct voor de opdrachtgever
 Verantwoordingsverslag voor de opleiding (goed heen
en weer verwijzen!)
4. Eisen aan het niveau van
onderzoekend vermogen
Eisen aan onderzoekend
vermogen


Opleidingen die ‘Onderzoek’ als domeincompetentie hebben
bepalen zelf hoe hoog de lat ligt in eindtermen en Body of
Knowledge & Skills
Bijvoorbeeld Competentieprofiel Applied Science:
 Beschikt over voldoende deskundigheid en initiatief om op
natuurwetenschappelijk gebied problemen op te sporen en te
analyseren.
 Kan de doelstellingen van een gewenst onderzoek vanuit de
vraagstelling op stellen.
 Kan Zelfstandig (wetenschappelijke) literatuur selecteren en
verkrijgen om zich verder in het probleem te verdiepen,
daarbij de betrouwbaarheid van de verschillende
informatiebronnen correct inschattend.
 …
Drie niveaus van
onderzoekend vermogen
Rigor
claim:
Bescheiden
Diepgaander
Uitgebreid
Relevantie claim:
Relevant voor de
situatie /
opdrachtgever
Relevant voor het
vakgebied
Relevant voor
wetenschap en
maatschappij
BA
MA
PhD
(Butter, 2013)
Mogelijke dimensies van rigor, vastgelegd in
Body of Knowledge & Skills Onderzoek
Bescheiden
Diepgaander
Uitgebreid
Gebruik literatuur
Vakliteratuur vs Wetenschappelijke literatuur
Nederlands vs Engels
Bewijskracht
(Van Yperen, in press)
Theoretisch, Indicatief, Causaal
Generalisatie
Geen, Beperkte groep, Grote groep
Body of Knowledge
Vereiste kennis van onderzoeksdesigns en -methoden
Samenvatting eisen
onderzoekend vermogen
Verantwoording en reflectie eigen aanpak (bv in
reflectie hoofdstuk)
 Evidence-based practice: onderbouwen van
beroepsproduct
 Innovatie: vernieuwen in één casus
 Toepassen van modellen, theorieën en
onderzoeksresultaten van anderen
 Kritische houding t.a.v. modellen, theorieën en
onderzoeksresultaten van anderen
 Zelf kunnen uitvoeren van de onderzoekcyclus met
rode draad van vraag naar conclusie
De vereiste ‘rigor’ van onderzoek bepaal je als opleiding
zelf in je BoKSO.

Consequenties voor
onderzoeksleerlijn




Onderzoekonderwijs zoveel mogelijk integreren in
gewone onderwijs
Onderzoeksaspecten oefenen vanaf jaar 1 (bv goede
vraag stellen, gegevens interpreteren, verslaglegging)
Zelfstandigheid en complexiteit opbouwen
Prestatiecriteria afstuderen leidend maken in
onderzoeksleerlijn
Onderzoeksvragen en –methoden bij
MT, Inf. en TI.
Casus



Ontwikkelen van een formulieren module binnen
Toolbox WMS bij Eleven
Probleemstelling:
 Als een beheerder een formulier wilt toevoegen
aan de website dan biedt Toolbox daar nu geen
mogelijkheid toe.
Doelstelling:
 Een nieuwe module voor Toolbox WMS maken
waarin website beheerders zelf formulieren
kunnen aanmaken en deze kunnen gebruiken in
hun website.
Aanvullende doelstelling


Probleemstelling
 De opdrachtgever wil graag weten hoe ze Scrum
beter kunnen inzetten en hoe ze dit kunnen
implementeren in hun werkwijze.
Doelstelling
 Het doel is om een rapport op te leveren waarin de
methode Scrum beschreven wordt. Het rapport zal
laten zien welke onderdelen van Scrum ingezet
zouden kunnen worden bij Eleven en op welke
wijze ze dit kunnen toepassen. Hoe ze deze
onderdelen het beste kunnen implementeren
wordt in het rapport door middel van een advies
beschreven.
De twee hoofdvragen (in
groepjes)



Welke kennis op hoofdlijnen heeft de student nodig
om de twee opdrachten goed te vervullen?
Wat is zijn dan de twee hoofdvragen voor de
onderzoeken?
Wat zijn de voor- en nadelen van het werken met een
hoofdvraag?
Hoofdvragen


Onderzoek I: “Op welke wijze kan binnen Toolbox het
beste een module worden gerealiseerd waarmee
klanten zelf formulieren kunnen maken?”
Onderzoek II: “Op welke wijze kan Eleven het beste
de SCRUM methodiek implementeren?”
Deelvragen onderzoek I (in
groepjes)


Welke fasen herken je in het project of zouden erin
moeten zitten?
Wat zouden de deelvragen moeten zijn per fase?
Deelvragen onderzoek I
1.
2.
Oriënteren
1.
Wat voor een bedrijf is Eleven?
2.
Wat zijn de kenmerken van de Toolbox?
3.
Wat is het probleem / de kans?
4.
Voor wie is dat een probleem / kans?
5.
Waarom is dat een probleem / een kans?
Aanpak kiezen
1.
Welke methode is het meest geschikt om het doel
te realiseren?
Deelvragen onderzoek I


Sprint 0
1.
Wat zijn de kwaliteitseisen per sprint?
2.
Wat zijn de requirements?
3.
Wat zijn de te gebruiken testmethoden?
Sprint 1
1.
Welke user stories worden uitgevoerd?
2.
Wat zijn de te hanteren ontwerpprincipes?
3.
Wat zijn de entiteiten van het systeem?
4.
Wat moet er van iedere identiteit worden
opgeslagen?
5.
Wat zijn de eisen aan de user interface?
6.
Wat ging er goed en niet goed?
Deelvragen onderzoek I



Sprint 2
1.
Wat is de gebruikersvriendelijkheid van het
systeem?
2.
Wat ging goed en wat ging niet goed?
Sprint 3
1.
Hoe zien de CRM processen eruit?
2.
Wat ging goed en wat ging niet goed?
Evaluatie
1.
Voldoet het product aan de gestelde eisen?
2.
Wat ging goed en wat ging niet goed?
Deelvragen onderzoek II

Onderzoek II: “Op welke wijze kan Eleven het beste
de SCRUM methodiek implementeren?”
1.
Uit welke onderdelen bestaat SCRUM?
2.
Welke onderdelen van SCRUM hanteert Eleven
nu?
3.
Wat zijn der ervaringen van SCRUM gebruikers
binnen Eleven?
4.
Wat moet implementatie van SCRUM opleveren?
5.
Welke onderdelen van SCRUM dragen daar aan
bij?
6.
Hoe kunnen deze worden geimplementeerd?
Methoden onderzoek I

Welke onderzoekmethode heeft de student gebruikt of
had de student moeten gebruiken om de deelvragen
te beantwoorden?
Deelvragen onderzoek II


Onderzoek II: “Op welke wijze kan Eleven het beste
de SCRUM methodiek implementeren?”
Wat zijn de deelvragen bij onderzoek II?
Methoden onderzoek II

Welke onderzoekmethode heeft de student gebruikt of
had de student moeten gebruiken om de deelvragen
te beantwoorden?
Welke methoden gebruiken
jullie studenten?


Welke onderzoeksmethoden leren jullie studenten?
Welke onderzoekmethoden gebruiken jullie studenten
in het afstuderen?
Dank voor uw aandacht



[email protected]
www.methodologie.hu.nl
@onderzoekcoach.nl
Bronnen







Greve, D. (2013) Persoonlijke communicatie.
Griffioen, D., & Wortman, O. (2013). Onderzoek in het onderwijs van de
Hogeschool van Amsterdam: op weg naar diversiteit in een uniform
model. Tijdschrift voor Hoger Onderwijs, 31(1/2), 16–31.
HBO Raad (2009) Kwaliteit als Opdracht, Den Haag, HBO Raad.
NVAO (2011) Beoordelingskaders accreditatiestelsel hoger onderwijs
Opleidingsbeoordeling (beperkt). Retrieved from www.nvao.net
Renepbutter (2013, november) Role of research in higher prof. educ. on
BA, MA & PhD levels is demarcated by the scope of the required
relevance&rigour claims. #mmucarpe [Twitter post] Retrieved from
https://twitter.com/renepbutter/status/398695835288223744
Van der Rijst, R. M. (2009). De zes aspecten van een onderzoekende
houding. [website] Retrieved from
http://www.ecent.nl/artikel/2000/view.do
Verschuren, P. (2009). De probleemstelling voor een onderzoek.
Spectrum.