Transcript vormen van evaluatieonderzoek

Alternatieve (kwalitatieve) vormen van
evaluatieonderzoek
Prof dr. Trudie Knijn
Universiteit Utrecht
Onderzoeksprogramma:
Social policy and social Intervention Studies (SOPINS)
Kwantitatief statistisch onderzoek:
Kwantitatief onderzoek kan nuttig zijn; generaliseerbare
uitspraken, toetsen van hypothesen en samenhangen en
testen van schalen, soms zelfs causaliteit vast te stellen.
Beperkingen: opvattingen en gepercipieerd gedrag van
mensen gevat in eenduidige uitspraken, achterliggende
beweegredenen laten zich niet makkelijk vangen, worden
gemiddeld in ‘statements’. Opvattingen en gepercipieerd
gedrag van uitersten verdwijnen uit beeld.
Voordeel voor evaluatie onderzoek: als A dan B
Nadeel: onduidelijk hoe het werkt (de black box blijft dicht).
Kwalitatief interpreterend onderzoek:
Kwalitatief onderzoek kan nuttig zijn; geen eenduidige
uitspraken, beweegredenen achterhalen en in context
plaatsen, minderheidsopvattingen en uitersten doen ertoe
en kunnen ook iets laten zien over de gemiddelden,
causaliteit niet hard maar wel begrijpelijk te maken.
Beperkingen: niet generaliseerbaar, testen en toetsen
onmogelijk.
Voordeel voor evaluatieonderzoek: hoe mechanismen
werken; de black box openen
Nadeel: mechanismen werken niet overal en altijd
(contextafhankelijk)
DUS: P.G. Swanborn (1999) Evalueren,
Amsterdam: Boom.
Goed evaluatieonderzoek is vooral afhankelijk
van:
- het kiezen van de juiste onderzoeksvraag,
- het daarbij selecteren van de juiste methode,
- en het volgens de regelen der kunst toepassen
daarvan.
Steeds meer voorkeur voor Mixed Methods:
> Eerst exploratie (verkenning) dan meten.
OF:
> Eerst meten, dan uitdiepen.
Principes Realistische Evaluatie:
R. Pawson & N. Tilley (1997) Realistic Evaluation
• Uitkomst moet zijn gedragsverandering van individu of
groep; individu of groep zijn interpreterend subject van
resultaat en proces (beoordelend subject)
• Interventie vindt plaats in context, deze is nooit
dezelfde maar wordt door de interventie niet veranderd.
• De interventie richt zich op de mechanismen; de
werkzame bestanddelen
Dus: 1) interventies werken via het veranderen van de
interpretatie van een situatie door (groepen) mensen,
2) (maatschappelijke) situaties waarin de interventies
plaatsvinden verschillen van elkaar, en dus
3) vatten verschillende (groepen) mensen het doel, de inhoud,
etc. van een interventie in verschillende situaties verschillend op
en als gevolg daarvan handelen ze verschillend.
In model:
M1 = probleemmechanisme  M2 = blokkeermechanisme
R1 = problematische regelmatigheid  R2 is situatie na
interventie
C1 = stabiele context
Aanname: context stabiel maar overal anders, dus onderzoeken
welke mechanismen werken in verschillende contexten.
Toepassingen in Nederland:
-
-
-
Sol, C.C.A.M., A.C. Glebbeek, A.J.E. Edzes, I.
Busschers, H.I. de Bok, J.S. Engelsman en C.E.R.
Nysten (2011). ‘Fit or unfit’. Naar expliciete reintegratie theorieën. Amsterdam: Universiteit van
Amsterdam.
Ruig, L. de, S. Bouma, S. van der Kemp, en M. van
Ommeren (2011). Samen in actie. Evaluatie Actieplan
Jeugdwerkloosheid. Eindrapport. Zoetermeer: Research
voor Beleid.
Bouwman-Van ’t Veer, M., T. Knijn en R. van Berkel
(2011). Activeren door participeren. De meerwaarde
van de Wet maatschappelijke ondersteuning voor reintegratie van mensen in de bijstand. Utrecht:
MOVISIE.
Voorbeeld: het effect van de combi van WWB
en Wmo voor activering.
Stap voor stap:
1a: Theorieverkenning (zoals in kwantitatief onderzoek)
voor zoeken naar mogelijke verklaringen. Pawson;
‘every program has a theory’.
Paralllel:
1b:Praktijkdeskundigen en beleidsmakers raadplegen; wat
is er volgens jullie aan de hand?
2. Selecteren ‘best practices’ uit overzicht website
WWB/Wmo en telefonisch consult op criteria
samenwerking, duur project en gerapporteerd
resultaat.
3. Opstellen ‘voorlopige’ lijst van werkzame mechanismen
op basis van 1a en 1b.
Theorie
1. Arbeidsmotivatie bestaat uit randvoorwaarden (kennis,
kunde en vaardigheden) en motivatie (waardeoordeel
over extrinsieke en intrinsieke doelen, en
zelfeffectiviteit) (de Moor, 1998)
2. Zelfeffectiviteit; vertrouwen in eigen vaardigheden,
capaciteiten en competenties om doelen te bereiken
(Bandura, 1977, 1980)
3. Motivatie optimaal als men veel waarde hecht aan de
doelen én de verwachting heeft die ook te kunnen
bereiken.
4. Door de deelname aan een project, verandert er iets in
de mogelijkheden van de cliënt (capabilities) (Pawson en
Tilley, 1997).
5. Op basis van die mogelijkheden maken zij bepaalde
keuzes (choices).
Onderzoek
In drie gemeentes in Nederland (best practices na
selectieronde): Sittard-Geleen, Ede-Wageningen en
Almere.
Aan de hand van drie thema’s:
- Uitkomst (deelname, uitval, participatieladder,
duurzame participatie)
- Context (WWB-Wmo beleid, betrokkenheid lokale
werkgevers, sociaal netwerk cliënt)
- Mechanismen (Opbrengsten, bronnen van informatie
over zelfeffectiviteit, relatie met begeleider,
belemmeringen opruimen)
Mechanismen:
1. Opbrengsten:
- Motivatie (via maatwerk)
- Zelfontplooiing
- Structuur
- Zinvol werk
- Inkomsten
2. Informatie zelf-effectiviteit
- Succeservaringen
- Observerend leren
3. Relatie met
begeleiders
- Positieve benadering
- Realistisch
- Leefwereldbenadering
- Wederkerigheid
4. Belemmeringen:
- schulden, verslaving,
huisvesting, zorg etc. oplossen..
Mixed Methods
Interviews: Gewenste uitkomsten
a)
b)
Volgens professionals en beleidsmakers
Volgens cliënten
Documentanalyse en interviews: Feitelijke uitkomsten
a)
b)
Volgens WWB criteria (participatieladder)
Volgens Wmo criteria (nut voor buurt, ouderen,
vrijwilligerswerk, etc.).Bel
Beleidsanalyse, data-analyse en interviews: Context:
a)
b)
c)
d)
Integraal beleid gemeente- en projectniveau
Lokale werkloosheid en arbeidsmarkt
Samenwerking tussen voorzieningen
Rol van sociaal netwerk
Interviews en focusgroepen: mechanismen
a)
b)
Volgens professionals en beleidsmakers
Volgens cliënten
Mechanismen: waardeoordeel opbrengst
Vooral positief bij moeders van jonge kinderen.
“ De hele dag in je bed hangen en alleen maar tv kijken.. Dat is
wel leuk voor een paar weken maar uiteindelijk ga je je
vervelen……… ja dan met je toch echt wat gaan doen hoor”
OF
“Mijn ritme is helemaal uit balans. Kijk, ik ben niet op zoek naar
een vaste baan dus ik ga echt niet om 7 uur opstaan om te
oefenen. Nee, ik hoef pas om half vier te werken
(vrijwilligerswerk via het project), ja dan ga ik niet om 8 uur
opstaan.”
Mechanisme: inkomsten (sancties en keuzes)
Vanwege sanctie WWB:
“ Dan blijkt dat je toch altijd weer tot iets meer in staat te zijn
dan je zelf denkt… Ik bedoel, intrinsiek is ieder mens lui. Als hij
niet per se hoeft, zal hij het ook niet doen, toch?”.
Na jaren zwaar en onderbetaald werk:
“Ik heb het goed hoor. Ik heb een vet appartement en ik krijg
huurtoeslag. Ik ben een overlever. Ik heb eigenlijk helemaal
niets nodig. Echt, ik heb niks nodig. Helemaal niks’.
Beiden doen vrijwilligerswerk.
Mechanisme: succeservaringen
“Je moet je bewijzen door onderaan te beginnen, bij de kwekerij,
ook als je bankdirecteur ben geweest. En dan krijg je een
rapportje. En mijn rapport was ‘kansloos’. Ik was kansloos om
weer terug in de maatschappij te komen. En las ik NU kijk, dan
is het allemaal weer plusjes, een vaste baan in het verschiet. Ja,
daar is door de ambtenaren bij de gemeente al een opmerking
over gemaakt, ze zeggen ‘hoe krijg je het voor elkaar jongen.
Nou ik vind het heel knap hoor, heel knap.’ En dat vind ik wel
fijn om dat van die mensen te horen.”
‘Ik was wel trots dat ik gebeld werd om de sleutel op te halen en
het participatiehuis open te maken voor je. Mijn zoon die zei
‘moet jij dat doen, helemaal alleen?’ Ik bedoel het is wel het huis
van een ander… van de gemeente en alles ligt hier zo voor het
oprapen.. Het is wel een kwestie van vertrouwen, en daar ben ik
heel trots op.”
Conclusie
1. Door de deelname aan een project, verandert er iets in
de mogelijkheden van de cliënt (capabilities)
2. Op basis van die mogelijkheden maken zij bepaalde
keuzes (choices), en hoewel die keuzes per individu
verschillen, is een vijftal mechanismen doorslaggevend:
- Maatwerk (aansluiting bij wensen en mogelijkheden);
- Materiële opbrengsten (en sancties via WWB);
- Succeservaringen en observerend leren (via nieuwe
contacten, lotgenoten);
- Relatie met de begeleider;
- Belemmeringen oplossen;