Transcript Vertrouwen

Rapporteren
over
Resultaten
Jaarvergadering CBF
December 2012
Prof. dr. Ruerd Ruben
Directeur Inspectie Ontwikkelingssamenwerking
& Beleidsevaluatie (IOB)
Verantwoording van Resultaten
1. CBF : ‘weet waarvoor je geeft’ – Zo zorgt het CBF ervoor ….
dat we erop kunnen vertrouwen dat goede doelen verstandig
(met de giften) omgaan.
2. Legitimiteit en Vertrouwen - van ‘rechtmatigheid’ naar
‘doelmatigheid’ + ‘doeltreffendheid’
3. Evalueren = Systematisch verzamelen, interpreteren en
presenteren van informatie teneinde de waarde van een
programma te bepalen.
2
5 belangrijke lessen
1. Effectiviteit is een noodzakelijke voorwaarde voor
maatschappelijk vertrouwen
2. Programma’s worden beoordeeld op ‘value for money’
3. Evaluatie begint bij de start van het programma
4. Impactmeting kan in bijna elk project
5. Evaluatie is een investering, geen ‘overhead’
3
Over IOB
Mandaat & Werkwijze
•
Beoordeling van de beleidseffectiviteit
•
Leren van ervaringen
•
Verbeteren ‘evidence-based’ beleidsvoering
Verantwoording afleggen aan Parlement, Publiek en
Samenleving
Bijdragen aan Transparantie & Vertrouwen
4
Context: Afnemend vertrouwen (2005-2011)
Consumenten
vertrouwen
5
Donateurs
vertrouwen
Reputatie & Vertrouwen
Tell me”
“Tell me”
“Show me”
“Show me”
“Trust me”
“Trust me”
Inzicht in effectiviteit is een noodzakelijke (maar niet voldoende)
voorwaarde voor maatschappelijk vertrouwen
B&M Gates Foundation: ‘Innovation with Impact’
7
Informatie over goede doelen
8
Leren van fouten
9
Effectiviteit = Value for Money
•
Zinvolle resultaten (‘meaningful results’)
•
Netto effecten (bijdrage van het project)
•
Kosten-effectiviteit (efficiency)
•
Attributie/Contributie
•
Additionaliteit
•
Zakelijkheid
Kosten van evaluatie: max 1-2 %
Quality at Entry (Q@E)
1. Heldere resultaatketen
2. Haalbare doelen
3. Meetbare indicatoren
4. Zicht op risico’s
5. Eerlijke Kosten/baten
12
Van Input naar Impact
Outreach = aantal clienten
Robuuste impactmeting
Impact meting = vergelijking van:
Doel
• voor/na interventie (over de tijd)
met
• met/zonder interventie (counterfactual)
zonder
T=0
Verschillende methoden beschikbaar
(e.g. story harvesting, outcome mapping, SROI, etc)
(Zie: NONIE Guidelines ; 3ie)
T=1
Tijd
Difference – in – Difference
Vooraf
Achteraf
Met
Programma
A
B
Zonder
Programma
C
D
Lessen uit Impact evaluaties (1)
Impact meting:
● Meting van Waterkwaliteit
● Interactie Water-Sanitatie
● Infrastructuur + Gedrag
Geleerde Lessen:
● Output is o.k.
E-coli in rurale waterbronnen (Benin)
– bron: IOB
● Impact verdwijnt
● Integraal beheer nodig
● Samenwerking meerdere partners
16
Lessen uit Impact evaluaties (2)
Cost effectiveness
Impact meting:
● Meting van schoolresultaten
● Kosteneffectiviteit
te
ac
he
rs
bo
ok
s
ed
uc
at
io
n
tra
in
m
in
an
g
ag
em
en
cl
t
as
sr
oo
m
s
fa
ci
lit
ie
ne
s
w
sc
ho
ol
● Verschillende investeringsopties
Effecten van onderwijsinvesteringen (Oeganda)
– bron: IOB
Geleerde Lessen:
● Genoeg schoolgebouwen
● Tekort aan leermiddelen
● Voldoende leraren
● Gebrekkige aanwezigheid docenten
17
Keuze van methoden
Story harvesting
Outcome mapping
Robuuste Impact studies
Experimenten (RCTs/Real-time evaluation)
Systematische Reviews (Campbell protocol)
Thematische studies (Kritische succes factoren)
Experimenten (RCTs)
●
Nadruk op (kleinschalige) experimenten
●
A-selecte keuze van deelnemers
●
Uitzoeken ‘wat werkt’
●
Geen selectie-effecten
●
Toepassingen: trainingen
schooldeelname
individuele/groepsleningen
‘Results-based’ financiering
-
Gebaseerd op achteraf betaling (cash on delivery)
-
Voor/mede-financiering door clienten
-
Combinatie van lening & schenking
-
Onafhankelijke verificatie / transparantie
-
Lokale uitvoerings verantwoordelijkheid
-
Toepassingen in onderwijs, wegenonderhoud, drinkwater, ed.
Frontloading: resultaten naar voren halen
Evaluatie hulpmiddelen
22
Belangrijkste Uitdagingen
Onafhankelijkheid van de Evaluatiefunctie
Focus op Evalueerbaarheid (Q@E)
Deelname van lokale partners (RCTs)
Open datasystemen (bv. Ngo-database.nl; Kennisbank filantropie.nl)
Openheid over Successen én Mislukkingen
Uitzicht bieden op duurzame netto effecten
Veel succes gewenst …