Transcript 2 - RealWorld Evaluation

Pour une approche
Holistique et en Situation
Réelle de l’Evaluation
d’Impact
Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques
Atelier Professionnel de pré-conférence de l’AfrEA, Accra, 10 janvier 2012
avec nos appréciations à la Foundation Rockefeller
Facilité par
Oumoul Ba Tall et Jim Rugh
Note: Cette présentation PowerPoint et le résumé du
chapitre du livre sont disponibles sur:
www.RealWorldEvaluation.org
1
Un mot de remerciements à notre
sponsor:
La Fondation Rockefeller
Cet atelier est l’une des 12 sessions de la conférence de
l’AfrEA qui bénéficient de l’appui financier de la
Foundation Rockefeller. Elles font partie d’un paquet de
subventions destinées à encourager des actions de
promotion de la capacité d’évaluation du développement,
de génération de connaissance en évaluation, ainsi que
les approches innovatives, les nouvelles méthodes et
nouveaux outils d’évaluation.
2
Introduction à
L’Evaluation d’Impact
(citant le Guide du NONIE)


“Dans le développement international, l’évaluation d’impact
concerne principalement les résultats finaux d’une intervention
(programme, projet, décisions politiques, réformes) sur le bienêtre des communautés, des ménages et des individus.” [p. 3]
“Aucune méthode n’est meilleure en soi pour adresser la
diversité de questions et d’aspects qui peuvent relever des
évaluations d’impact. Toutefois, certaines méthodes ont des
avantages comparatifs sur d’autres dans l’analyse d’une
question ou d’un objectif particuliers, du fait de la spécifité de la
question ou de l’objectif. Des méthodes et perspectives
particulières se complétent pour procurer “une image” plus
complète de l’impact.” [p. xxii]
3
Introduction à
L’Evaluation d’Impact
(citant le Guide du NONIE)

Les méthodes quantitatives d’évaluation d’impact
cherchent à résoudre les trois problémes suivants,
qui sont interconnectés :
•
•
•
L’établissement d’un coutrefactuel: Que se serait-il passé
sans l’intervention(s)?
L’élimination des effets de la sélection, menant vers les
différences entre le groupe d’intervention (traitement) et le
groupe de contrôle.
Une solution au probléme des non-observables: l’omission
d’une ou de plusieurs variables non-observées, induisant
des estimations biaisées. [p. 23]
4
Introduction à
L’Evaluation d’Impact
(citant le Guide du NONIE)

“La meilleure façon d’éviter les effets de la sélection
est la sélection au hasard des groupes d’intervention
et de contrôle avant le démarrage de
l’expérimentation. Dans un Contrôle Aléatoire
d’Essai (CAE) bien conçu et mis en oeuvre, une
comparaison simple de la moyenne des Résultats
dans les 2 groupes peut résoudre le probléme de
l’attribution, et produire des estimations précises de
l’impact de l’intervention sur une variable à l’étude.
La seule différence entre les deux groupes aura été
l’intervention, du fait de la démarche suivie.” [p.24]
5
OK, cela est suffisant pour une introduction
initiale à la théorie de l’Evaluation d’Impact.
A présent, considérons certaines implications
lorsque nous essayons de mener des
Evaluations d’Impact en SituationRéelle.
6
L’Evaluation d’Impact Appliquée
à cet Atelier
Vous qui êtes dans cette salle avez choisi de participer à cet
atelier. Appelons le sujet que nous allons discuter ici
l’Intervention. Nous assumons que vous êtes suffisamment
qualifiés pour prendre ce cours. Nous proposons ceci: faire un
pré-test pour déterminer votre compréhension du sujet.
Ensuite, sélectionner de façon aléatoire 50% d’entre vous, qui
seront considérés notre groupe de contrôle. Nous vous
demanderons de quitter la salle et vous occuper à autre chose
durant le reste de la journée. Ensuite vous revenez à 16H30
pour prendre le test de fin, en même temps que les autres qui
sont restés et ont participé au reste de l’atelier (notre groupe
d’intervention). Ainsi nous aurons un contrefactuel qui nous
servira pour mesurer tout impact mesurable de ce que nous
aurons enseigné durant l’atelier.
7
L’Evaluation d’Impact Appliquée
à cet Atelier
OK, juste pour rire, à titre d’illustration!
8
L’Evaluation d’Impact Appliquée
à cet Atelier
Pour quelles raisons essayer d’utiliser une
méthode d’Epérimentation à Sélection
Aléatoire (ESA) pour évaluer l’impact de cet
atelier pourrait ne pas être une bonne idée?
…
9
Objectifs de l’Atelier
1. Les bases de l’approche Evaluation en
SituationRéelle (ESR) pour répondre aux questions
et contraintes de l’évaluateur telles que: évaluer à la
fin d’un projet en l’absence de Référence ou de
Groupe de comparaison; ou le budget est
inadéquat, le temps insuffisant; ou face à des
pressions politiques ou des attentes sur la manière
de conduire l’évaluation ou encore sur les
conclusions de celle-ci.
10
Objectifs de l’Atelier
2.
3.
4.
5.
Définir ce que l’évaluation d’impact devrait être;
Identifier et évaluer différents modèles
d’évaluation qui pourraient être utilisés dans un
contexte d'évaluation particulier;
Les moyens de reconstruire les données de base
lorsque l’évaluation démarre bien alors que le projet
est bien avancé ou terminé;
Comment rendre compte de ce qui serait arrivé
sans les interventions du projet: contrefactuels
alternatifs
11
Objectifs de l’atelier
Note: dans cet atelier, l’accent est mis sur les
évaluation d’impact au niveau projet. Bien
entendu, il existe d’autres catégories
d’évaluation, en fonction des objectifs, de
l’étendue, de l’objet évalué, de la nature (ou
type) d’évaluation. Certaines des méthodes
que nous allons évoquer peuvent être
appliquées à ces catégories mais nos
examples seront basées sur l’évaluation
d’impact des projets, et dans le contexte des
pays en développement en général.
12
Programme de l’Atelier
1. Introduction [10 minutes]
2. L’approche ESR en bref [30 minutes]
3. Les participants se présentent et échangent leurs expériences de situations et
contraintes d’ESR, en petits groupes. [30 minutes]
4. Bréve revue des méthodologies, modéles logiques, outils et techniques de l’Evaluation
d’Impact enSituationRéelle, avec l’accent sur l’évaluation d’impact [75 minutes]
--- petite pause [20 minutes]--5. Que faire en l’absence de Situation de Référence: Reconstruire une Situation de
Référence [30 minutes]
6. Exercice en petits groupes Partie I: lire l’étude de cas et comencer la discussion [45
minutes]
-- déjeuner [60 minutes] --7. Comment concevoir ce qui aurait été en l’absence de projet: l’alternative au
contrefactuel [30 minutes]
8. Discussion pleinière: Réalités pratiques dans l’application des approches ESR: Défis et
Stratégies [30 minutes]
9. Exercices en petits groupes, Partie II: 'Clients’ et ‘consultants’ re-négotient les TDRs
de l’évaluation de l’étude de cas [60 minutes]
10. Feedback de l’exercice [20 minutes]
11. Discussions en vrac, évaluation de l’atelier [40 minutes] (fin prévue à 17h00 )
Evaluation en
SituationRéelle
Concevoir des évaluations en tenant compte des contraintes
associées au budget, aux délais, à la disponibilité des données
et à la situation politique
Vue d’ensemble de l’Approche
ESR
14
Scénarios d’Évaluation en
SituationRéelle
Scénario 1: L’équipe d’évaluation n’entre
en scène que vers la fin du projet
Pour des raisons politiques,
techniques ou budgétaires :
•
•
•
•
Il n’a pas eu de plan d’évaluation du projet
Il n’y a pas eu d’enquête initiale (étude de base)
Les personnes chargées de la mise en œuvre
n’ont pas collecté de données convenables sur
les participants au projet au début ou en cours
Il est difficile de collecter des données sur des
groupes de contrôle comparables
15
Scénarios d’Évaluation en
SituationRéelle
Scénario 2: L’équipe d’évaluation entre en
scène au début du projet mais, pour
des raisons budgétaires, politiques ou
méthodologiques:
•
•
L’enquête initiale était une évaluation des
besoins, pas une étude de base comparable à
l’évaluation finale
Il n’a pas été possible de collecter des données
de base sur le groupe témoin
16
Appel à la Réalité – Défis de la
SituationRéelle en Evaluation
•
•
•
•
•
•
Trop souvent, l’évaluation n’entre pas en ligne de
compte à la conception du projet – on n’y pense qu’à la
fin
Pas de données de base, du moins comparables à
l’évaluation
Pas de groupe de contrôle/témoin en place ou possible
Temps et ressources limités pour l’évaluation
Attentes spécifiques des clients quant à ce qu’ils
espèrent ressortir de l’évaluation
Mauvaise compréhension de l’évaluation, méfiance
chez beaucoup de parties prenantes; beaucoup la
voient comme une menace (n’aiment pas être jugés)
17
Evaluation en SituationRéelle:
Buts visés par le Contrôle Qualité




Parvenir à une évaluation la plus rigoureuse
possible compte tenu des limites imposées par
le contexte
Identifier les faiblesses méthodologiques du
modèle d’évaluation et y remédier
Négocier avec les clients des solutions tenant
compte de la rigueur souhaitée et des
ressources disponibles
Reconnaître dans la présentation des
constatations les faiblesses méthodologiques et
leur effet sur la généralisation à des populations
plus vastes
18
Le Besoin comblé par
l’Evaluation en SituationRéelle
Du fait de ce type de contraintes, beaucoup des
principes de base gouvernant la conception des
évaluations d’impact (conception semblable
pour les pré-tests et les post-tests, groupe
témoin, conception et mise à l’essai
d’instruments, échantillonnage aléatoire,
contrôle des biais attribuables à l’évaluateur,
documentation détaillée de la méthodologie
d’évaluation, etc.) sont souvent ignorés.
19
L’Approche de l’Evaluation en
SituationRéelle
Une approche intégrée pour
garantir des normes acceptables
de rigueur méthodologique face
aux contraintes de budget,
temps, d’argent, de données et
de situation politique en
SituationRéelle.
cf le livre “RealWorld Evaluation” ou bien le “Condensed
Summary” pour plus de détail
20

EDI T I O N
This book addresses the challenges of conducting program evaluations in real-world contexts where
evaluators and their clients face budget and time constraints and where critical data may be missing.
The book is organized around a seven-step model developed by the authors, which has been tested and
refined in workshops and in practice. Vignettes and case studies—representing evaluations from a
variety of geographic regions and sectors—demonstrate adaptive possibilities for small projects with
budgets of a few thousand dollars to large-scale, long-term evaluations of complex programs. The
text incorporates quantitative, qualitative, and mixed-method designs and this Second Edition reflects
important developments in the field over the last five years.
New to the Second Edition:
Adds two new chapters on organizing and managing evaluations, including how to
strengthen capacity and promote the institutionalization of evaluation systems

Includes a new chapter on the evaluation of complex development interventions, with a
number of promising new approaches presented

Incorporates new material, including on ethical standards, debates over the “best”
evaluation designs and how to assess their validity, and the importance of understanding settings

Expands the discussion of program theory, incorporating theory of change, contextual and
process analysis, multi-level logic models, using competing theories, and trajectory analysis

Provides case studies of each of the 19 evaluation designs, showing how they have
been applied in the field

“This book represents a significant achievement. The authors have succeeded in creating a book that
can be used in a wide variety of locations and by a large community of evaluation practitioners.”
RealWorld Evaluation
RealWorld
Evaluation
Bamberger
Rugh
Mabry
2
—Michael D. Niles, Missouri Western State University
“This book is exceptional and unique in the way that it combines foundational knowledge from
social sciences with theory and methods that are specific to evaluation.”
—Gary Miron, Western Michigan University
“The book represents a very good and timely contribution worth having on an evaluator’s shelf,
especially if you work in the international development arena.”
—Thomaz Chianca, independent evaluation consultant, Rio de Janeiro, Brazil
2
EDITIO
N
Working Under Budget, Time,
Data, and Political Constraints
Michael
Bamberger
Jim
Rugh
Linda
Mabry
EDITION
L’Approche de l’Evaluation en
SituationRéelle

Mise au point pour aider les praticiens de
l’évaluation et les clients
• Gestionnaires, organismes de financement et
consultants externes

Une approche encore en évolution (nous
continuons à apprendre d’ateliers comme le vôtre)

Conçue à l’origine pour les pays en
développement, mais applicable aussi aux
pays industrialisés.
22
Difficultés spécifiques à
l’Evaluation dans les pays en
développement






Absence de données secondaires nécessaires
Ressources locales en évaluation restreintes
Budgets d’évaluation limités
Contraintes institutionnelles et politiques
Culture d’évaluation absente (noter le rôle de
palliatif des réseaux d’évaluation)
Les évaluations conçues en priorité par et
pour la coopération internationale, reflètent
rarement les priorités locales et nationales
23
Attentes en matière
d’évaluations « rigoureuses »
En dépit de ces difficultés, il y a une
demande grandissante pour des
évaluations méthodologiquement
rigoureuses pour déterminer les impacts,
la durabilité et la « replicabilité » des
projets et programmes de
développement.
(à développer plus tard)
24
La plupart des instruments d’ESR
ne sont pas nouveaux – seule l’approche
intégrée l’est


La plupart des outils de collecte et d’analyse
des données dans l’Evaluation en
SituationRéelle sont connus des évaluateurs.
Ce qui est nouveau c’est l’approche
intégratée qui combine un large éventail
d’instruments adaptés pour produire des
évaluations de la meilleure qualité possible
face aux contraintes de la SituationRéelle.
25
Qu’est-ce qui spécial dans
l’approche ESR?


Il existe une série d’étapes, chacune ayant
une liste de contrôles pour identifier les
contraintes et déterminer les moyens d’action
Ces étapes sont listées sur la diapo suivante
suivies d’un organigramme plus détaillé …
26
Les étapes de l’Approche de
l’Evaluation en SituationRéelle
Étape 1 : Planifier l’évaluation et en cerner le champ
Étape 2 : Composer avec les contraintes budgétaires
Étape 3 : Composer avec les contraintes temporelles
Étape 4 : Composer avec les contraintes en termes des
données disponibles
Étape 5 : Composer avec les contraintes politiques
Étape 6 : Identifier les forces et les faiblesses du
modèle d’évaluation
Étape 7: Aider les clients dans l’utilisation de l’évaluation
27
L’Approche de l’Évaluation en SituationRéelle
1e étape : Planifier l’évaluation et en cerner le champ
A.
B.
C.
D.
Cerner les besoins du client en matière d’information et comprendre le contexte politique
Définir le modèle de la théorie de programme
Identifier les contraintes (temps, argent, contexte politique) dont il faudra tenir compte dans l’ESR
Sélectionner l’approche qui répond le mieux aux besoins des clients compte tenu des contraintes pour l’ESR
2e étape : Composer avec
les contraintes
budgétaires
A. Modifier le modèle d’éval.
B. Rationaliser les besoins
pour les données
C. Chercher des données
secondaires fiables
D.Réviser le plan
d’échantillonnage
E. Trouver des méthodes
abordables pour collecter les
données
3e étape : Composer avec les
contraintes temporelles
Tous les outils de l’étape 2 plus
F. Commissionner des études
préliminaires
G. Embaucher plus de personnes
ressource
H. Réviser le format des documents
de projet pour inclure des données
essentielles pour l’analyse d’impact
I. Utiliser la technologie moderne
pour la collecte et l’analyse des
données
6ème étape : Renforcer le modèle d’évaluation et la validité des
conclusions
A. Identifier les obstacles à la validité des modèles d’évaluation
quasi expérimentaux
B. Déterminer dans quelle mesure les modèles qualitatifs
conviennent
C. Utiliser une liste de contrôle intégrée pour les modèles multiméthodes
4e étape : Composer avec les
contraintes en termes de
données
A. Reconstruire les données
de base
B. Recréer des groupes de
contrôle
C. Travailler avec des groupes
de contrôle non équivalents
D. Collecter des données sur
les sujets délicats ou auprès des
groupes difficiles à atteindre
5e étape : Composer avec les
influences politiques
A. Répondre aux pressions des
organismes de financement en
ce qui concerne la conception de
l’évaluation
B. Tenir compte des
préférences méthodologiques
des parties concernées
C. Reconnaître l’influence des
paradigmes de recherche
professionnels
7ème étape : Aider les clients à faire usage de l’évaluation
A. Utilisation
B. Application
C. Orientation
D. Action
28
Nous n’aurons pas le temps de
couvrir toutes ces étapes aujourdhui
Nous allons nous concentrer sur:
L’Etendue de l’évaluation
La Concecption de l’Evaluation
Les modéles logiques
La Reconstruction des situations de référence
L’Alternative au countrefactuel
L’Evaluation d’Impact Réaliste, Holistique
La Négotiation des TDRs
29
Planifier l’évaluation et en cerner le
champ



Comprendre les besoins du client en
matière d’information
Définir le modèle de la théorie de
programme
Identifier, de façon préliminaire, les
contraintes dont il faudra tenir compte
dans l’Évaluation en SituationRéelle
30
Comprendre les besoins du client en
matière d’information





Questions typiques pour lesquelles les
clients souhaitent une réponse :
Le projet atteint-il ses objectifs?
Est-ce que tous les secteurs de la
population cible bénéficient?
Les résultats obtenus sont-ils durables?
Quels sont les facteurs contextuels qui
déterminent la mesure de la réussite ou
de l’échec?
31
Comprendre les besoins du client en
matière d’information
Une bonne compréhension des besoins
d’information du client peut souvent
aider à limiter les types d’information
collectés et le niveau de détail et de
rigueur nécessaire
Mais cette bonne compréhension peut
aussi augmenter la quantité
d’information requise
32
Autres questions à adresser en
préparant des TDRs d’évaluation
1.
2.
3.
4.
Qui a demandé l’évaluation? (Qui sont les
acteurs clefs)?
Quelles sont les questions clefs?
S’agira-t-il d’une évaluation
dévelopmentale, formative, ou sommative?
Est-il prévu une prochaine phase, la
conception d’autres projets sur base de
cette évaluation?
33
Autres questions à adresser en
préparant des TDRs d’évaluation
5.
6.
7.
8.
9.
Quelles décisions seront prises en
réponse aux conclusions de l’évaluation?
Quel est le niveau de rigueur adéquat?
Quelle est l’étendue / l’échelle de
l’évaluation / l’objet (chose sur laquelle
porte) à évaluer?
Quel est le temps utile / disponible?
Quels sont les besoins financiers / les
disponibilités?
34
Autres questions à adresser en
préparant des TDRs d’évaluation
10.
11.
12.
13.
14.
15.
L’évaluation se basera-t-elle sur des
méthodes quantitatives ou qualitatives?
Les méthodes participatives seront-elles
utilisées?
Peut-il y avoir une enquête des ménages
/ est-ce nécessaire?
Qui devra être interrogé?
Qui devra être impliqué dans la
planification / la conduite de l’évaluation?
Quels médias préférables pour
communiquer les conclusions aux
différents?
35
Modèle d’évaluation
(recherche) ?
Questions
principales ?
Quoi évaluer (evaluand ) ?
Ressources disponibles ?
Temps disponible ?
Compétences
disponibles ?
Qualitative ?
Quantitative ?
Champ / Etendue ?
Niveau de rigueur qui
convient ?
Participative ?
Extractive ?
Une évaluation POUR qui ?
Tout cela aide, ou crée encore plus de confusion? Qui a dit
que les évaluations (comme la vie) seraient faciles?!!
36
Avant de retourner aux
étapes de la
SituationRéelle, regardons
de prés les niveaux de
rigueur, et à quoi peut
ressembler un plan
d’évaluation qui couvre la
vie du projet
37
Différent niveaux de rigueur
dépend de la source de preuve; du niveau de confiance; de l’utilisation de l’information
Objectif, grande précision – mais requiert plus de temps et de ressources
Niveau 5: Un projet de recherche avancée est entrepris pour conduire une
analyse en profondeur de la situation; P= +/- 1%
livre publié!
Niveau 4: Echantillon représentatif de la population cible utilisant les bonnes
méthodes d’échantillonnage et de collecte de données; P= +/- 5% décideur lit tout le
rapport
Niveau 3: Une enquête rapide est réalisée sur un échantillon acceptable de; P= +/10% décideur lit le résumé de 10 pages du rapport
Niveau 2: Un sélection relativement bonne de personnes diverses est interrogée
sur son appréciation du projet; P= +/- 25% décideur lit au moins le résumé exécutif du
rapport
Niveau 1: On demande à quelques personnes leur avis sur le projet;
P= +/- 40% décision prise en quelques minutes
Niveau 0: les impressions du décideur basées sur des anecdotes ou rumeurs
entendues au cours de bréves rencontres (discussions de couloirs),
généralement des intuitions; Niveau de confiance +/- 50%; Décision prise en quelques
secondes
Rapide & bon marché – mais subjectif, peu solide
38
REALISER UNE EVALUATION EST
COMME POSER UNE CANALISATION
LA QUALITE DE L’INFORMATION PRODUITE PAR UNE EVALUATION
DEPEND DU DEGRE DE RIGUEUR DE TOUTES LES COMPOSANTES
NIVEAU DU “FLUX” (QUALITY) DE L’INFORMATION IS LIMITE A LA
PLUS FAIBLE COMPOSANTE DU “CANAL” DE L’ENQUETE
Determiner les degrés de précision appropriés
pour les éléments d’un plan d’évaluation couvrant la Vie-duRigueur Elevée
projet
Même degré de rigueur
4
Evaluation
Finale
Enquête de
base
Evaluation
mi-parcours
3
Etude
Spéciale
Analyse des
Besoins
Auto-évaluation
annuelle
2
Rigueur
faible
Temps au cours du cycle de
vie du project
41
TEMPS POUR DISCUSSION
EN PETITS GROUPES
42
1. Présentez-vous
2. Quelles contraintes
analogues avez-vous
affronté dans votre
pratique d’évaluation?
3. Comment avez-vous
réagi?
43
Evaluation en
SituationRéelle
Concevoir des évaluations en tenant compte des contraintes
associées au budget, aux délais, à la disponibilité des données
et à la situation politique
SCHEMAS
D’EVALUATION
44
En quoi consiste alors une
“évaluation d’impact rigoureuse”?
1.
Une relation directe cause-effet liant un extrant (ou un
nombre réduit d’extrants) à un résultat qui peut être
mesuré à la fin du projet de recherche?  une attribution
assez claire.
… OU …
2.
Des changements dans les indicateurs de haut-niveau
mesurant l’amélioration persistante de la qualité de vie des
individus, ex. les OMDs (Objectifs du Millénnaire pour le
Dévelopment)?  Plus significatif mais beaucoup plus
difficile pour établir l’attribution directe.
45
En quoi consiste alors une
“évaluation d’impact rigoureuse”?
OECD-DAC (2002: 24) définit l’impact comme “Effets à
long terme, positifs et négatifs, primaires et secondaires,
induits par une action de développement, directement ou
non, intentionnellement ou non. Ces effets peuvent être
économiques, socioculturels, environementaux,
technologiques ou autre”.
L’attribution directe est-elle mentionnée ou induite? Qu’en
est-il de l’utilisation de contrefactuels ou de Contrôles
Aléatoires d’Essai (CAE)?
46
Quelques objectifs de l’évaluation de
programme





Formative: apprentisage et amélioration y compris
l’identification précoce de problémes éventuels
Génération de Connaissance: identifier les relations et les
principes génériques de l’éfficacité.
Redevabilité: démontrer que les ressources sont utilisées
de façon efficiente pour atteindre les résultats souhaités
Jugement Sommatif: déterminer la valeur et le devenir du
programme
Evaluation développementale: adaptation en contexte
complexe, émergent et dynamique
-- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, pages 139-140
47
Determiner un modéle d’évaluation
qui convient (et qui est réaliste)
A partir de l’objectif principal d’une
évaluation, de la compréhension des
besoins d’information du client, du
dégré de rigueur requis, et ce qui est
faisable du fait des contraintes,
l’évaluateur et le client peuvent
déterminer le modéle d’évaluation
adapté aux circonstances.
48
Quelques considérations relatives à
la conception de l'évaluation
1: Quand l’évaluation se passe
(référence, mi-parcours, fin)
2. Revue de différents modéles
(expérimental, quasi-expérimental, autre)
3: Degré de rigueur
4: Méthodes qualitatives & quantitatives
5: Une vision du schéma d’évaluation qui
couvre la Vie-du-project.
49
Introduction aux différents modèles d’évaluation
Pour illustrer la nécessité d’un modèle d’évaluation
chronologique et longitudinal quasi expérimental
Participants au projet
Groupe témoin
Étude de
base
Évaluation en
fin de projet
Échelle des grands indicateurs d’impact
Évaluation
post projet
50
D’accord, on s’arrête un
instant pour identifier chacun
des grands types de modèles
d’évaluation (recherche)…
… un à la fois en commençant par les
plus rigoureux
.
51
First of all: the key to the traditional symbols:




X = Intervention (traitement), c’e.-à-d. ce que
le projet fait dans la collectivité
O = Observation (c’e.-à-d. état des lieux,
évaluation à mi-parcours, évaluation en fin de
projet)
P (ligne du haut) : participants au Projet
C (ligne du bas) : groupe Témoin (Contrôle)
Note: les 7 méthodes d’ESR sont exposées en page 8 de la revue du livre
RealWorld Evaluation
52
Modèle 1 : Longitudinal quasi expérimental
P1
X
P2
C1
X
C2
P3
P4
C3
C4
Participants au projet
Groupe témoin
Étude de
base
Évaluation à
mi-parcours
Évaluation en fin
de projet
Évaluation
post-projet
53
Modèle 2 : Quasi expérimental (pré+post, avec ‘témoin’)
P1
X
P2
C1
C2
Participants au projet
Groupe témoin
Étude de
base
Évaluation en fin
de projet
54
Modéle #2+: Essais à Contrôle Aléatoire
P1
X
P2
C1
Participants au
projet
C2
Sujets de
récherche assignés
aléatoirement au
projet ou au
groupe controle.
Groupe controle
Etude de base
Evaluation en
fin de projet
55
Modèle 3 : Longitudinal tronqué
X
P1
X
C1
P2
C2
Participants au
projet
Groupe témoin
Évaluation à
mi-parcours
Évaluation en
fin de projet
56
Modèle 4 : Pré+post projet, comparaison post seulement
P1
X
P2
C
Participants au projet
Groupe témoin
Étude de
base
Évaluation en
fin de projet
57
Modèle 5 : post-test avec groupe de projet et groupe témoin
X
P
C
Participants au projet
Groupe témoin
Évaluation en
fin de projet
58
Modèle 6 : pré+post projet, pas de comparaison
P1
X
P2
Participants au projet
Étude de
base
Évaluation en
fin de projet
59
Design #7: post test avec juste les participants au projet
X
P
Participants au projet
end of project
evaluation
60
Cf. Table 2.2 en page 8 de la Revue Condensée du RWE
D
e
s
i
g
n
T4
cont.)
(endline)
(ex-post)
X
P3
C3
P4
C4
X
P2
C2
X
P2
C2
X
X
P2
C2
X
X
P1
C1
X
X
P2
X
X
P1
X
(baseline)
(intervention)
1
P1
C1
X
2
P1
C1
X
3
4
X
P1
5
6
7
P1
T2
X
T3
T1
(midterm)
P2
C2
P1
C1
(intervention,
61
Evaluation en
SituationRéelle
Concevoir des évaluations en tenant compte des contraintes
associées au budget, aux délais, à la disponibilité des données
et à la situation politique
MODELES
LOGIQUES
62
Définir le modéle de la théorie
de programme
Tous les programmes sont fondés sur un
ensemble d’hypothèses quant aux façons dont
les interventions du projet devraient mener aux
effets directs souhaités
 Ceci est parfois énoncé clairement dans les
documents de projet
 Dans d’autres cas, ces hypothèses sont
implicites et l’évaluateur doit aider les parties
concernées à définir les hypothèses au moyen
d’un modèle logique.
63
Définir le modéle de la théorie
de programme

Définir et tester les hypothèses clefs est
un élément essentiel (mais souvent
ignoré) des modèles de théorie de
programmes

Le modèle suivant est pour évaluer les
impacts du microcrédit en termes
d’augmentation de l’autonomie sociale et
économique des femmes
64
Hypothéses essentielles de la Chaine
Logique dans un Programme de MicroCrédit Exclusivement-Genre




Pérennité
• Les changements structurels méneront aux impacts à long terme.
Impacts à moyen et long terme
• L’autonomie économique et sociale des femmes a augmenté.
• Le bien-être social et économique des femmes et de leur famille va
s’améliorer.
Effets directs à court terme
• Si les femmes obtiennent des prêts, elles se lanceront dans d’autres
activités génératrices de revenus
• Les femmes pourront contrôler l’usage des prêts et rembourseront.
Extrants
• Si le crédit leur est accessible, les femmes voudront le solliciter et
l’obtenir, ainsi que l’Assistance Technique.
65
Example de menace à la validité
interne: le modéle causal supposé
Augmente le revenu
des femmes
Les femmes adhérent à la
banque du village,
Recoivent les prêts,
Apprennent les compétences et
acquiérent la confiance en soi
CE QUI ………
Augmente le contrôle
des femmes sur
Les ressources du ménage
CE QUI …
Un modéle causal alternatif
Certaines femmes ont
déjà pris des cours
d’alphabétisation qui
ont augmenté leur
confiance en soi et
Leur compétence au
travail
Les femmes qui ont pris
Les cours d’alphabétisation
sont plus susceptibles de
joindre la banque du village
Leur alphabétisation et
confiance en soi en font
des entrepreneurs
plus efficaces
Le revenu des femmes
et leur contrôle des
Resources du ménage
Ont augmenté du fait de
La combinaison de
L’alphabétisation, la
confiance en soi et
des prêts
Conséquences
Conséquences
Conséquences
PROBLEME
CAUSE
PRIMAIRE 1
Cause
secondaire 2.1
Cause
tertiaire 2.2.1
CAUSE
PRIMAIRE 2
CAUSE
PRIMAIRE 3
Cause
secondaire 2.2
Cause
secondaire 2.3
Cause
tertiaire 2.2.2
Cause
tertiaire 2.2.3
Consequences
Consequences
Consequences
IMPACT SOUHAITE
EFFET 1
EFFET 2
EFFET 3
EXTRANT 2.1
EXTRANT 2.2
EXTRANT 2.3
Intervention
Intervention
Intervention
2.2.1
2.2.2
2.2.3
Reduction de la pauvreté
Femmes Autonomisées
Femmes en
position de
leaders
Politiques
d’éducation
améliorées
Parents persuadés
d’envoyer les filles
à l’école
Jeunes
femmes
éduquées
Opportunités
économiques
des femmes
Enrollment des
femmes
augmente
Curriculae
améliorés
Ecoles
construites
Systéme
scolaire recrute
et paie les
enseignants
Pour avoir une synergie et atteindre l’impact tous ces besoins doivent
avoir une réponse d’une même population cible.
But du Programme:
Jeunes femmes éduquées
Projet de
plaidoyer:
politiques
d’éducation
améliorées
mises en
oeuvre
HYPOTHESE
(que d’autres le fairont)
Projet de
Construction:
plus de
classes
construites
NOTRE project
Projet de
formation
des
enseignants :
meilleure
qualité des
curriculae
Le PARTNAIRE le fera
But du programme au niveau de l’impact
Que faut-il pour mesurer les
indicateurs à chaque niveau?
Impact : Enquête de population
(situation de référence, évaluation finale)
Effets: Changement de comportement des participants
(peut faire l’objet d’une enquête annuelle)
Extrant: Mesuré et rapporté par le personnel du projet
(annuellement)
Activités: Continues (suivi des interventions)
Investissements: Continues (comptes financiers)
Nous avons besoin de savoir Quel type
d’évaluation est approprié pour mesurer à
un niveau donné
• Impact
• Effets
• Extrants
• Activités
• Investissements
EVALUATION D’IMPACT
EVALUATION DE PROJET
SUIVI DE PERFORMANCE
Un Modéle de Théorie de Programme (Logique)
Contexte
Economique
dans lequel le
projet opère
Conception
Investissements
Context Politique
dans lequel le
projet opère
Processus
de mise en
oeuvre
Extrants
Contexte
Institutionel et
operationel
Effets
Impacts
Durabilité
Caractérisqtues Socio-economiques et culturelles
de la population d’intervention
Note: les cases orange font partie des Modéles de Théorie de Programme conventionnels.
L’addition des cases bleues constitue le complément d’analyse recommandé
74
75
Education Intervention Logic
Output
Clusters
Institutional
Management
Specific
Impact
Outcomes
Better
Allocation of
Educational
Resources
Increased
Affordability of
Education
Quality of
Education
Economic
Growth
Skills and
Learning
Enhancement
MDG 2
Equitable
Access to
Education
Improved
Participation in
Society
Education
Facilities
MDG 3
Poverty
Reduction
MDG 1
Social
Development
MDG 2
Health
Global
Impacts
Improved Family
Planning &
Health Awareness
Curricula &
Teaching
Materials
Teacher
Recruitment
& Training
Intermediate
Impacts
Greater Income
Opportunities
Optimal
Employment
Source: OECE/DAC Network on Development Evaluation
Etendre la chaîne de résultats pour les
programmes multi-donateurs, multi-composantes
Impact
Effets
Revenu
ménages ruraux
augmenté
Production
Accrue
Participation
Politique
Accrue
Accés à l’emploi
hors-ferme
Performance
d’Education
Améliorée
Scolarisation
accrue
Santé
Améliorée
Utilisation accrue des
services de santé
Intermédiaire
Extrant
Intrant
Crédit
aux petits
fermiers
Donateurs
(PTFs)
Routes
Rurales
Gouvernment
Ecoles
Services de
Santé
Autres donateurs
L’Attribution devient trés difficile! Considérer les contributions possibles pour chacun
TEMPS POUR LA PAUSE !
78
78
Evaluation en
SituationRéelle
Concevoir des évaluations en tenant compte des contraintes
associées au budget, aux délais, à la disponibilité des données
et à la situation politique
En l’Absence de
Référence
(etude de base)
Moyens de reconstituer les
conditions préalables
A.
B.
C.
D.
Données secondaires
Dossiers (archives) du project
Recours aux souvenirs
Répondants clefs
80
Moyens utilisés pour reconstituer
la situation préalable
E.
MARP (Méthode Accélérée de
Recherche Participative) et AAP
(Apprentissage et Action Participatifs)
et autres approches participatives tel
que les échéanciers (ou lignes
temporelles), les évènements critiques
pour aider à établir la chronologie des
changements importants dans la
communauté
81
Déterminer l’utilité des données
secondaires






Période de référence
Couverture de la population
Inclusion des indicateurs requis
Exhaustivité
Exactitude
Absence de biais
82
Examples de données secondaires
pour reconstituer la situation de
référence






Recensement
Autres enquêtes par les agences du
gouvernement
Etudes spéciales des ONGs, Donneurs,
Recherches universitaires
Médias (journaux, radio, TV)
Données externes éventuellement
collectées par la structure de mise en
oeuvre pour suivre les tendances
83
Utilisation de l’information
interne du projet
Types de données
 Etudes de Faisabilité/plannification
 Documents d’Application/d’enregistrement
 Rapports de Supervision
 Données du Systéme de Gestion de l’Information
 Les rapports et minutes des réunions
 Les minutes des réunions des agences et des
communautés
 Rapports de mise en oeuvre
 Documentation de suivi des activités
84
Apprécier la validité des
documents du projet




Qui a collecté les données, à quelles fins?
La collecte était destinée à conservation les
archives, ou influencer les décideus
politiques ou d’autres groupes?
Les données de Suivi concernent les
activités seules ou les changements
observés?
Les données éaient-elles à usage interne
seulement? Pour un groupe restreint? Ou à
usage public?
85
Examples de Recours au
Souvenir








Fréquentation scolaire et durée et coût du trajet
Maladie/utilisation des établissements sanitaires
Revenus et Dépenses
Savoir/compétences individuels et collectifs
Cohésion sociale/conflits
Utilisation/qualité/coût de l’eau
Périodes de stress
Habitudes de déplacement
86
Limites des Souvenirs




Generallement peu fiable en cas de besoin
de données quantitatives précises
Biais de sélection de l’échantillon
Distorsions délibérées ou non-intentionelles
Peu d’études empiriques (sauf sur les
dépenses) pour aider à revoir les
estimations
87
Sources des biais dans les
souvenirs





Qui fournit l’information
Sous-estimation du souvenir sur les dépenses majeures
Distorsion pour se conformer au comportement accepté:
•
•
•
Intentionnel ou inconscient
Romancer/Glorifier le passé
Exagérer (ex.. “Nous n’avions rien avant l’arrivée de ce projet”)
Facteurs contextuels:
•
•
Les intervalles de temps utilisés en question
Les répondants ont leur idée sur ce que leur interlocuteur
cherche à savoir
Implications du protocole d’interview
88
Améliorer la Fiabilité du Souvenir




Faire de petites études pour comparer le
souvenir aux enquêtes ou à d’autres éléments
d’information.
S’assurer que tous les groupes pertinents ont
été interrogés
Triangulation
Lier le souvenir à d’importants évènements de
référence
•
•
•
Eléctions
Sécheresse/Inondation/tsunami/guerre/déplacement
Construction de routes, écoles, etc
89
Répondants clefs


Pas seulement les officiels et VIPs
Tout un chacun peut être informateur
clef dans sa propre situation:
• Méres célibataires
• Ouvriers des usines
• Usagers des transports publics
• Travailleurs du sexe
• Enfants de la rue
90
Guides pour l’analyse des
informateurs clefs





Triangulation renforce sensiblement la
validité et la compréhension
Inclure des informateurs ayant differentes
expériences et perspectives
Comprendre le rôle de chaque informateur
dans la structure d’ensemble
Répéter les interviews autant que
nécéssaire
Gestion prudente des considérations
éthiques
91
MARP et autres techniques
participatives



Les techniques de MARP et AAP sont pour
la collecte de données au niveau du groupe
ou de la communauté [pas au niveau
individue]
Peut chercher à identifier un consensus ou
au contraire des perspectives différentes
Risque de biais:
• Si seulement certains groupes de la communauté
•
participent
Si certaines personnes dominent la discussion
92
Résumé des limites de la
reconstruction de données





Variations dans la fiabilité des souvenirs
Distortion dans la mémoire
Difficultés dans l’utilisation des données
secondaires
Données secondaires incomplètes ou
non fiables
Les informateurs peuvent pervertir les
récits
93
Assez de
presentations: temps
vous (AGENTS de la
VieRéelle!) de passer
l’action
Temps pour le travail
en petits groupes.
Lisez vos études de
cas et commencez les
discussions.
96
Etudes de cas dans les
petits groupes de travail
1.
2.
3.
Certains d’entre vous vont jouer le role
de consultants en évaluation, d’autres
celui de clients qui cherchent à
engager une évaluation.
Convenez de ce que votre groupe
propose face aux contraintes/défis
indiqués.
Préparez-vous à négotier les TDRs
L’objet de cet exercise est d’acquérir une certaine ‘touche’ pratique pour
appliquer ce que nous avons appris sur l’évaluation en SituationRéelle.
Groupe A (consultants) L'équipe d'évaluation doit envisager comment ils vont
proposer une conception de l'évaluation et un plan révisés qui réduisent le
budget de 25% à 50%, tout en répondant aux besoins des deux clients
(Services du logement de la Ville le bailleur de fonds international).
Groupe B (clients) Les clients vont aussi examiner la proposition initiale à la
lumière de ce qu'ils ont appris sur l'évaluation en SituationRéelle, et se
préparer à renégocier les plans avec le groupe de consultants. A noter: il existe
deux types de clients: le ministère du Logement (exécution du projet) et les
bailleurs de fonds internationaux (fondation).
Les groupes ont 45 minutes maintenant plus le temps de la pause déjeuner
pour préparer leur cas.
Les groupes de ‘Consultants’ vont ensuite rencontrer les groupes de ‘Clients’
plus tard pour négotier leurs propositions révisées dans le plan de cette
évaluation. 60 minutes seront disponibles pour ces sessions de négotiation.
Evaluation en
SituationRéelle
Concevoir des évaluations en tenant compte des contraintes
associées au budget, aux délais, à la disponibilité des données
et à la situation politique
Déterminer les
Countrefactuels
Attribution et countrefactuels
Comment peut-on savoir si les changements
observés chez les participants au projet ou les
communautés
•
revenu, santé, attitudes, fréquentation de l’école. etc
sont dues à la mise en oeuvre du projet
•
crédit, eau, bons de transpor, construction d’écoles,
etc
ou à d’autres facteurs indépendants?
•
changements dans l’économie, flux migratoires,
autres programmes de dévelopment, etc
100
Le Countrefactuel

Quel changement aurait intervenu dans
la condition de la population cible
examinée en l’absence de l’intervention
du projet?
101
Où se trouve le countrefactuel?
Une étude a trouvé que le revenu
moyen d’une famille a augmenté
de 50% aprés 3 années de vie
dans un nouveau logement
alloué par un projet
Est-ce cela indique que le
logement est un moyen efficace
d’accroître le revenu?
102
I n c o m e
Comparer le projet avec deux
groupes de comparaison possibles
Le groupe du projet. 50% augmentation
750
Scenario 2. 50% croissance
dans le groupe de comparaison:
Pas de preuve d’impact du
projet
Scenario 1. Pas d’accroissement
dans le revenu du groupe de
comparaison. Preuve potentielle
de l’existence d’impact du projet
500
250
2004
2009
Groupe de contrôle et Groupe de
comparaison


Groupe de contrôle = assignation aléatoire de
la population au groupe du projet et au groupe
hors-projet
Groupe de comparison = procédure différente
pour la sélection des groupes du projet et
hors-projet; les 2 groupes restent toutefois
similaires pour tout sauf l’exposition au projet
(traitement, intervention)
104
IE Designs: Experimental Designs
Contrôles Aléatoires
d'Essais
Les individus, communautés, écoles etc.
éligibles sont assignés aléatoirement soit:
• au groupe du projet group (qui reçoit les
services)
Ou
• au groupe de contrôle (qui n’a pas accés aux
services du projet)
105
Primary Outcome
Une illustration graphique du
countrefactuel ‘ideal’
basé sur l’avant-project et
l’assignation aléatoire
Sujets assignés au
hasard soit au…
Intervention
IMPACT
Impact
Groupe Traité
Groupe de
Contrôle
Time
106
Il existe d’autres méthodes pour
déterminer le countrefactuel



Des données secondaires fiables qui
indiquent les tendances pertinentes dans la
population
Des données longitudinales de suivi (si
couvrent la population non ciblée par le
projet)
Les méthodes qualitative pour collecter
l’avis des informants, participants, voisins,
etc.
107
Moyens de reconstruire les
groupes de comparaison



Comparer le jugement des communautés
Dans un projet à intégration par phases
aux services du projet, les bénéficiaires
de phases ultérieures peuvent servir de
groupe de comparaison “pipeline”
comparison groups
Contrôles internes lorsque différents
sujets reçoivent différentes combinaisons
et niveaux de services.
108
Utiliser le score de propension
et d’autres outils pour renforcer
les groupes de comparaison


Appariement sur le score de propension pour
réduire le biais de recrutement
Les études d’évaluation Rapide permettent
de comparer les charactéristiques des
projets et groupes de comparaison en
utilisant :
•
•
•
•
•
L’Observation
Les informateurs clefs
Des groupes Foci (Focus groups)
Des données secondaires
Des photos aériennes ou données des SIG / GIS
109
Considérations dans la
reconstruction des groupes de
comparaison





Il est difficile de répliquer (clôner) des zones
de projet souvent choisies à dessein
En cas de differences entre les groupes du
projet et de comparaison groups – difficile de
déterminer si les effets observés sont dues au
project au aux différences initiales
Absence de donnée de qualité pour chosir le
groupe comparaison
Contamination (les bonnes idées s’exportent!)
Les méthodes économétriques ne peuvent
pas éliminer complétement les différences
initiales entre groupes [non-observables]
110
Quelles a été votre expérience dans
l’identification de données
countrefactuelles?
111
Evaluation en
SituationRéelle
Concevoir des évaluations en tenant compte des contraintes
associées au budget, aux délais, à la disponibilité des données
et à la situation politique
Défis et
Stratégies
113
Discutons des défis pour
réaliser des évaluations
d’impact dans le monde
réel.
114
Some recent developments in
impact evaluation in development
2003
2006
J-PAL is best understood as a network of
affiliated researchers … united by their use of
the randomized trial methodology…
2008
Impact Evaluation for
Improving Development –
3ie and AfrEA conference in
Cairo March 2009
2010
2009
115
Alors, est-ce à dire que l’allocation aléatoire
(CAE/RCTs) constiuent la Régle d’Or et devrait être
utilisé dans la plupart voire la totalité des
évaluations d’impcat de programmes?
Oui ou Non?
Pourquoi ou Pourquoi pas?
Si Oui, dans quelles ciconstances
utiliser ces méhodes?
Si non, dans quelles circonstances
seraient-elles plus indiquées?
116
Differentes visions sont nécéssaires
pour des situations différentes en
SituationRéelle
Simple
Compliqué
Complexe
Suivre une recette
Envoyer une roquette à
la lune
Eudquer un enfant
Les Recettes sont testés Envoyer une roquette à
pour assurer une
la lune accroît
répétition facile
l’assurance que le
prochain sera aussi un
succés
Eduquer une enfants
procure de l’expérience
mais n’est pas une
garantie de succés pour
le prochain
Les meilleures recettes
donnent de bons
résultats à chaque fois
Incertitude quant au
résultat
Il ya un grand degré de
certitude du résultat
Source: Westley et al (2006) and Stacey (2007), cité in Patton 2008;
également présenté par Patricia Rodgers à la conference sur l’evaluation d’impact au Caire en 09.
117
Politique basée sur l’Evidence pour des interevntion
simples (ou des aspects simples): quand les essais
aléatoires peuvent être utiles
Question à poser pour la Politique 
Qu’est-ce qui marche?
A quoi ressemblent les interventions

Intervention distincte, standard
Modéle Logique 
Relation cause  effet simple, directe
Comment les interventions
fonctionnent 
Même chose partout dans une large
mesure
Processus nécéssaire à l’émergence
de l’ émegence de l’évidence
uptake 
Transfert de Connaissance
Adapted from Patricia Rogers, RMIT University
118
Quand l’évaluation rigoureuse des
indicateurs d’impact de haut-niveau n’est
pas nécéssaire?)



Les programmes compliqués, complex, avec de multiple
interventions et une variété d’actors
Projets réalisés en contexte de turbulence (ex. conflits,
désastre naturel)
Projets ayant des modéls logiques à différentes strates, des
relations cause-effet peu claires, des “énoncés de vision“
de trés haut niveau (comme c’est souvent le cas en
SituationRéelle ou dans les projets de développement de la
coopération internationale)
119
Quand les évaluations rigoureuses des
indicateurs “impact” de hau-niveau
pourraient nepas être nécessaires?

Les évaluateurs pourraient considérer l’approche suivante:
si la corrélation entre les effets intemédiaires (outcomes) et
l’impact de plus haut niveau ont été établis de façon
adéquate par la recherche ou des évaluation antérieures,
alors on pourait se limiter à évaluer les indicateurs de
résultat intérmédiaire, pour autant qu’il soit possible de
prouver que le contexte (conditions internes et
externes) est suffisament similaire au context dans
lequel de telles corrélarions ont été testées.
120
Examples de corrélations cause-effect
correlations généralement acceptées
• Vacciner les jeunes enfants utilisant les
protocoles et vaccins connus aux âges
prescrites entraîne la réduction de maladies
infantiles (moyens de vérification comprennent
examiner les diagrammes de santé des enfants, pas
seulement la quantité de vaccins distribués aux
cliniques.)
•
Autres exemples … ?
121
Mais regardons les examples d’interventions qui
ont fait l’objet de “test rigoureux” usant les essais
aléatoires
• Les transferts de Cash Conditionnels
• L’utilisation de l’aide visuelle dans les écoles
du Kenya
• Déparatisage des enfants (comme si cela était
tout ce qu’il y avait à faire pour les rendre aptés à
recevoir une bonne éducation)
• À noter que de genre de recherche se base
sur la quête de Points d’argent – des
solutions simples, à coûts réduits pour des
122
problémes complexes.
“Une réponse approximative à la bonne
question, est souvent vague, est bien
meilleure qu’une réponse exacte à la
mauvaise question, qui peut toujours
être précisée”.“
J. W. Tukey (1962, page 13), "The future of data analysis".
Annals of Mathematical Statistics 33(1), pp. 1-67.
Quoted by Patricia Rogers, RMIT University
123
“Un expert est quelqu’un qui connaît de
plus en plus sur de moins en moins
jusqu’au moment où il connaîtra
absolument tout sur rien du tout.”*
*Quoted by a friend; also available at www.murphys-laws.com 124
Est-ce cela ce que nous appelons
“Méthode scientifique”?
Il existe bien plus sur l’impact, la rigeur et
“la méthode scientifique” que les seuls
Essais Aléatoires. Les évaluations
d’impacts sérieuses requiérent une
approche plus holistique.
125
Consequences
Consequences
Consequences
IMPACT SOUHAITE
EFFET 1
OUTCOME
2
EFFET 3
Un modèle plus comprehensive
OUTPUT 2.1
Intervention
2.2.1
OUTPUT 2.2
E
Contrôles
Aléatoires
Intervention
2.2.2
d’Essai
OUTPUT 2.3
Intervention
2.2.3
Il peut y avoir des problémes de
validité avec les CAEs


Validité Interne
Problémes de quality – mauvaise mesure, faible respect de
l’aléatoire, pouvoir statistique faible, effets différentiels ignorés,
comparaisons inappropriée, pêche à la signification statistique,
attrition différentielle entre groupes de traitement et de contrôle,
des fuites dans le traitement, une influence non planifiée, faible
qualité de la mise en oeuvre non identifiée.
Autres considérations – erreurs dans l’aléatoire, contamination
d’autres sources, need d’un paquet causel compley, random error,
contamination from other sources, need for a complete causal
package, défaut d’aveuglement.
Validité Externe
Efficacité dans la pratique en situation réelle, transférabilité à de
nouvelles to situations
Patricia Rogers, RMIT University
127
Utilisée limitée des modéles
rigoureuses d’évaluation

En SituationRéelle (au moins dans les
programmes de développement
international) nous estimons que:
• Moins de 5%-10% des évaluations d’impact de
•
projets utilisent une méthode expériementale ou
quai-expérimentale solide
moins de 5% d’entre elles se font au moyens de
contrôles aléatoires (la méthode expérimentale
‘pure’), ce qui est peu significatif,
128
Dans le contexte réel de la coopération
international au développement, quels modés
d’évaluation sont effectivement utilisés? Conclsions
de méta-evaluations portant sur 336 rapports
d’évaluation d’une ONG Internationale
Post-test seuls
59%
Avant-et-Aprés
25%
Avec-et-Sans
15%
Autre
contrefactual
1%
Des évaluations d’impact rigoureuses
devraient inclure (sans être limité à):
1) Une large consultation et l’implication d’une
diversité de parties prenantes,
2) L’articulation d’un modéle logique
compréhensif, qui prévoit les influences
extérieures pertinentes,
3) Un accord sur le “niveau d’impact”
souhaitable, en termes d’objetifs et
d’indicateurs,
4) Adapter les shémas d’évaluation, tout comme
la collecte de données et l’analyse
méthodologique pour répondre aux questions
posées, …
Des évaluations d’impact rigoureuses
devraient inclure (sans être limité à):
5) Un suivi et la documentation adéquate du
processus au travers de la vie du projet objet de
l’évaluation,
6) l’utilisation d’une combinaison adéquate de
méthodes pour trianguler l’évidence qui est en
cours de collecte,
7) Être suffisamment flexible pour intégrer un
contexte évolutif, …
Des évaluations d’impact rigoureuses
devraient inclure (sans être limité à):
8) l’utilisation d’une variété de moyens
pour déterminer le contrefactuel,
9) l’estimation de la pérénnité probable
des changements en observation,
10) La communication des conclusions
à differents publics de façon utile,
11) etc. …
Ce qu’il faut retenir est que la
liste de ce qui est requis
pour une évaluation d’impact
‘rigoureuse’ va bien au delà
du hasard dans la sélection
des groupes de traitement et
de ‘controle’.
Chercher à réaliser une évaluation d’impact
d’un programme au moyen d’un seul outil prédéterminé est un signe de myopie, ce qui est
dommage.
D’un autre côté, prescrire aux donateurs et aux
responsables des agences de coopération qu’il
existe une seule méthode de prédilection pour
mener toutes les évaluations d’impact peut
avoir et a eu des conséquences fâcheuses
pour tous ceux qui sont impliqués dans la
conception, la réalisation et l’évaluation des
programmes internationaux de dévelopment.
Nous devons être prudents en
utilisant l’“Etalon d’Or”
de ne pas porter atteinte à la
“Régle d’Or”:
“Ne juge pas ce en quoi tu ne
souhaites pas être jugé!”
En d’autres termes:
“Evaluez autrui comme tu voudrais
les voir t’évaluer.”
Attention: Trop souvent ce qui est appelé Evaluation
d’Impact est basé sur une paradigme du genre “nous
t’examinerons et te jugerons’”. Et au moment d’évaluer nos
propres programmes, nous préférons une approche plus
holistique.
Pour utiliser le language du CAD/OCDE, assurons-nous
que nos évaluations se font en référence à ces critères:
PERTINENCE: dans quelle mesure l’activité finacée par
l’aide est-t-elle en phase avec les priorités et les politiques
du groupe cible, bénéficiaire et du donateur.
EFFICACITE: Dans quelle mesure l’activité objet du
financement de l’aide atteint ses objectifs.
EFFICIENCE: L’Efficience mesure les extrants – qualitatifs et
quantitatifs – en relation avec les intrants.
IMPACT: Les changements positifs et négatifs produits par
une intervention de développement, directement ou
indirectement, intentionnellement ou non intentionnellement.
DURABILITE: s’intéresse à mesurer si les bénéfices d’une
activité sont susceptibles/en de perdurer à l’issue de la
période du financement. Les projets ont besoin d’une
durabilité financière et environnementale à la fois.
La questions suivante définit la ligne de
conduite:
Est-ce que nos programmes
contribuent de façon plausible à un
impact positif sur la qualité de vie
des bénéficiaires que nous avons
défini?
Ne les oublions pas!
139
139
D’autres questions?
140
Temps pour les équipes
de consultation de
rencontrer les clients
pour négocier la révision
des TDRs du projet de
logements.
141
En conclusion:
Les évaluators doivent être préparés à:
1.
Entrer dans le cycle du projet à une étape plus
tardive;
2.
Travailler sous la contrainte de budget et la
restriction de temps;
3.
Ne pas disposer de données de référence
comparable;
4.
De travailler sans un groupe de comparaison;
5.
Travailler avec un nombre limité de chercheurs
en évaluation bien qualifiés;
6.
Reconcilier une diversité de paradigmes
d’évaluation, de besoins d’information, et de
parties prenntes.
142
Principaux messages de
l’Atelier
1.
2.
3.
4.
5.
Les Evaluateurs doivent être préparés pour les défis
de l’évaluation en SituationRéelle.
Il existe une expérience trés riche pour s’en inspirer
Un boite d’outils de techniques d’évaluation en
“SituationRéelle” est accessible (cf.
www.RealWorldEvaluation.org).
Ne jamais invoquer les contraintes de temps et de
budget comme excuse à une approche d’évaluation
qui ne se défend pas.
Une liste de contrôle sur des situations de “menace
à la validité” vous aidera à identifier honnêtement les
faiblesses potentielles dans vos choix conceptuels et
143
l’analyse.
Nous espérons que ces idées vous seront utiles
dans votre quête et pratique de l’Evaluation en
SituationRéelle!
144