Transcript Ingénierie de formation et Compétence

Agence AEF
23 novembre 2010
Séminaire thématique sur
l’évaluation destiné aux
porteurs de projets du
programme LLP
Alexia PEYSER
Eliane GODELET
Xavier ROSY
www.bief.be
Place des Peintres, 5
1348 Louvain-la-Neuve
010 / 45. 28.46
Objectifs de la journée
d’évaluation
Objectifs



Mieux définir l’évaluation dans le cadre des projets LLP et
l’intérêt de sa mise en œuvre
Fournir des exemples d’outils et méthodes aux porteurs de
projet
Initier ou valoriser un processus de culture de
l’évaluation au sein des projets
Moyens


Présentation de bonnes pratiques provenant des porteurs de
projet
Echange en atelier sur les expérience de mise en œuvre
d’actions d’évaluation et sur les améliorations possibles
2
le BIEF

Bureau d ’Ingénierie en Education et en Formation
o
Equipe pluridisciplinaire de 20 personnes
o
22 ans d ’expériences au service de la formation dans
les administrations, entreprises et réseaux éducatifs.
o
Formation et Accompagnement en Gestion de projet,
en Gestion des compétences, Formation de
formateur,…
o
www.bief.be
3
Agenda de la journée
8h30
9h00
ACCUEIL
Introduction (Présentation du déroulé de la journée de travail)
PARTIE 1 : « L’évaluation d’orientation »
9h10
10h45
Présentation des enjeux de l’évaluation d’orientation
Bonne pratique : Une ardeur d’enfance – EQUAL I et II - Sylvie Lefèbvre de Promemploi
Travail en ateliers (60 minutes)
PAUSE
PARTIE 2 : « L’évaluation de régulation »
Présentation des enjeux de l’évaluation de régulation
11h00
12h35
13h30
15h05
16h00
Bonne pratique : Projet Pass’Tic – Grundtvig - Sandra Langevin du Centre communal
d'action sociale de la Commune de Carvin
Travail en ateliers (60 minutes)
LUNCH
PARTIE 3 : « L’évaluation de validation »
Présentation des enjeux de l’évaluation de validation
Présentation de deux bonnes pratiques :
UCL Stage - Mobilité - Bart Stoffels de l’UCL
«3 ponts » Comenius - Marie-France Grégoire de l’école de 3 Ponts
Travail en ateliers (60 minutes)
Conclusions de la journée
Fin de la journée
4
Les thématiques abordées
Les 3 moments d’évaluation rencontrés au cours d’un
projet:



Avant de débuter le projet: l’orientation (ex ante)
Que fait-on et quels sont les objectifs prioritaires?
Pendant sa mise en œuvre: la régulation - suivi
Que fait-on lorsque la planification est chamboulée?
A la fin du projet: la validation (éval. finale, ex post)
A-t-on atteint le(s) objectif(s) visé(s)?
5
Le cycle de l’évaluation dans un
projet
Nouveau projet?
Orienter
Avant le projet
Valider
En fin de projet
Réguler
Pendant le projet
BIEF © 2010
6
Introduction
Et maintenant
une
définition…
DE KETELE, 1989
8
Évaluer ?

L’évaluation est un processus qui consiste
• à recueillir un ensemble d’informations
suffisamment pertinentes, valides, fiables
• et à examiner le degré d’adéquation entre
- cet ensemble d’informations
- et un ensemble de critères et d’indicateurs
qualifiant les objectifs à évaluer
• en vue de prendre une décision.
9
Les moments d’évaluation
Situation désirée
Valeur ajoutée
et impact
Situation
présente
Validation
Régulation Evaluation
Orientation Evaluation
finale
Evaluation à mi-parcours
a priori
Et continue
Temps
Validation
Evaluation
de l’impact ou
a posteriori
10
Recueil d’informations
Par qui:
•Interne, externe
•Responsable, N, N+1,
Auprès de:
•Participants, clients, N;
N+1,N+2, N-1,…
•Sur le terrain : entretien,
groupe de parole, observation
questionnaire fermé/ouvert
•En chambre : données,
document,…
Où et
comment:
Quand:
•A froid / à chaud
•Avant, au début, pendant, à la
fin, après
11
L’enjeu de la formalisation
Répond à plusieurs enjeux fondamentaux:
o
o
Support de communication et d’échange interne et externe
Pérennisation:
• Pour la suite du projet ou les projets suivants
• Eviter les même erreurs
o
Facilite la décision
Afin d’éviter le piège d’une formalisation lourde :
o
Formaliser au niveau le plus proche du terrain
o
Outils simples, cohérents, utilisables facilement
o
Penser à l’utilisation de l’info recueillie: quelle décision
prendre, quand et comment?
12
Partie 1
L’évaluation
d’orientation
1. L'évaluation d'orientation
Nature de
la décision
à prendre

Décider
o
de l’orientation à prendre
o
o
u
ex: objectifs à
atteindre,
évaluation a priori
des ressources à mobiliser, des priorités ex : faisabilité,
du lancement des actions
ex : chance de réussite
Produit
Débouche sur
une (ou plusieurs) direction(s)
avec indication de celle(s) à suivre
Objet de l’évaluation
Les potentialités
Déterminer
(ce qui pourrait bien fonctionner)
des objectifs
et les risques
pertinents
(ce qui pourrait ne pas bien fonctionner)
u
14
2. Les étapes de l’orientation
ò Analyse des parties prenantes
ò Analyse de la situation actuelle
ò Identification de la situation souhaitée
ò Prioritisation des objectifs
15
Outil d’analyse des
parties prenantes
Élevée
Actifs négatifs
Actifs positifs
Passifs négatifs
Passifs positifs
Négative
Positive
Faible
Influence
Position
16
2. Les étapes de l’orientation II
ò Analyse des parties prenantes
ò Analyse de la situation actuelle
ò Identification de la situation souhaitée
ò Prioritisation des objectifs
17
Analyse de la situation actuelle

Objectifs
o
o
o
Relever la perception des différentes parties
prenantes sur la problématique actuelle
Comparer les diverses perceptions afin d'aboutir à
une compréhension commune
Trianguler: croiser l’information afin d’en assurer la
fiabilité
18
2. Les étapes de l’orientation III
ò Analyse des parties prenantes
ò Analyse de la situation actuelle
ò Identification de la situation souhaitée
ò Prioritisation des objectifs
19
L'analyse de la situation souhaitée
Objectif
o
Décrire la « situation future idéale » à atteindre
o
Formulation sous forme d’objectifs à atteindre:
•
Les demandeurs d’emploi sont formés
•
Les enfants de moins de 6 ans dans la province du
Hainaut sont pris en charge durant la semaine
•
…
20
2. Les étapes de l’orientation IV
ò Analyse des parties prenantes
ò Analyse de la situation actuelle
ò Identification de la situation souhaitée
ò Prioritisation des objectifs
21
Prioritisation des objectifs


L’objectif (à long terme) retenu peut être
atteint de différentes manières ou en
suivant différentes stratégies.
Quel sera le plus pertinent, le plus
faisable et viable?
22
Les facteurs de réussite d'un
système d’orientation
Identifier les parties
prenantes et prendre en
compte des besoins
Favoriser
une prise de
décision
collégiale
Pour une prise de
décision orientée
et argumentéde
Se baser sur les
résultats
des expériences
passées
Prendre en compte
le contexte:
potentialités et risques
24
Partie 2
L’évaluation de
régulation Le suivi
Nature de
la décision
à prendre


2. L'évaluation de régulation
(Le suivi)
Réguler en continu
o
Remédier aux lacunes constatées
o
Décider des changements et ajustements à apporter en
vue de faciliter la réalisation des actions et l’atteinte des
résultats
o
…
Produit Débouche sur
un diagnostic et
sur une thérapeutique
Objet de l’évaluation
Les écarts (ce qui ne fonctionne pas)
Les éléments inattendus qui bouleversent la mise en
Déterminer
des objectifs
œuvre

pertinents
26
Le suivi de la mise en oeuvre

Composantes d’un suivi de qualité

Matrices / tableaux / systèmes pour la collecte de données
-

Basés sur les outils de la planification: chronogramme,
budget, …
Facile et rapide dans l’utilisation
Assigner des tâches et responsabilités :
-
Qui collectera les données?
-
Qui prendra les décisions?
-
Qui les mettra en oeuvre?
-
Qui doit être informé ?
-
Quand et comment?
27
Responsabilités et prise de
décisions: exemple
Acteur
Collection de
données
Prise de décisions
(comment / sur quoi?)
Informer (qui / sur quoi /
comment?)
Recevoir information
(comment / de qui?)
Responsab
le sur le
terrain
Au niveau des
activités
Au niveau des activités - à
moins que la décision
n’affecte pas le budget ou le
calendrier global
Informer le responsable du
projet sur le progrès du
projet + changements
(réunion mensuelle +
rapport trimestriel)
Fiches mensuelles sur le
progrès des activités,
préparées par les
bénéficiaires
Responsab
le du
projet
Au niveau des
résultats
Décisions importantes au
niveau des activités / en
concertation avec le
responsable sur le terrain.
Informer le directeur:
rapport bi-mensuel
Informer le bailleur de
fonds: rapport bi-annuel
Fiches mensuelles sur le
progrès du projet + rapport
trimestriel du responsable
sur le terrain
Directeur
-
Révision du rapport biannuel pour le bailleur de
fonds
Rapport bi-mensuel du
responsable du projet
Bailleur de
fonds
-
Doivent être impliqués
quand on prend des
décisions importantes qui
affectent le calendrier, le
budget ou les objectifs
-
Rapport bi-annuel
28
Les facteurs de réussite d'une
phase de suivi
Prévoir un outil
d’évaluation pratique
Règles et procédures de
prise de décision
spécifiés à l'avance
Diganostic et
thérapeutique
Mener une collecte
d'information et un
rapportage simples
 automatismes
(formalisation)
Mettre en
oeuvre les
décisions
29
Partie 3
L’évaluation finale
(Validation)
Nature de
la décision
à prendre

u
3. L'évaluation finale
Décider
o
de la réussite ou de l’échec du projet
o
de la poursuite ou de l’arrêt des actions
Produit
Débouche sur une preuve
se réfère aux indicateurs prouvant l’atteinte des
objectifs et des résultats intermédiaires
Objet de l’évaluation
Les réussites (ce qui fonctionne bien)
Éventuellement, les erreurs afin de "donner du
Déterminer
des objectifs
sens" à l'évaluation.
u
pertinents
31
Évaluation finale : Qui?

Auto-évaluation: les évalués = les évaluateurs

Evaluation interne: les évaluateurs  les évalués ,
mais appartiennent à la même structure / organisation

Evaluation externe: les évalués  les évaluateurs

Evaluation assistée: les évaluateurs externes
appuient le processus d’évaluation interne (facilitation,
proposer / concevoir des techniques et méthodologie,
analyse des résultats, etc.)
32
Les conditions de réussite de la
phase d’évaluation finale
TdR clairs,
Précis et
opérationnels
Appropriation
des résultats par
les parties
prenantes
Preuve de réussite/
échec
Sources
d’information
disponibles
Proposer des
recommendations
pour la suite
33
Termes de Référence (TdR) :
outil de gestion d’une évaluation finale



Ils définissent les objectifs de l’évaluation
Ils seront la base pour apprécier
l'exécution de la mission d’évaluation
Pour les consultants, ils formeront une
légitimation pour exécuter leur tâche
34
Format de base des TdR
1.
2.
3.
4.
5.
Données de base: contexte général, spécifique
Buts du projet: résultats attendus
Etapes du projet
Modalités de mise en œuvre du projet
Propositions financières
35
Le déroulement des
ateliers
Déroulement de l’atelier



Objectif :
o Echanger sur vos pratiques par petits groupes
o Et sur les améliorations possibles:
formalisation, aide à la décision, participation
Quand: après chaque présentation de la phase et
d’une bonne pratique
Durée: 60 minutes
37
Le déroulé de chaque atelier
1
Présentation de l’étape et des
consignes:
5 minutes
2
Travail en 3 sous-groupes de 10
personnes
25
minutes
3
Restitution des données de chaque 12
sous-groupe dans le groupe de 30 minutes
4
Discussions, conclusions:
•présentation des 3 slides
•Répartition par sous-groupe
•Consignes et un rapporteur par groupe
•Question: Que pourriez-vous améliorer?
15
minutes
38
Déroulement de l’atelier

Concrètement :
o
o
o
o
o
3 ateliers
30 personnes par atelier
(groupe imposé par l’AEF)
1 animateur BIEF par atelier
Dans chaque atelier, travail en 3 sous-groupes de 10
participants
L’animateur BIEF rapporte les résultats de l’atelier en
plénière en fin de journée
39