Méthodologique d’évaluation du programme LEADER Quercy Rouergue

• Contexte et organisation du dispositif d’évaluation • Construction du dispositif d’évaluation • Cadre de référence de l’évaluation

Toulouse – 8 Décembre 2010

MÉTHODOLOGIE Contexte

Organisation Construction du dispositif Cadre de référence

Le contexte de la mise en place de l’Evaluation



Depuis Leader+, une volonté du GAL de faire de l’évaluation un outil de pilotage du programme et non une contrainte règlementaire :

• Evaluation mixte sur 3 ans : chargée mission GAL / Bureau d’étude • Plusieurs moments évaluatifs : méthodologie pluriannuelle, évaluation mi-parcours, évaluation continue, évaluation finale • Transfert de compétences entre bureau d’études et GAL 

Enjeux de l’évaluation :

• Outil de transparence : rendre compte du bon usage des fonds publics européens et locaux • Outil d’animation : accompagner le programme en continue et s’interroger sur sa plus value pour le territoire • Outil d’aide à la décision et d’orientation : suivre les facteurs de réussite et de blocage et apporter en continu des modifications stratégiques, financières et organisationnelles • Outil participatif : poursuivre la mobilisation des acteurs locaux initiée sous Leader+ et pour la préparation de la candidature, offrir un lieu d’échange et de débat

MÉTHODOLOGIE

Contexte

Organisation

Construction du dispositif Cadre de référence

Les acteurs de l’Evaluation 2007-2013



Une évaluation réalisée en interne:

• Chargée de mission Evaluation : ½ ETP 

Les acteurs mobilisés :

• Le Comité de Suivi de l’évaluation : l’instance de réflexion • Le Comité de programmation : l’instance de validation • Une mobilisation extérieure ponctuelle pour plus d’objectivité : stagiaires, groupes étudiants… • Une mobilisation extérieure de personnes ressources pour enrichir : membres d’autres GAL, experts fonds européens… • Les acteurs du territoire à travers des groupes de travail sectoriels et géographiques : porteurs de projets, membres du Comité de Programmation, partenaires du GAL…

MÉTHODOLOGIE

Contexte

Organisation

Construction du dispositif Cadre de référence

Les Etapes Evaluatives

Evaluation de référence

MÉTHODOLOGIE

Contexte Organisation

Construction du dispositif

Cadre de référence

La démarche de construction du dispositif

Objet de l’évaluation

Retour sur les questions évaluatives élaborées sous Leader+ Adaptation des questions évaluatives Leader+ au nouveau programme

Quelles sont les questions que se posent les acteurs du programme et auxquelles l’évaluation doit apporter une réponse?

Quels sont les éléments disponibles qui pourront alimenter l’évaluation? Quels sont les outils existants ou à mettre en place qui permettront de collecter ces informations?

Identification des Critères et Indicateurs d’Evaluation permettant de répondre à la question évaluative Analyse de la faisabilité des questions

Référentiel de l’évaluation

Etat des lieux des informations et des outils disponibles Définition des outils complémentaires à développer Mise en place des outils de suivi des projets et des porteurs de projets Finalisation des questions évaluatives Finalisation du référentiel de l’évaluation Cadre de référence de l’évaluation

MÉTHODOLOGIE

Contexte Organisation Construction du dispositif

Cadre de référence

Le cadre de référence 2007-2013 (1/2)



4 Composantes:

• Ce à quoi on veut répondre :

les questions évaluatives

• Ce que l’on cherche à évaluer :

les critères

• Ce qui nous permet d’évaluer :

les indicateurs

• Où va-t-on trouver l’information :

les outils



Exemple 1: Question Evaluative Le fonctionnement du GAL est-il efficace ?

Critère L’implication des acteurs dans les instances du GAL Indicateur Le taux de participation aux réunions Outil Les feuilles d’émargement

Ce que l’on cherche à évaluer Ce qui nous permet d’évaluer Où on va trouver l’information

Qui participe aux réunions du Comité de Programmation : représentation public privé / représentation titulaire-suppléant / représentation féminine?

 Evaluation des risques de non atteinte du double quorum  Sollicitation des structures ne participant jamais pour connaître les raisons et envisager remplacement de personne ou de structure

MÉTHODOLOGIE

Contexte Organisation Construction du dispositif

Cadre de référence

Le cadre de référence 2007-2013 (2/2)



Exemple 2: Question Evaluative Y a-t-il une communication suffisante sur le programme?

Critère L’efficacité et la pertinence des outils de communication du GAL Indicateur L’origine du contact entre le GAL et les porteurs de projets Outil Base de données premier contact

Ce que l’on cherche à évaluer Ce qui nous permet d’évaluer Où on va trouver l’information

Quelle est l’origine géographique des contacts? Quelle est leur forme juridique et leur domaine d’activités? Comment ont-ils eu connaissance du programme? Quel est le niveau d’information recherchée?  Homogénéité de la communication sur les deux Pays  Ciblage de la communication auprès de publics spécifiques

MÉTHODOLOGIE

Contexte Organisation Construction du dispositif

Cadre de référence

Les outils d’évaluation



Les outils de référence:

• Le dossier de candidature, la convention tripartite, les conventions avec les Pays… 

Les outils d’instruction :

• Les outils règlementaires de type formulaire demande subvention, conventions attributive..

• Les outils spécifiques au GAL : fiche premier contact , fiche pré dossier , fiche appréciation de projet , fiche rapport d’exécution 

Les outils d’évaluation :

• Questionnaire Qualité , Suivi des projets à un an • Les outils de collecte ponctuels : enquête, entretiens 

Les outils de traitement et d’analyse :

• Tableaux de suivi financier (GAL + LeGet 27) • Base de traitement des outils d’instruction spécifiques au GAL • Tableau de suivi des délais d’instruction des dossiers

Evaluation de référence

Evaluation de Référence

L’évaluation de référence (Octobre 2009)



Constituer un état de référence pour les évaluations ultérieures en terme de :

• Stratégie Leader • Organisation et fonctionnement du GAL • Les moyens de mise en œuvre • Articulation avec les Pays • Coordination des différents intervenants 

Pointer les changements opérés entre les deux générations Leader et les conséquences sur la mise en place du programme en Quercy Rouergue



Analyser les modalités de mise en place du programme Leader 2007 2013 et les raisons du démarrage tardif



Vérifier la prise en compte des recommandations des évaluations Leader+

Evaluation continue

Evaluation continue

L’évaluation Continue (2009-2010)



Suivre les données quantitatives en continu et établir un bilan quantitatif annuel intégré au rapport d’exécution



Suivre la réalisation des projets et leur devenir



Proposer des réajustements ou améliorations des outils d’instruction, de communication… Temps forts de la mise en œuvre du programme au niveau européen, national, régional et local Fonctionnement du programme

Mise en parallèle activités GAL avec activités niveaux nationaux et régionaux : évolutions documents cadres, livraison des outils…

Caractéristiques des dossiers présentés en CP Vision des MO sur le programme

Mobilisation dans les instances du GAL et participation aux réunions : structure, membre, privé/public, titulaire/suppléant, femme/homme.

Accompagnement des porteurs de projets en phase d’émergence : profil des contacts, articulation avec Pays, info recherchée, expérience Leader Délais d’instruction des dossiers : analyse sur la base des délais intégrés dans convention et identification des points de blocage Profil de programmation et suivi financier : projets et consommation par action et dispositif, cofinancements Profil des MO : nature, localisation, domaine d’activité, expérience Leader Profil des projets : domaine, public cible, calendrier de réalisation, impact géographique, critères d’éligibilité Leader, durabilité, pérennisation Indicateurs de réalisation et de résultat Apports Leader : effet levier, apports technique et financier Qualité de l’accompagnement, des outils et délais

Evaluation mi-parcours

Evaluation mi parcours

L’évaluation mi-parcours (2011)



Affiner les données quantitatives continues par des éléments plus qualitatifs



Etudier l’opportunité d’une évolution de la stratégie, des dispositifs et de la maquette financière



Analyse des principaux résultats et effets du programme



Proposer un moment d’échanges et de débats entre acteurs du programme

Février Mars Juin Oct.

Nov.

Déc.

Mars 2012 Réunions du Comité Evaluation avant l’assemblée générale : validation du cadrage de l’évaluation mi-parcours, du calendrier 2011 et des outils spécifiques pour cette évaluation.

Validation du cadre de l’évaluation mi-parcours en Assemblée Générale et inscription des membres dans les commissions thématiques évaluation

3 à 5 études de cas réalisés

(en fonction des dépenses, de la nature du maître d’ouvrage, du dispositif) : mission déléguée à un stagiaire ? à un groupe d’étudiant ?

Enquête

sur le fonctionnement du GAL auprès des membres du Comité de Programmation + 4 entretiens individuels sur la plus value du partenariat public privé Organisation de

commissions thématiques

par action pour évaluer la pertinence des fiches dispositifs et proposer des réorientations éventuelles (composition : a minima les membres du Comité de Programmation + personnes ressources concernées par la thématique). La première réunion de commission avec une visite de terrain correspondant à la thématique.

Affinage des

indicateurs

; Analyse quantitative et qualitative mi-parcours ; Rédaction du rapport d’évaluation Révision de la maquette en fonction des propositions d’évolutions du plan de développement issues des commissions thématiques Validation des résultats de l’évaluation mi-parcours en Comité de Programmation Présentation des résultats de l’évaluation mi-parcours en Assemblée Générale

Les documents de référence de l’évaluation

Documents de référence



Règlement (CE) n°1698/2005 du Conseil du 20 septembre 2005 concernant le soutien au développement rural par le FEADER

 

Manuel relatif au cadre commun de suivi et d’évaluation de la Direction générale de l’agriculture et du développement rural et ses annexes – septembre 2006

 

Rapport final de l’évaluation ex-ante du PDRH 2007-2013 – novembre 2006

 

Complément du CCSE Leader réalisé par le Réseau Rural Européen « Capturing impacts of Leader and measures to improve Quality of life in rural Areas » – juillet 2010



FIN DE LA SEANCE

Merci de votre participation

Pour plus d’informations sur les Fonds Européens en Midi Pyrénées :

http://www.europe-en-midipyrenees.eu/

GAL Quercy Rouergue

6 avenue Bernard Fontanges 46100 FIGEAC Tel : 05 65 14 08 69 Fax : 05 65 14 05 57 E-Mail : [email protected]

www.leader-quercyrouergue.org