Transcript A quoi sert une évaluation ? (1/3)

A quoi sert une évaluation ? (1/3)
L’évaluation, c’est la production d’un jugement de valeur
concernant une politique publique.
Elle vise à mesurer les effets de la politique évaluée grâce
à des outils.
A quoi sert une évaluation ? (2/3)
Selon la charte française de l’évaluation des politiques publiques :
« l’évaluation vise à produire des connaissances sur les actions
publiques, notamment quant à leurs effets, dans le double but de
permettre aux citoyens d’en apprécier la valeur et d’aider les décideurs à
en améliorer la pertinence, l’efficacité, l’efficience, la cohérence et les
impacts. L’évaluation contribue ainsi à rationaliser la prise de décision
publique, à moderniser la gestion de l’administration et des services
publics et à rendre plus efficace la dépense publique. Elle contribue
simultanément au développement de la responsabilité et des pratiques de
compte rendu, ainsi qu’à l’apprentissage organisationnel. Elle participe
aux progrès parallèles de la bonne gestion et du débat démocratique. »
A quoi sert une évaluation ? (3/3)
En résumé, les finalités et l’intérêt à évaluer une
politique ou une action publique sont multiples
- contrôler le bon usage des financements publics
- comprendre et produire de la connaissance
- mesurer l’efficacité de l’action publique
- apprécier l’impact d’une politique publique
- améliorer la qualité et le fonctionnement des services
- donner un sens (= relier les actes à des orientations
philosophiques)
- produire du changement dans les pratiques
- mobiliser les acteurs et les partenaires
- communiquer sur ce que l’on fait.
L’évaluation locale des CUCS (1/3)
1) Qu’est ce que le Contrat Urbain de Cohésion Sociale ?
Le Contrat Urbain de Cohésion Sociale est le document d’action stratégique, élaboré
par les partenaires locaux.
Il définit le projet urbain et social qu’ils s’engagent à mettre en œuvre pour réduire les
écarts de développement entre les territoires prioritaires et leur environnement.
Il vise une meilleure intégration de ces territoires dans le fonctionnement de la ville.
Il doit permettre l’amélioration de la vie quotidienne des habitants des quartiers
prioritaires et favoriser l’égalité des chances entre tous les habitants d’une même
collectivité.
Ce contrat s’adosse à un diagnostic établi par l’ensemble des partenaires, précise les
objectifs à atteindre assortis d’indicateurs, et définit les programmes d’action au
service de ces objectifs.
L’évaluation locale des CUCS (2/3)
2) Les thématiques du CUCS à Roubaix
-
Emploi et développement économique
Habitat et cadre de vie
Éducation
Santé
Prévention de la délinquance
Participation des habitants et citoyenneté
Culture
Sport et activités en direction de la jeunesse
Promotion de l’égalité et de la diversité
Agenda 21 et développement durable
Appui au monde associatif
Services publics de proximité
L’évaluation locale des CUCS (3/3)
3) Principes et obligations réglementaires en matière d’évaluation
Les circulaires du 24 mai 2006 et du 15 septembre 2006 prévoient une
évaluation des CUCS à échéance de 3 ans. Cette évaluation devra
s’appuyer sur des bilans annuels de réalisation prévus par la loi
n°2003-710 du 1er août 2003 d’orientation et de programmation pour la
ville et la rénovation urbaine.
La circulaire du 15 septembre 2006 insiste sur le fait que les CUCS
doivent intégrer la préoccupation évaluative dès leur phase
d’élaboration et que, pour cela, ils doivent formuler des objectifs et
des résultats attendus qui soient évaluables.
Quoi évaluer ? (1/2)
L’évaluation du CUCS vise :
-
d’une part à rendre compte de la mise en œuvre et des effets du CUCS au travers de ses
programmes d’action ;
d’autre part à apprécier les pratiques partenariales et organisationnelles induites par le CUCS.
1) Évaluation de la mise en œuvre des programmes d’action et leurs résultats
Le bilan annuel de réalisation : « qu’avons-nous fait ou financé l’année écoulée ? »
La mesure ou l’identification des résultats produits par les programmes d’action : vise à répondre
aux trois questions évaluatives suivantes :
- le programme d’action a-t-il été ou non efficace ? (évaluation d’efficacité et d’impact)
- si oui, comment ? Si non, pourquoi ? (évaluation des conditions de mise en œuvre)
- l’efficacité constatée est-elle à la hauteur des moyens financiers, humains et institutionnels
mobilisés ? (évaluation de l’efficience)
Il s’agit de constater ce que les réalisations ont produit ou non en terme d’amélioration de la
situation de départ et de comprendre pourquoi
Dans un but d’apprécier la performance de l’action publique, au regard des finalités de la
politique de la ville.
Quoi évaluer ? (2/2)
2) Évaluation de l’impact du contrat lui-même
Identifier et apprécier les changements structurels induits (réalisé au
terme des 3 ans). Cette appréciation se fera par rapport aux finalités et principaux enjeux
stratégiques du CUCS
3) Évaluation de l’évolution des pratiques
La transversalité de l’action publique : entre les différents partenaires
La participation des habitants
Les pré requis pour mener une
évaluation (1/2)
•
•
une démarche continue et participative
sert à la fois à piloter le projet en continu, à l’adapter et à l’améliorer
Concrètement cela suppose de :
1) veiller à rendre les contrats évaluables dès leur élaboration : cette
phase doit permettre d’affiner les objectifs stratégiques et opérationnels
puis, de formuler des résultats attendus suffisamment clairs pour permettre
de mesurer ultérieurement l’efficacité et les impacts des actions conduites.
2) se doter des outils locaux de suivi et d’observation :
- mettre en place un dispositif et un outil de collecte des données physiques
(réalisations et résultats) et financières ;
- s’assurer de la disponibilité des données nécessaires à l’observation et à
l’analyse des évolutions des quartiers et mettre en place un système
d’observation des quartiers avec les institutions compétentes (INSEE, CAF,
ANPE, ADU…)
Les pré requis pour mener une
évaluation (2/2)
3) piloter les politiques/projets grâce à l’évaluation continue :
l’évaluation doit contribuer au pilotage des politiques, ce qui suppose que
les comités de pilotage et technique jouent un rôle actif dans sa mise en
œuvre : portage politique du projet évaluatif, définition d’un programme
d’évaluation, désignation d’un responsable technique de l’évaluation, temps
de discussions annuels sur les résultats de l’évaluation…
4) ne pas chercher à tout évaluer mais choisir des priorités :
on ne peut tout évaluer, il faut donc faire des choix concernant les
thématiques ceci en fonction des priorités d’intervention stratégiques pour la
ville.
Comment rendre évaluable les CUCS ?
(1/6)
1) Définir quelques questions évaluatives
- En partant des principaux enjeux stratégiques
- En ayant un débat entre décideurs
- En se préoccupant sur deux ou trois préoccupations majeures
- En définissant les objets qui constitueront la cible de l’évaluation
(tel ou tel quartier)
Comment rendre évaluable les CUCS ?
(2/6)
2) Créer un référentiel d’évaluation
4 étapes constituent la démarche de construction du référentiel :
2-1) mise en relation des éléments du diagnostic, des orientations stratégiques et
des objectifs finaux
Comment rendre évaluable les CUCS ?
(3/6)
2-2) Mise en perspective opérationnelle du diagnostic et des enjeux
Comment rendre évaluable les CUCS ?
(4/6)
2-3) construction de l’arbre des objectifs du CUCS
Comment rendre évaluable les CUCS ?
(5/6)
2-4) indentification des indicateurs
Choisir les bons indicateurs :
- La disponibilité : trouver des indicateurs qui soient renseignables
- La précision
- L’utilité : ne sert à rien d’avoir une batterie trop grande d’indicateurs, il suffit d’en choisir quelques uns, jugés
les plus pertinents
Comment rendre évaluable les CUCS ?
(6/6)
Il existe plusieurs types d’indicateurs :
- Les indicateurs de réalisations : ils servent à vérifier si les actions ont été ou non réalisées
- Les indicateurs de résultats : ils servent à identifier le produit immédiat d’une action ou d’une
série d’actions.
-
Les indicateurs d’impact : ils se rapportent aux objectifs finaux et aux orientations
-
Les indicateurs de contexte : ils servent à établir des constats sur la réalité locale, si
stratégiques du CUCS. Ils servent à mesurer les effets des programmes d’actions.
possible en amont, puis en aval de l’action publique. Ils aident aussi à apporter des éléments de
diagnostic sur le territoire
Comment conduire l’évaluation ? (1/3)
Une évaluation comprend différentes étapes, parce qu’elle comprend différents niveaux
d’analyse qui correspondent eux à des temporalités différentes.
L’évaluation doit permettre de rassembler des éléments concernant à la fois :
-
Le suivi : vérifier la mise en œuvre des actions et leurs réalisations concrètes (indicateur de
suivi)
-
L’observation : avoir des éléments d’information sur l’évolution des données sociologiques sur
le territoire (indicateurs de contexte)
-
L’évaluation des effets du CUCS : comprendre les effets sur le quartier (indicateur d’effet ou
d’impact)
Comment conduire l’évaluation ? (2/3)
Comment conduire l’évaluation ? (3/3)
Plan de mise en œuvre de l’évaluation
sur 3 ans (1/2)
Plan de mise en œuvre de l’évaluation
sur 3 ans (1/2)
Préparer la mise en œuvre de l’évaluation
1) Mettre en place de suivi physique et financier
Il s’agit de :
- Créer une fiche de suivi destinée à l’ensemble des opérateurs. Cette fiche doit être simple et
facile à remplir.
- Le suivi de réalisation est fait par les opérateurs (associations) : ce sont eux qui savent quand,
pour quel montant et comment ont été mises en place les actions.
- Cette fiche est remplie pour chaque action et chaque année.
- Il est important de communiquer avec les différents opérateurs sur l’utilité de ces fiches de suivi.
2) Choisir les indicateurs de suivi et d’effets
3) Mettre en place les coopérations nécessaires au recueil des indicateurs (CAF, INSEE, ADU…)
4) Mettre en place les modalités de recueil et d’analyse des données en interne
- Création de tableaux de bord
- Création d’un comité de suivi et de pilotage de l’évaluation
Exemple de fiche de suivi (1/2)
Exemple de fiche de suivi (2/2)
Piloter l’évaluation (1/3)
Piloter l’évaluation (2/3)
Piloter l’évaluation (3/3)
Associer les acteurs et les habitants à
l’évaluation (1/4)
La participation des habitants constitue l’un des leitmotivs de la politique de la ville depuis son
origine.
Il s’agit de passer d’une logique de guichet à une logique de projet associant l’ensemble des
acteurs concernés.
Différents niveaux de participation des habitants :
Associer les acteurs et les habitants à
l’évaluation (2/4)
Associer les acteurs et les habitants à
l’évaluation (3/4)
Associer les acteurs et les habitants à
l’évaluation (4/4)
Mobiliser les bonnes techniques pour
l’enquête et pour la participation
Restituer les résultats
Les caractéristiques d’une bonne
évaluation
Établir un cahier des charges (1/6)
Établir un cahier des charges (2/6)
Établir un cahier des charges (3/6)
Les outils :
Établir un cahier des charges (4/6)
Établir un cahier des charges (5/6)
Établir un cahier des charges (6/6)