Transcript Intervention sur l`évaluation externe

BIEN SE PREPARER A
L’EVALUATION EXTERNE
ARS – CG
24 et 27 juin 2013
NB : version avec les commentaires qui complètent les diapositives.
1
L’évaluation, un processus formalisé
mais pas totalement nouveau

Les finalités de l’évaluation : un processus de
connaissance, d’analyse et d’appréciation pour améliorer
le service rendu.

L’évaluation renvoie à des pratiques multiples :
 Rapport d’activité ;
 Projet institutionnel, projet de vie ;
 Étude de situation…

Des pratiques à articuler avec la commande publique
issue de la loi 2002.2.
Pierre Savignat ~Directions ~ 2012
2
I) Les quatre objectifs de l’évaluation
externe (décret du 15 mai 2007)
BIEN SE PREPARER A L’EVALUATION
EXTERNE
3
Porter une appréciation globale (Les
quatre objectifs de l’évaluation externe, ¼)
► Fournir des éléments synthétiques :







Adéquation du projet aux missions ;
Cohérence des objectifs ;
Adaptation des moyens aux objectifs ;
Efficience des actions et adaptation de
l’organisation
Pertinence des dispositifs de gestion et de suivi ;
Atteinte des objectifs et effets sur les usagers ;
Impact des pratiques des intervenants sur les
effets observés ;
4
Missions
Commande publique
Objectifs
Actions
Activités et prestations
PROJET
Stratégie
Organisation,
fonctionnement,
management,
pratiques
professionnelles
Effets sur la situation
des usagers
5
Suites réservées aux résultats de
l’évaluation interne (Les quatre objectifs de
l’évaluation externe, 2/4)
► Quatre questions :

Le déroulement de l’évaluation interne ;

Les modes d’implication des acteurs ;

Les mesures d’amélioration mises en œuvre et leur
suivi ;

La dynamique générale d’amélioration continue.
6
Focus : la question de l’évaluation
interne dans les textes (1/2)

L’article 312-8 :
« Les résultats de l'évaluation sont communiqués tous
les cinq ans à l'autorité ayant délivré l'autorisation. »
(Selon une périodicité fixée à 5 ans par le décret du 3 novembre
2010).

Le décret du 3 novembre 2010 :
Les évaluations reposent sur une démarche continue
retracée chaque année dans le rapport d’activité des
établissements et services concernés.
Pour les établissements et services ayant conclu un
contrat pluriannuel, les résultats de ces évaluations
sont communiqués lors de la révision du contrat.
7
Focus : la question de l’évaluation
interne dans les textes (2/2)

La circulaire du 21 octobre 2011


les ESSMS sont libres de choisir leurs outils d’évaluation
interne parmi ceux déjà existants, de les adapter ou même de
les créer.
Les domaines incontournables :
 la promotion de la qualité de vie, de l’autonomie, de la santé
et de la participation sociale ;
 la personnalisation de l’accompagnement ;
 la garantie des droits et la participation des usagers ;
 la protection et la prévention des risques inhérents à la
situation de vulnérabilité des usagers.
Pierre Savignat ~Directions ~ 2012
8
Examiner certaines thématiques et
registres spécifiques (Les quatre objectifs de
l’évaluation externe, 3/4)

Deux thèmes centraux :



Droits des usagers et projet personnalisé ;
Ouverture sur l’environnement.
15 points spécifiques à examiner « en prenant en
compte les particularités de la structure » :




Missions, stratégie et objectifs;
organisation, fonctionnement, actions ;
Pratiques professionnelles collectives ;
Réponses aux besoins et effets sur les usagers
9
Formuler des propositions et
préconisations (Les quatre objectifs de l’évaluation
externe, 4/4)

Objectif : améliorer le service rendu :




Plan d’amélioration visant une meilleur qualité de
service ;
Modification des modes d’organisation, de
fonctionnement et de management ;
Réactualisation du projet d’établissement ;
Continuer à bien faire ce qui fonctionne bien.
10
II) Mettre en oeuvre l’évaluation
externe (décret du 15 mai 2007)
BIEN SE PREPARER A L’EVALUATION
EXTERNE
11
La préparation (les étapes de l’évaluation
externe ¼)
L’initiative appartient à l’établissement ou au service

Le pré-diagnostic :
 Une nécessité : savoir d’où l’on part ;
 Des premières hypothèses, points forts, points de
fragilité.

Le document de mise en concurrence :
 Fixe le cadre général de l’évaluation ;
 Fondement de la relation contractuelle avec l’évaluateur
externe.

L’information préalable aux parties prenantes
12
Focus : le document de mise en
concurrence (cahier des charges)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
Présentation de la structure ;
Projet, contrat, évaluation interne, démarches
d’amélioration… ;
Premières hypothèses et questions évaluatives ;
Modalités de concertation initiales (parties prenantes) ;
Modalités de suivi (pilotage) ;
Le contexte et les éventuelles contraintes ;
Les conditions d’accès à l’information ;
Les modalités d’élaboration et de rendu du rapport ;
Le temps nécessaire et le calendrier ;
Les modalités financières.
NB : pour les établissements publics, procédure de marché adaptée
(MAPA) si seuil inférieur à 15.000 euros, sinon appel d’offre.
13
Le choix de l’évaluateur (les étapes de
l’évaluation externe 2/4)



Qu’est ce que l’habilitation ? ;
Une double procédure, écrite et orale.
Les critères de choix :





Un ou plusieurs ?
Les compétences requises ;
La capacité à comprendre les besoins de la
structure ;
La qualité des conseils méthodologiques.
La contractualisation.
14
La phase opérationnelle (les étapes de
l’évaluation externe 3/4)

Le projet évaluatif :



Le questionnement évaluatif ;
Les références mobilisées.
La méthode de travail :




Des modalités et des outils adaptés ;
L’implication des parties prenantes ;
Le mode de pilotage ;
La temporalité.
15
Focus : un exemple de mode de
pilotage, le comité de suivi

L’objectif:




Favoriser l’appropriation ;
Garantir la transparence ;
Valider les différentes étapes du processus.
La composition:





Direction ;
Evaluateur(s) externe(s) ;
Représentants du personnel ;
Représentant des usagers ;
Autres représentants.
16
Focus : la temporalité

Importance du temps :


Pour impliquer les parties prenantes, il faut des temps de respirations entre deux
journées d’intervention permettant des aller/retour et une appropriation à chaque étape
ce que ne permet pas une évaluation concentrée sur deux ou trois jours.
Exemple :

Journées sur site (entre 4,5 et 5,5 j. réparties sur plusieurs semaines) :





Déroulement d’une journée sur site :



Matin : entretiens (usagers, bénévoles), visites…
Après midi : groupe de travail, comité de suivi, rencontre des familles.
Journées hors site (2 à 3 j.):


Bouclage du projet et présentation : ½ j
Recueil de l’information : de 3 à 4 j. (par exemple une toutes les 3 ou 4 semaines)) ;
Échanges sur le pré-rapport : de 2h à 1/2j;
Finalisation : de 2h à 1/2j.
Analyse documentaire, rapport…
Durée totale : 6,5 à 8.5 jours sur 4 à 5 mois

(répartis sur 2 exercices ?)
La finalisation (les étapes de l’évaluation
externe 4/4)

De la collecte de l’information à la synthèse et à
l’analyse :

Le pré-rapport et sa mise en débat ;

Le rapport final ;

L’abrégé ;

La transmission et la propriété du rapport.
18
L’évaluation externe n’est pas une
évaluation extérieure (1/2)

Le rôle du commanditaire ;
 Document de mise en concurrence ;
 Choix de l’évaluateur ;
 Garant du bon déroulement du processus et du
respect des textes ;

Les responsabilités partagées commanditaire et
évaluateur ;
 Le contrat ;
 Les principes méthodologiques ;
19
L’évaluation externe n’est pas une
évaluation extérieure (2/2)

Les responsabilités propres de l’évaluateur :
 Les méthodes ;
 La liberté d’accès à l’information et de rencontres ;
 La rédaction du pré-rapport, du rapport et de l’abrégé

L’implication des parties prenantes :
 Information ;
 Entretiens, groupes de travail, comité de suivi...
Pierre Savignat ~Directions ~ 2012
20
En conclusion…


Des enjeux au-delà du renouvellement de l’autorisation :

Renforcer les dynamiques internes ;

Améliorer le service rendu ;

Conforter le dialogue avec les pouvoirs publics.
Un processus collectif qui s’inscrit dans les pratiques…
21
Les textes de références

Décret n°2012-147du 30 janvier 2012 relatif aux conditions de prise en compte de la certification dans
le cadre de l’évaluation externe des établissements et services sociaux et médico-sociaux

Circulaire n° DGCS/SD5C/2011/398 du 21 octobre 2011 relative à l’évaluation des activités et de la
qualité des prestations délivrées dans les établissements et services sociaux et médicosociaux

Décret n°2010-1319 du 3 novembre 2010 relatif aux calendriers des évaluations et aux modalités de
restitution des résultats des évaluations des établissements sociaux et médico-sociaux

Décret n°2007-975 du 15 mai 2007 fixant le contenu du cahier des charges relatif aux évaluations
externes

L’article L.312-1 du CASF : "Établissements et services sociaux et médico-sociaux" ;

L’article L.312-8 du CASF : "Évaluation et systèmes d’information" ;

L’article L.313-5 du CASF : renouvellement de l’autorisation et résultats de l’évaluation externe
Disponibles sur le site : www.anesm.sante.gouv.fr (rubrique : outils/textes de références).
22
PROJET
CONTRÔLE
AUDIT
DEMARCHE Q.
EVALUATION
CERTIFICATION
SUIVI
Bilan
d’activité
Base
Missions,
histoire,
culture
Lois, règlements,
normes
Objectifs et
réalisations
Référentiel,
objectifs, plan
d’amélioration
qualité
Questionnement :
Objectifs-actions
effets
Mode opératoire
Réflexion et
élaboration
Inspection
Vérification
Analyse des
écarts
Analyse des
écarts, relecture
des objectifs
Approche
systémique
Domaine
Institution
Variable
Plans d’action,
activités,
organisation,
fonctionnement.
Organisation,
fonctionnement et
pratiques
professionnelles
Processus
structurants
Résultat
Stratégie,
principes
d’action et
objectifs
Mise à jour des
écarts, sanction
Constat, mesure
des écarts et
actions
correctrices
Diagnostic,
analyse, objectifs
d’amélioration
qualité
Connaissance,
analyse,
appréciation et
aide à la décision
Mot clef
Construire
Vérifier
Corriger
Améliorer
Comprendre