Transcript Retour d`expérience (ADAPEI)

Evaluation Externe
Un levier pour le changement
Delphine SAINT-HUBERT – Chef de service Projet-Evaluation- Qualité
Le contexte de l’ADAPEI de la Gironde
2
Le contexte de l’ADAPEI de la Gironde
Un calendrier associatif qui doit conjuguer toutes les exigences
 36 autorisations soumises à l’évaluation externe dont 21 avant le 3 janvier 2015
 mais aussi une logique de complexes (ESAT/STP/UH…) visant à une optimisation des coûts et
de l’organisation
 18 sites (soit 29 autorisations) à faire évaluer avant le 3 janvier 2015
 Face au risque « d’embouteillage »
 Dès 2011, 3 sites (soit 5 autorisations) ont inauguré le processus (ESAT Villambis,
ESAT/STP/FH Gujan Mestras, IME Taussat)
 2012: 4 sites (8 autorisations), 2013: 4 sites (6 autorisations), 2014: 7 sites (10
autorisations)
 1 cas épineux: le FO/FAM de St Michel de Rieuffret autorisé avant HPST mais ouvert après
(nov 2013)…
Autorisation du CG pour le FO (51 places) en date du 29 avril 2008
Autorisation conjointe du CG et de l’ARS pour le FAM (17 places) en date du 2 aout
2010
 des calendriers d’évaluations différents
 éval interne du FO avant 29 avril 2013 soit avant l’ouverture
 éval externe du FO avant 29 avril 2015
3
Les Objectifs de l’évaluation Externe :
Porter une appréciation globale sur l’établissement sur la pertinence,
l’impact, la cohérence et l’efficience des actions déployées par les
établissements et services, au regard des missions imparties et des
besoins et attentes des populations accueillies .
Examiner les suites réservées aux résultats issus de l’évaluation
interne: Apprécier la dynamique générale de la démarche
d’amélioration continue de la qualité des prestations
Examiner certaines thématiques et des registres spécifiques
(construction du questionnement évaluatif)
Restituée dans un rapport, une synthèse, un abrégé…
S’approprier ces outils
(décret n° 2007-975 du 15 mai 2007)
4
Les enjeux:
De l’évaluation interne à l’évaluation externe : un processus continu
d’amélioration des activités et de la qualité des prestations.
Porter un regard sur pertinence, cohérence, efficacité, effectivité:
 Produire de la connaissance
 Former un jugement
 Etre dans une logique d’aide à la décision
Promouvoir une appropriation collective et critique des
recommandations des bonnes pratiques de l’ANESM
Valoriser le rapport d’évaluation interne
Faire du rapport d’évaluation externe un levier de changement et
d’amélioration continue
Permettre le renouvellement de l’autorisation
5
L’évaluation externe : un marché
652 organismes habilités (au 15/12/2010)
Document de mise en concurrence
 Eté 2010: Rédaction sur la base du décret du 15 mai 2007 et peaufiné par
la suite avec le modèle UNAPEI
Présélection de plusieurs organismes
 Automne 2010: 38 contactés (principalement Aquitaine)
 18 réponses dont 7 présélectionnées
 Sur critères : maîtrise du décret, méthodologie, expérience du médicosocial
Appel d’Offres
 Janv. 2011: 6 réponses-5 reçus en entretien, 3 retenus
 Renouvelé janv. 2012: 7 réponses (dont 5 nouveaux), 3 retenus (dont 1
nouveaux)
 Sur critères : compétences (droit de regard sur les CV détaillés),
expérience, coût
 Pour composer l’équipe d’évaluateurs, l’organisme s’adjoint les
compétences spécifiques nécessaires à l’évaluation de chacune des
prestations déployées (médicale, sociale, sociologique, éducative) au sein
de l’établissement. (avis n°2009-23 du conseil scientifique de l’ANESM).
Pôle Adultes
Pôle Enfance
Pôle Travail et Hébergements
6
L’évaluation externe : un marché
652 organismes habilités (au 15/12/2010)
Contrat d’engagement entre l’organisme gestionnaire et l’organisme
habilité
 Obligations réciproques
 Conditions d’exécution (contractualisation des délais et de la composition
de l’équipe d’évaluateurs)
J-6 semaines: remise des documents institutionnels
J-2 semaines: projet évaluatif validé
J+4 semaines: pré-rapport
J+6 semaines: rapport final
nd d'évaluateurs ds
équipe
Rapport d'Activité ANESM 2012
IME
2,2
ESAT
2,2
MAS/FAM
2,3
ADAPEI de la Gironde
IME (4)
2
ESAT (7)
2
MAS/FAM (3)
2
nb jours hommes
facturés (dont sur
site)
6,5
5,5
5,8
9,5 (5)
8,07 (4)
8,5 (4)
ttc
7337
6011
6121
8680
9177
8044
7
La préparation
Une planification anticipée
 Préparer l’établissement bien en amont de l’évaluation proprement dite
pour l’appropriation de la démarche par l’institution.
 Programmer notre action et donner de la clarté dans l’organisation de
cette évaluation
Collecte documentaire
 Photo de l’établissement et de son organisation
 Trace de sa dynamique
Les risques
 Lourdeur de réalisation du document préparatoire
 Vouloir tout refaire pour bien présenter
 Communiquer des documents qui ne sont pas connus, pas utilisés
8
Le cadrage de la démarche
Le projet évaluatif a défini pour chaque thématique:




Les priorités évaluatives
Le constat suite à l’analyse des documents par les évaluateurs
Les éléments de réponse complémentaires recherchés
Les modalités de recueil de chacun des éléments de réponses et
notamment en termes d’évaluation de l’impact.
 Les critères en liens avec la législation et les recommandations de bonnes
pratiques professionnelles.
 Prévoit les modalités de participation des usagers/entourage, des
professionnels, des partenaires
Rester vigilant
 Un projet évaluatif co-construit avec modération
 Organise précisément les étapes du calendrier des visites en prenant en
compte les impératifs de fonctionnement (présences de certains
professionnels, disponibilité des familles, perturbations minimisées des
activités)
9
La participation: pour un diagnostique partagé
Méthodologie du recueil d’informations auprès des usagers
 Réunion avec les représentants des personnes accueillies et les représentants
des familles (CVS).
 Réunion avec les personnes accueillies.
 Réunion avec les familles et représentants légaux.
 Enquête de satisfaction préalable…
Une implication claire de l’équipe de direction
 L’évaluation externe vue comme une étape du plan d’amélioration global
 Volonté d’un positionnent assumé du regard extérieur
10
La participation: pour un diagnostique partagé
Modalités d’implication des équipes
 Comité de pilotage interface privilégiée et impliquée (validation projet
évaluatif, échanges contradictoires, relecture du pré-rapport)
 Organisation en amont (réunion de cadrage) du plan de communication.
 Présentation liminaire de la démarche aux professionnels.
 Audition de la majeure partie des professionnels en groupe.
 Des entretiens formels mais aussi des rencontres informelles, des visites…
 Débriefings quotidiens avec la direction pendant les visites sur site et débriefing
avec le comité de pilotage le dernier jour des visites sur site.
 Réflexion contradictoire sur la base d’un pré rapport lors d’une réunion
 Restitution des résultats aux professionnels.
Modalités d’implication des partenaires
 Cibler des partenariats structurants avec des objectifs partagés
11
La visite
Les leviers pour une visite fructueuse
 Un climat propice à une expression libre des personnes auditées et de
disponibilité de tous les acteurs.
 Une coopération des responsables de l’établissement et des professionnels
entière permettant d’obtenir les réponses aux questions posées.
 Le calendrier de la visite respecté.
 Les entretiens avec les parents et/ou représentants légaux déroulés comme
convenu dans le projet évaluatif.
 Les évaluateurs ont eu facilement accès aux documents identifiés dans le
questionnement évaluatif ou complémentaires identifiés lors des entretiens.
 La quasi-totalité des professionnels rencontrés au cours des différents entretiens.
Les freins potentiels
 Malaise ressenti par certains personnels interviewés (aspect remise en cause ou
questionnement « éloigné » de leurs pratiques quotidiennes)
 Respect exigent du planning serré des entretiens communiqué par tous les
acteurs
 Indisponibilité au dernier moment d’acteurs extérieurs (familles, partenaires)
 Une équipe d’évaluateurs qui ne maîtriserait pas les enjeux, us et coutumes de la
typologie de l’établissement (temps passé, incompréhensions, interprétations)
12
Les échanges contradictoires
Le débriefing à chaud
 Les débriefings ont été riches en échange. Lors de la rencontre
contradictoire, nos remarques ont été entendues. Les restitutions des
observations et des préconisations ont été étayées d’explications.
L’analyse du pré-rapport
 Le pré-rapport a été discuté lors d’une réunion dédiée en présence du
Copil
 Apport d’éléments de preuves.
13
Les suites ….
Les conclusions et les préconisations





Encourageantes (valorisation des points forts qui deviennent un appui à l’adhésion)
Pertinentes
Conformes à la perception que nous avions de l’établissement.
Issues d’un diagnostique partagé facilitant l’adhésion
Certaines préconisations sont inscrites aux plans d’actions de l’évaluation interne ou
au plan directeur du projet d’établissement,
 Certaines autres vont venir enrichir les projets d’amélioration de la qualité .
 Légitimer les actions en cours et à venir (aide à la décision , appui au management).
 Des préconisations concrètes simples à mettre en œuvre avec un effet visible
immédiatement, d’autres plus stratégiques
Risques




Des conclusions plates ou superficielles
Des préconisations pauvres
Non priorisées
L’organisme n’a pas pris en compte l’intégralité de l’établissement, et s’est contenté
de lister l’existant sans en vérifier l’opérationnalité.
 Discontinuité du comité de pilotage dans sa mission de suivi du plan directeur
 Ne pas relier les préconisations du rapport à la dynamique d’évolution globale de
l’établissement au sein du projet associatif (logique de plan directeur global).
14
Les précos ….
En moyenne 30 à 40 préconisations classées selon les champs de l’abrégé
La démarche d'évaluation interne
 "​Garantir la participation des usagers et de leur entourage à l'évaluation interne"
 "​Soutenir et valoriser la dynamique d'amélioration en procédant à l'état des lieux des
changements engagés et tracer les avancements (évaluation d'impacts, d'atteinte des
objectifs)"
 "​​Aborder l'évaluation interne comme une démarche globale intégrant également les
EPP, les audits, les évaluations des risques professionnels."
La garantie des droits et la politique de prévention et de gestion des risques
 "​​Garantir l'utilisation de la procédure de gestion des évènements indésirables.
Procéder à l'évaluation de sa mise en œuvre. Communiquer auprès des usagers et
familles sur ces modalités."
 "​Améliorer le bâti pour garantir l'accès aux droits et la protection (hygiène des offices,
de la gestion du linge, isolation phonique, intimité....)"
La prise en compte des RBPP publiées par l'ANESM
 "​Etablir un plan d’intégration"
L'expression et la participation individuelle et collective des usagers
 "​Développer des livrets d'accueil/documents/internet adaptés aux capacités de
compréhension (sensibiliser à la prolongation au quotidien de l'effort d'information
de manière circonstanciée et adaptée à chaque usager)"
 "​​Information et formation des membres du Conseil sur l'ensemble des prérogatives
qui peuvent entrer dans le champ de ses compétences. "
15
Les précos ….
Les conditions d'élaboration, de mise en œuvre et d'actualisation du PE ou de
service et l'organisation de la qualité de la prise en charge ou de
l'accompagnement des usagers
 « Elaborer un PE conforme à la recommendation de l'ANESM, décrivant de manière
explicite, structurée et détaillée l'offre de service."
 "​Articuler et valoriser les compétences professionnelles en clarifiant la répartition
des rôles en fonction de la technicité des métiers (linge sur les maisons, préparation
des repas par les encadrants, AMP versus AS...)"
 "​Développer les prestations d'éducation à la santé, de promotion de la santé et de
l'accès aux soins"
L'ouverture de l'établissement ou du service sur son environnement
institutionnel, géographique, socioculturel et économique
 "​Formaliser les partenariats récurrents et/ou nécessitant d'être valorisé (y compris
ceux concernant les usagers individuellement) et les objectifs partagés"
 "​Développer une démarche d'évaluation des partenariats (indicateurs, enquêtes de
satisfaction des partenaires, bilans des actions mises en œuvre)"
Personnalisation de l'accompagnement
 "​Informatiser la gestion des PP (traçabilité, optimisation de l'organisation,
objectivation de l'évaluation ...)"
 "​​Favoriser la participation des bénéficiaires et de leur famille aux différentes étapes
du PP"
16
En somme, l’évaluation externe
Points forts
 Mise à plat du fonctionnement
 Regard extérieur
 Rappel du cadre réglementaire de nos missions, des attentes au regard des politiques
publiques
 Sur le plan managérial : l’évaluation est un levier pour conduire les changements et
les améliorations à mettre en place
 Sur le plan de la direction de l’établissement, c’est un outil stratégique d’aide à la
décision, qui met en valeur les points forts et points à améliorer.
 Pour les équipes, cela permet une mise en dynamique et une prise de conscience (si
besoin est) des enjeux liés à la Qualité. C’est également un vecteur de
professionnalisation, mais aussi de reconnaissance du travail réalisé.
Vigilance





Anticipation des programmations
Identification des acteurs
Information des professionnels, des usagers, des parents et des partenaires
Choix de l’organisme évaluateur au regard de sa connaissance du secteur
Faire vivre la démarche dans le temps …
17