Transcript Démystification de la démarche qualité

Martial DELIGNON
Vice Président Evaluation Qualité, Université Nancy 2
Responsable du CRAQ, PRES Université de Lorraine
Besançon, vendredi 3 décembre 2010
De l’évaluation à l’action
ou
Evaluation des formations et des
Comment intégrer
enseignements pour améliorer de la qualité
et les performances
la démarche qualité
à l’université …
2
Plan de l’exposé
Introduction : l’Université de Lorraine
1. Le contexte international et national : le processus de Bologne
2. La démarche qualité : de quoi parlons nous ?
3. Le pilotage du processus de formation par la démarche
d’amélioration continue de la qualité
Conclusion : parallélisme prudent du Secondaire / Supérieur
Quelques recommandations
3
UDL
Projet de création d’une université lorraine par fusion des quatre
établissements actuels : UPVM, UHP, INPL, N2
UDL =
54 000 étudiants
3 000 BIATOS
3 700 Enseignants Chercheurs et enseignants
82 laboratoires
8 Ecoles doctorales
35 UFR et Instituts
10 écoles d’ingénieurs
La qualité, un axe transversal du contrat 2009 – 2012
Un Centre de Ressources en Assurance Qualité (CRAQ)
Le processus de Bologne
Le processus de Bologne (29 pays en juin 1999, 47 en 2010) est un
engagement à construire un espace européen de l'enseignement supérieur (EEES).
Objectifs : favoriser - la reconnaissance internationale des diplômes et
- la mobilité des étudiants et des enseignants
Non pas un système universitaire unique, mais placer les systèmes
nationaux diversifiés dans un cadre commun fondé sur trois points clefs :
LMD : Une organisation des études en trois cycles : Licence / Master /
Doctorat
ECTS : Des outils de reconnaissance académiques et professionnels :
Crédits (European Credit Transfert System), Supplément au
diplôme, Cadre de certification.
ESG : Mise en place d’un système d’assurance qualité avec un référentiel
commun : les European Standards and Guidelines
La philosophie du processus de Bologne
- Centrer sur l’étudiant : axer les formations sur l’étudiant et non plus sur
l’enseignant (on passe d’une logique d’apprentissage de savoirs, de transmission de connaissances à
une logique d’acquisition de compétences, learning outcomes et d’autoformation).
- Employabilité pour chacun des cycles L, M, D = une préoccupation majeure :
lisibilité sur le marché du travail (supplément au diplôme), orientation et insertion professionnelle sont de
nouvelles missions pour les établissements, partenariat avec l’environnement économique
- Autonomie : les universités sont les acteurs principaux d’où la nécessité
d’avoir des établissements plus autonomes (et donc de nouveaux modes de management :
autonomie = responsabilité = évaluation sur l’usage des fonds et la réalisation des objectifs de service
public).
- Qualité et évaluation : validation par des instances indépendantes de la
qualité des formations pour favoriser la reconnaissance sur le marché du travail et la mobilité
internationale des étudiants (confiance réciproque)
Mise en place de réformes dans la plupart des 47 pays signataires
 Vers un nouveau paysage de l’enseignement supérieur dans toute l’Europe
Conséquences sur le contexte national
Passer d’une culture
de moyens à une
culture de projets et
de résultats
2001 - 2006
Réforme de
l’offre de
formation
en trois
cycles
Améliorer la qualité
du service public,
décloisonner les
administrations et
réduire ses coûts
Loi sur l’organisation de
la recherche et sa
valorisation +
création de l’AERES
2007
RGPP
LOLF
PRES RTRA 2006
Autonomie des
opérateurs et
nouvelle
gouvernance
RCE
LRU 2007
LMD 2002
Université
7
European Standards and Guidelines - ESG
ESG : Les ESG sont les référentiels adoptés par les ministres de l’espace
européen, pour les institutions d’enseignement supérieur et les instances qui les
évaluent et/ou les accréditent.
Elles sont de trois types d’exigences :
- Les ESG pour le management interne de la qualité des institutions
d’enseignement supérieur
(les exigences vis-à-vis des établissements -
opérateurs)
- Les ESG pour le management externe de la qualité de
l’enseignement supérieur
(modalités d’évaluation par des agences d’évaluation)
- Les ESG pour le management externe de la qualité des agences
(modalités d’inscription au registre européen des agences : indépendance, statut officiel, …)
Les ESG = un cadre de références donc impératif mais aussi un espace de liberté ;
Les ESG disent « ce qu’il faut faire » mais laissent les acteurs décider de « comment faire »
en fonction des contextes.
Les ESG dans nos établissements
Les ESG pour l’assurance qualité interne des institutions d’enseignement
supérieur explicitent les attentes dans les domaines suivants :

Politique et procédures pour le management de la qualité : mettre en œuvre une politique,
une stratégie et des procédures visant à l’amélioration continue de la qualité en associant les parties
prenantes = CEFE + Charte qualité

Approbation, examen et révision périodique des programmes et des diplômes : disposer
de mécanismes officiels pour… (procédures d’habilitation en interne et externe) = Conseils + DGESIP

Evaluation des étudiants : MCC, critères, règlements et procédures publiés et appliqués de
manière systématique et constante = Charte et règlement des examens

Management de la qualité du corps enseignant : avoir les moyens de s’assurer de la qualité et
de la compétence des enseignants, à développer et commenter dans les rapports d’évaluation = CNU +
Commission de spécialistes + CSE - BIP

Outils pédagogiques et soutien aux étudiants : s’assurer que les ressources affectées aux
outils pédagogiques et au soutien des étudiants sont adaptés à chaque programme = Enquêtes de
satisfaction + fiches qualité

Systèmes d’information : collecter, analyser et utiliser les informations nécessaires au pilotage
efficace des formations = statistiques socio-démo + indicateurs de réussite et d’insertion prof.

Information du public : rendre publiques des informations à jour, impartiales et objectives,
quantitatives et qualitatives, sur les programmes et les diplômes. = internet observatoire BAIP
La démarche qualité
comme processus d’amélioration continue
La démarche qualité : de quoi parlons-nous ?
 Elle est souvent synonyme de bureaucratie, technocratie, paperasses,
contraintes… c’est un des obstacles majeurs à sa mise en oeuvre
 Le vocabulaire est souvent hermétique pour les non spécialistes :
autoévaluation, certification, indicateurs, assurance qualité, normes ISO
9000, 9001, 14 000, référentiels, ESG, cartographie des risques, fiabilisation des
données, analyse des processus, procédures, manuel qualité, ranking,
benchmarking, amélioration continue, …
Démystification de la démarche qualité
En résumé, c’est :
L’analyse (autoévaluation ou évaluation externe) de nos modes de
fonctionnement (nos processus) pour en améliorer progressivement les
résultats (performances) par des améliorations (plans d’actions)
Démarche pragmatique guidée par une méthodologie simple
11
Méthode PDCA ou la roue de Deming
ACT = décisions de
nouvelles actions pour
améliorer et corriger
éventuellement = plan
d’actions
CHECK = mesurer, vérifier
les résultats, contrôler que le
travail correspond à ce qui était
attendu ; comprendre les écarts
par rapport à la situation prévue =
autoévaluation, production
d’indicateurs et analyse.
PLAN
= planifier ce que l’on
va faire (cahier des charges) ;
fixer les objectifs et mobiliser les
moyens ; mise en mode projet.
DO = Faire, produire, mise
en œuvre et pilotage du projet
12
Les formes et domaines de l’évaluation
Evaluation externe : intervention d’une agence d’évaluation externe (à distinguer de la DGES)
-
AERES – CTI (Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur –
Commission des Titres d’Ingénieur)
IGAENR (Inspection Générale de l’Administration de l’Education Nationale et de la
Recherche)
Organismes de certification (type AFNOR, si procédure de certification)
http://www.aeres-evaluation.fr/
Evaluation interne : autoévaluation
chaque établissement construit son propre dispositif d’évaluation : indicateurs, tableaux de
bord, audit, analyse de processus…
L’évaluation s’exerce
- par rapport à des normes ou des référentiels définis de manière externe (normes ISO,
standards européens de l’ENQA, Qualicert pour les IAE, …) ou
- par référence à des objectifs fixés par l’établissement (politique d’établissement, CQD)
Les domaines concernés : la formation, la recherche, le pilotage
(Gouvernance – système organisationnel, RH, Finance, Immobilier, SI, SCD, …)
Dispositif institutionnel d’évaluation français
Evaluation par les pairs et habilitation par le ministère tous les 5 ans
AERES + CTI
-- Formation
-- Recherche
-- Pilotage
DGESIP
Habilitations des diplômes
- Autoévaluation des
formations, des équipes de
recherche et de l’établissement
- Bilan du contrat
- Indicateurs de performance
- Projet stratégique
Dotation (modèles SYMPA)
Contrat quinquennal
Etablissement
+
Evaluation des Enseignants
Chercheurs tous les 4 ans par le CNU
Diverses modalités d’application de la démarche
qualité
La démarche qualité se décline sous différentes formes selon les
secteurs d’activités :
-
Démarche de certification en référence à des normes ou des
référentiels : labellisation, accréditation pour certains laboratoires, centre de
formation continue, instituts ou écoles ; audit
-
Analyse de processus : topographie de processus, cartographie des risques,
description de procédures
-
Mise en mode projet : diagramme de Gantt, comitologie, plan d’actions, lettres
de mission
-
Construction de tableau de bord : suivi de réalisation des objectifs par
-
Mise en assurance qualité du processus de formation
rapport à des cibles, fiabilisation et partage de données, construction d’un SI
Retour d’expériences
La démarche qualité doit s’adapter à son objet et aux
valeurs de l’établissement :
-
Promouvoir la culture qualité en rapport avec les objectifs de
l’établissement : forger un consensus autour des missions de l’établissement et se
concentrer sur la capacité au changement (favoriser l’innovation) ; plusieurs cultures
selon les pays et les établissements : excellence scientifique (ranking) ou qualité de
services par exemple (PDCA)
-
Evaluer par rapport aux objectifs de l’établissement (pas dans
-
Analyser l’impact des évaluations (coûts / avantages, complexité,
-
Garantir le suivi du résultat : processus d’amélioration continue, il ne suffit pas
l’absolu) en garantissant l’indépendance des évaluateurs et en se méfiant des indicateurs
quantitatifs simplistes (complexité des processus de formation)
fréquence, ….), éviter la bureaucratisation des procédures (application stricte
de normes)
d’évaluer mais boucler la roue de Deming
La démarche d’amélioration continue
L’évaluation
au service du pilotage
du processus de formation
17
Le rôle de la CEFE : définir les principes communs
Mobiliser et associer toutes les parties prenantes au sein d’une
Commission d’Evaluation des Formations et des Enseignements
Missions et composition de la CEFE
- elle est composée d’étudiants, d’enseignants et de Biatos (tous désignés par le
CA) + quelques experts et les services en charge de l’évaluation (Observatoire,
Cellule d’Aide au Pilotage)
- elle intervient en amont et en appui à la démarche du VP Evaluation – Qualité
(rôle de réflexion, accompagnement, validation des propositions)
- elle élabore une charte de l’évaluation (validée par les conseils) : définir les
valeurs et principes qui balisent les pratiques de l’évaluation et de la démarche
qualité
charte de l’évaluation
18
Les axes stratégiques en formation pour 2011
La démarche qualité est au service des objectifs et d’une stratégie :
Améliorer la qualité de service : accueil public (charte Marianne)
Augmenter le taux de réussite en licence
Créer des diplômes conjoints et doubles diplômes
Professionnaliser nos étudiants (stage en licence et suivi du stage en master,
certifications langues et C2i, BAIP)
Accroître la part des ressources propres (FTLV, TA, Contrats PS)
19
Le système de management de la qualité
dans le processus de formation
Commission CEFE X + Charte X
Rapports de l’AERES X
Tableaux de bord formation L X
Auto évaluation
Population et
Indicateurs X
Conditions d’études
M2 09
M2 CA N2 07
Commission
consultative
X
Evaluation des
formations et
des enseignements
L1 AES EFE L1 10
Conseil d’UFR
Contrats
d’objectifs
et de moyens
X
MD
Insertion 6 N2CA
Professionnelle X
Enquête d’évaluation
du processus de formation
par les enseignants X Y
Enquête d’évaluation
du processus de formation
par les BIATOS
Fiches qualité XY
dont « kit » qualité :
CEVU X
CA
X
- Respect charte qualité
- Référentiel X
- Réunion
commission consultative
- Transfert fiche qualité
- Bonus Qualité Formation
-Plan Réussite en licence
- Appui logistique de la
CAP, du SEIP et du CRAQ
20
Identité de problématique : Secondaire versus
Supérieur
Beaucoup de convergences entre le secondaire et le supérieur
Mesure de la performance par des indicateurs de résultats
des lycées (pour rendre compte des résultats du service public et alimenter la
réflexion sur l’efficacité)
-
Taux de réussite au bac
Taux d’accès de seconde et de première au bac
Proportion de bacheliers parmi les sortants
Puis pondération de ces résultats pour mesurer la valeur ajoutée
par le lycée (en mesurant le niveau initial des élèves et leurs
caractéristiques sociodémographiques)
Dispositifs de soutien à la qualité de la formation des
élèves (accompagnement individualisé, travaux sur projet, groupes de
soutien, conseils de classe, discrimination positive, …)
21
Conclusion :
Quelques réflexions sur notre démarche
 Privilégier les démarches incitatives et l’appropriation progressive.
 Favoriser le partage des bonnes pratiques en s’appuyant sur l’existant et
les initiatives locales.
 Etre prestataires de services et d’outils au service des acteurs et non
donneurs d’ordres.
 Eviter les démarches centralisatrices et autoritaires.
 Réfléchir aux effets pervers des systèmes de notation (Ranking)
 Préférez un langage qui encourage et dynamise par rapport à des termes
normatifs.
Culture organisationnelle partagée et non culture du référentiel !
22
« Eviter que la recherche de la conformité ne
remplace la réflexion sur la pertinence »
J. Lanares VR Université. de Lausanne
FIN