Transcript Document PowerPoint de la conférence

Le développement de la culture
d’évaluation : l’expertise du
réseau collégial
Colloque de l’AQPC
4 juin 2013
Plan de la présentation
1. Le développement de la culture d’évaluation des
collèges
2. Étude comparative d’agences d’assurance qualité en
enseignement supérieur
3. Vers une conception institutionnelle de la gestion de
la qualité
1. Le développement de la culture
d’évaluation des collèges
Par : Michel Lauzière, président
Création de la Commission
en 1993
Principaux éléments de contexte (le renouveau)
Un enseignement collégial mis à jour et adapté
aux besoins de la société québécoise.
Accroissement de l’autonomie des collèges.
Renforcement du dispositif d’évaluation externe.
Mission
Contribuer au développement de la qualité de
l’enseignement collégial et en témoigner.
Juridiction
Tous les collèges auxquels s’applique le Règlement sur
le régime des études collégiales (RREC) : une centaine
de collèges publics et privés dont près de la moitié (48)
sont des cégeps.
Pouvoirs de la Commission
Dans l’exercice de son mandat, la Commission a :
un pouvoir de vérification;
un pouvoir de recommandation;
un pouvoir déclaratoire.
Champ d’application du mandat
de la Commission
Les politiques d’évaluation des programmes d’études
et leur application (PIEP);
Les politiques d’évaluation des apprentissages et leur
application (PIEA);
La mise en œuvre des programmes d’études établis
par le ministre ou par les établissements;
Champ d’application du mandat
de la Commission (suite)
Les activités reliées à la mission éducative des
collèges;
Pour les cégeps, les plans stratégiques et la gestion
qu’ils en font, incluant les plans de réussite;
Pour les collèges privés subventionnés concernés, les
plans de réussite et la gestion qu’ils en font.
Quelques statistiques
Évaluation des programmes – 8 opérations différentes :
421 visites, 74 programmes différents – 957 recommandations;
Évaluation institutionnelle :
68 visites, 166 recommandations;
Analyse des politiques :
521 PIEA et PIEP;
Efficacité des politiques :
167 visites d’établissements – 270 recommandations;
Plans de réussite et plans stratégiques :
190 plans évalués;
Efficacité des plans de réussite et des plans stratégiques :
opérations en cours (70 collèges visés).
*Données : novembre 2012
Développement d’une culture
d’évaluation
Quel a été l’impact des opérations de la Commission sur
l’amélioration de la qualité et sur le développement de
la culture d’évaluation dans les collèges du réseau
québécois?
Fondements des actions
de la Commission
La réussite des actions menées par la Commission
s’appuie sur le dynamisme des établissements.
Il appartient aux collèges de s’assurer de la qualité.
La contribution des partenaires
Participation aux travaux d’un comité consultatif
formé spécifiquement pour chaque opération.
Participation en grand nombre, à titre d’experts, à
tous les comités de visite.
L’utilité des outils, des guides et des
sessions d’information
Pour chacune des opérations, la Commission a :
produit un document d’orientation et, dans la plupart
des cas, un guide de référence à l’intention des collèges;
rencontré systématiquement tous les collèges visés pour
les informer de ses attentes et pour répondre à leurs
questions;
produit un guide à l’intention des experts et assuré leur
formation.
(Soucieuse de soutenir les collèges dans leur démarche d’évaluation, la
Commission a d’abord produit des guides d’évaluation volontairement très
détaillés et normatifs.)
La culture d’évaluation
L’impact de la démarche proposée
L’autoévaluation du collège
Devis
Rapport d’autoévaluation
Plan d’action
La démarche de la Commission
L’analyse du rapport du collège
La visite
Le rapport préliminaire
Les réactions du collège
Le rapport définitif
Les suivis
L’impact des opérations de la
Commission dans les collèges
La mise en place d’une démarche institutionnelle qui permet
de s’assurer de la qualité (autoévaluation);
L’élaboration d’un plan d’action à partir des constats, des
analyses et des conclusions faits lors de l’autoévaluation;
La mise en œuvre par les collèges de leur plan d’action;
La participation des membres de la communauté aux
différentes rencontres lors de la visite de l’établissement;
La participation aux activités des différents comités consultatifs;
La participation aux visites à titre d’expert;
Les bilans et les synthèses des opérations élaborés par la
Commission.
2. Étude comparative d’agences
d’assurance qualité en
enseignement supérieur
Par : Katie Bérubé - coordonnatrice de projet ;
Corinne Côté, Evelyne Drouin, Alla Mitriashkina et
Claudia Pilote - agentes de recherche
Objectifs de l’étude
Documenter et comparer les pratiques des agences
d’assurance qualité à l’international.
Situer les pratiques de la Commission dans le
contexte de l’assurance qualité à l’international.
Alimenter la réflexion en soutien à la définition de
l’opération d’évaluation des systèmes d’assurance
qualité des collèges.
Agences étudiées
AERES : Agence de l’évaluation de la recherche et de
l’enseignement supérieur
OAQ : Organe d’accréditation et d’assurance qualité des
hautes écoles suisse
QAA : Quality Assurance Agency for Higher Education
SAQCO : Service d’assurance qualité des collèges de
l’Ontario
Méthodologie
Sources de données :
Documentation disponible sur les sites Internet des agences
et autres sites.
Information recueillie lors de la mission en novembre 2011
(Europe) et en février et août 2012 (Ontario).
Éléments de recherche :
1.
2.
3.
4.
Contexte des agences;
Type d’évaluation et finalités;
Critères d’évaluation;
Processus d’évaluation.
AERES
AERES
Contexte de sa création en mars 2007
Processus de Bologne
Loi de programmation pour la recherche : mission
L’AERES est chargée de l’évaluation des établissements
d’enseignement supérieur et de recherche, des
organismes de recherche, des unités de recherche, des
formations et diplômes d’enseignement supérieur ainsi
que de la validation des procédures d’évaluation de
leurs personnels.
Type d’évaluation
L’AERES est organisée en trois sections :
1. La section des formations et des diplômes;
2. La section des unités de recherche;
3. La section des établissements.
La section des établissements = Audit de qualité
Évaluation intégrée
Cycle de 5 ans lié au financement
AERES
Critères d’évaluation
AERES
6 grands domaines touchés par l’évaluation :
La stratégie et la gouvernance;
La recherche et la formation;
La réussite des étudiants;
La valorisation et la culture scientifique;
Les relations européennes et internationales;
Le pilotage et la gestion.
Domaines → Champs → Références → Éléments d’interprétation
Effectivité
Cohérence
Efficacité et efficience Participation
Soutenabilité
Lisibilité
Pertinence
Processus d’évaluation
Source: Site Internet de l’AERES
OAQ
OAQ
Contexte
Bases légales : loi LAU, concordat CICU, convention
de coopération dans le domaine des hautes études
universitaires.
Actif depuis le 1er octobre 2001.
Statut : agence autonome, à caractère national,
habilitée à effectuer des accréditations
institutionnelles.
Financement public : contribution annuelle de la
Confédération + travaux non mandatés par la CUS.
Type d’évaluation
4 types d’évaluation : les accréditations, les audits de
qualité, les évaluations et les accréditations
institutionnelles en Allemagne.
Audit de qualité des systèmes d’assurance qualité.
12 HEU de Suisse ainsi que les universités
d’Autriche.
Périodicité : selon le mandat du SER, tous les 4 ans.
Finalités : servent de base au droit aux subventions
fédérales.
OAQ
Critères d’évaluation
Les critères d’assurance qualité (standards)
correspondent à ceux définis par l’ENQA :
1. Stratégie;
2. Portée;
3. Processus et responsabilités;
4. Évaluations;
5. Développement du personnel;
6. Utilisation de l’information et prise de décision;
7. Communication.
OAQ
Jugements de l’audit
OAQ
Chaque critère est examiné et son application par
l’établissement est commentée.
Les experts se prononcent sur le niveau
d’avancement du système d’assurance qualité et
émettent des recommandations s’il y a lieu.
La conclusion du rapport :
L’université remplit / ne remplit pas pleinement
l’ensemble des standards de qualité.
Les conditions pour l’octroi de subventions relatives à la
qualité sont remplies / ne sont pas remplies.
Processus d’évaluation
OAQ
Autoévaluation par l’établissement.
Séance préparatoire (3 heures) et visite sur place (1-3
jours) des experts internationaux.
Rédaction du rapport par le responsable du groupe
d’experts.
Rétroaction de l’établissement.
Rédaction du rapport de l’OAQ (son envoi au SER et
à la CUS).
Décision de financement de l’université par le SER.
Publication entendue avec la CUS.
QAA
QAA
Agence créée en 1997 et reçue membre de l’ENQA
en 2000 :

Indépendante et à but non lucratif.

Financée par les cotisations des universités et des
collèges et à travers des contrats avec des organismes
publics.
Établissements évalués :

168 universités et collèges d’enseignement supérieur
autonomes et privés (HEI’s).

120 collèges de formation continue (Colleges of furthur
education).
Type d’évaluation
QAA
Évaluation institutionnelle (Institutional Review) basée
sur un cycle de 6 ans.
Finalités :

Pour l’agence : amélioration de la qualité et témoignage
de la qualité.

Pour les établissements : impact sur leur financement par
les organismes de financement de l’enseignement
supérieur et sur leur pouvoir de décerner les diplômes
(habilitation).
Critères d’évaluation
Critères détaillés
Handbook :
dans
le
Institutional
QAA
Review

Critère 1 : standards minimaux associés aux
compétences;

Critère 2 : qualité des opportunités d’apprentissage des
étudiants, incluant l’enseignement et le soutien à
l’apprentissage;

Critère 3 : qualité de l’information publique produite par
l’établissement à propos des opportunités
d’apprentissage;

Critère 4 : mécanismes institutionnels d’amélioration de
l’enseignement et du soutien à l’apprentissage.
Critères d’évaluation
Jugements :


Critère 1 : 2 niveaux de jugement → « rencontre les
attentes » ou « ne rencontre pas les attentes » en
fonction de standards minimaux établis par QAA.
Critères 2, 3 et 4 : 4 niveaux de jugement → « de
qualité » ou « rencontre les attentes » ou « requiert des
améliorations pour rencontrer les attentes » ou « ne
rencontre pas les attentes » en fonction de standards
minimaux établis par QAA.
Avis → recommandations de 3 niveaux :



essentielle;
conseillée;
souhaitée.
QAA
Processus d’évaluation
Rencontre préparatoire : 4 mois avant la visite.
Dépôt du rapport d’autoévaluation : 3 mois avant la visite.
Travail préparatoire du comité de visite.
Visite préparatoire : 6 semaines avant la visite.
Visite (3 à 5 jours)
Rédaction et validation du rapport d’évaluation.
Envoi du rapport d’évaluation : 6 semaines après la visite.
Publication du rapport d’évaluation accompagné des réactions
de l’établissement : 3 mois après la visite.
Dépôt du plan d’action de l’établissement : 2 mois après la
publication du rapport d’évaluation.
Suivi de l’évaluation à mi-cycle : 3 ans après la visite.
QAA
SAQCO
SAQCO
Loi de 2002 sur les collèges d’arts appliqués et de
technologie de l’Ontario.
Financé par les 24 collèges publics de l’Ontario selon
leur importance relative (nombre d’élèves) :
propriétaires-exploitants.
Pas un organisme d’État même si création
commandée par gouvernement de l’Ontario.
Membre de l’INQAAHE.
Type d’évaluation
SAQCO
Audit des mécanismes d’assurance de la qualité
des programmes (AMAQP)

Conçu pour assurer la qualité et l’amélioration continue
des collèges de l’Ontario et en témoigner.

Confirmation de la conformité des processus
d’assurance de la qualité aux critères.
Objectif : Assurer la qualité de l’ensemble des
programmes et services du réseau pour les élèves, les
diplômés, les employeurs et le public.
Processus d’examen quinquennal, établi à l’avance.
Critères d’évaluation
SAQCO
1. Cohérence des résultats d’apprentissage – mission du collège –
programmes – titre de compétence;
2. Politiques scolaires;
3. Conformité des programmes;
4. Modes de prestation et méthodes d’évaluation;
5. Ressources humaines, physiques, financières et de soutien;
6. Processus d’évaluation de la qualité des programmes.
Exigences reliées aux critères en déterminent le niveau
d’atteinte.
Critères détaillés dans : Guide d’orientation
Jugements
Jugements des critères
 Critère atteint, partiellement atteint, pas atteint.
 Mention spéciale : pratiques exemplaires.
 Affirmation : confirmer le jugement du collège.
 Recommandation : souligner des points à améliorer non
spécifiés par le collège.
SAQCO
Jugements
(suite)
SAQCO
Jugement global sur le processus d’assurance
qualité :
 Effort minime – aucun processus d’assurance qualité et
d’amélioration.
 Effort de réaction – approche ad hoc.
 Effort formel – certaines initiatives et tentatives
d’amélioration.
 Effort structuré – début de planification et de suivi d’initiatives.
 Effort mature – processus d’assurance qualité ancré,
amélioration continue.
Processus d’évaluation
SAQCO
Étapes principales :
 Dépôt du rapport d’autoévaluation du collège;
 Visite de l’équipe d’audit au collège (1 à 2 jours);
 Rédaction du rapport par président d’équipe approbation
équipe  commentaires collège  comité de gestion;
conformité et équité;
 Rapport final au collège;
 Sommaire site SAQCO (5-6 p);
 Suivi du collège (rapport intérimaire) dans les 18 mois.
Équipe : présidence de l’équipe (externe au CAAT) +
deux experts (int./ext. CAAT).
Synthèse comparative
Contexte : agences récentes aux statuts variés.
Type d’évaluation : audit vs évaluation
Finalités variées : regard rétrospectif vs prospectif
Critères d’évaluation :

Des critères prédéfinis.

Jugements basés sur des exigences, de références ou de
seuils minimaux.
Un processus d’évaluation éprouvé.
Pour en savoir plus…
Autres agences examinées : Belgique (AEQES),
États-Unis (WASC), Australie (TEQSA), autres
provinces canadiennes.
Bibliographie du document Évaluation de l’efficacité
des systèmes d’assurance qualité des collèges
québécois - Orientations et cadre de référence.
3. Vers une conception institutionnelle
de la gestion de la qualité
Par : Michel Lauzière, président
20 ans plus tard…
Une culture d’évaluation bien installée dans chaque
collège du réseau.
Des mécanismes institutionnels qui prennent en
compte les particularités de chaque établissement.
Des missions respectives à réaliser (collèges et
Commission).
La nécessité de mettre en place des démarches
d’évaluation qui s’inscrivent dans les meilleures
pratiques en assurance qualité en enseignement
supérieur.
Les objectifs de la prochaine
opération
Effectuer une opération qui s’appuie sur la capacité
des collèges du réseau collégial à mettre en place
des mécanismes qui assurent la qualité.
Effectuer une opération qui permet à la Commission
de témoigner de la qualité de l’enseignement et de
contribuer à son amélioration.
Effectuer une opération dont la mise en œuvre
s’inscrit dans meilleures pratiques en assurance
qualité en enseignement supérieur…
La prochaine opération de la
Commission
L’évaluation de l’efficacité des systèmes d’assurance
qualité des collèges québécois
« Vers une conception institutionnelle de la gestion de la
qualité »
Un audit sur l’efficacité des systèmes
La base conceptuelle de l’opération :
La qualité;
L’assurance qualité;
Le système d’assurance qualité;
Les mécanismes d’assurance qualité;
L’efficacité du système d’assurance qualité;
L’amélioration continue;
La gestion de la qualité;
Un audit, un cycle d’audit.
AQI et AQE :
Processus
complémentaires
Système d’assurance qualité
soumis à l’audit
Les étapes de mise en œuvre
Recherche et développement;
Comité mixte de travail;
Détermination des 4 collèges intégrés dans la phase
de validation;
Formation du comité consultatif (CC) de l’opération;
Production du document d’orientation et de
référence de l’opération;
Tournée des collèges du réseau (portrait
institutionnel des mécanismes d’assurance qualité);
Les étapes de mise en œuvre
(suite)
Validation du référentiel (experts externes et CC);
Diffusion du calendrier de l’opération (2013-2017);
Formations personnalisées dans chaque
établissement;
Dépôt des rapports d’autoévaluation des collèges
de la phase de validation;
Visite des collèges de la phase de validation;
Début du premier cycle d’audit.
En conclusion
Des mécanismes d’assurance qualité pour :
des programmes de qualité, répondant aux exigences
de la société québécoise, des universités et du
marché du travail;
des évaluations des apprentissages justes et
équitables qui contribuent à la valeur des diplômes;
un environnement propice à la réussite;
un développement structuré permettant la réalisation
de la mission de chaque collège.
« Pour que l’expérience éducative de chaque étudiant soit la
meilleure possible »
Commission d’évaluation
de l’enseignement collégial
800, place D’Youville, 18e étage
Bureau 18.01
Québec (Québec) G1R 5P4
Téléphone : 418 643-9938
Télécopieur : 418 643-9019
www.ceec.gouv.qc.ca
Merci de
votre attention!