Transcript Présentation - Documentation

Évaluer les qualités terminales dans
un parcours de formation :
l’expérience en génie
Conférence présentée dans le cadre du Mois de la pédagogie universitaire
Roch Lefebvre, vice-doyen à la formation, Faculté de génie
Catherine Pilon, adjointe au vice-décanat à la formation, Faculté de génie
Faculté de médecine et des sciences de la santé – 3 avril 2014
Agora du Carrefour de l’information – 9 avril 2014
Objectifs de la présentation
• Vous faire part de notre :
–
–
–
–
–
projet d’agrément, changements et vision (horizon 2014, 2020… 2026!)
structure organisationnelle pour le mener à bien
approche générale pour rendre compte du développement des qualités
approche générale pour l’évaluation des qualités chez les étudiants
approche générale pour l’amélioration continue des programmes
• Recueillir vos commentaires
Ultimement, l’objectif est de rendre compte de notre expérience de ce
processus à la Faculté de génie
31
Préambule
30
29
Relevé de notes
Un programme
Une série de cours
(activités pédagogiques)
Note de l’étudiant
… par rapport à
son groupe
… dans une activité
pédagogique
Les objectifs
Le contenu
La répartition
dont on peut aller voir
Les productions de
l’étudiant avec ses
résultats
28
CV
« Langages informatiques :
C, C++, Java, VB »
(connaissances sur certains contenus clés)
« Environnements de
simulation et de développement: Matlab,
SolidWorks, CodeComposer »
(outils de l’ingénieur)
« Langues : français et anglais, parlés et
écrits » + forme du CV
(communication)
27
CV (suite)
« Projets développés et
responsabilités »
(gestion de projets)
(conception)
(analyse de problèmes)
(travail en équipe)
(communication)
« Qualités principales:
capacité de synthèse,
adaptation à divers contextes
de travail, responsable,
approche client, … »
(professionnalisme)
26
Question
Pour un étudiant, pourquoi le relevé de
notes et le contenu de ses cours ne suffisent
pas pour son CV ?
25
La Faculté de génie en quelques chiffres
• 4 départements
• 6 programmes de 1er cycle
• 120 crédits par programme
génie biotechnologique
génie chimique
génie civil
génie électrique
génie informatique
génie mécanique
• Environ 1 400 étudiants au 1er cycle
24
Particularités des programmes de
1er cycle
• Programmes fortement orientés sur la pratique et la conception
• Des projets de fin d’études d’envergure pouvant représenter jusqu’à
un investissement de plus de 4 000 h de travail pour les étudiants
23
Particularités des programmes de
1er cycle
• Programmes assujettis à un processus d’agrément d’Ingénieur
Canada, par l’intermédiaire du Bureau canadien d’agrément des
programmes de génie (BCAPG) – Durée maximale de l’agrément : 6
ans
• Ordre des ingénieurs du Québec : environ 60 000 membres
22
Réforme majeure dans le processus
d’agrément des programmes de génie
2014
Historiquement
« Vision contenu avec
unités d’agrément (UA) »
Vers l’avenir
« Vision qualités terminales
et amélioration continue »
21
Nouvelles normes d’agrément
• Qualités requises des diplômés (graduate attributes)
– Interprétées dans le contexte de candidats qui viennent de terminer
leurs études
– Qualités « techniques » et «non techniques »
• Amélioration continue (continual improvement)
– Démontrer qu’un processus est en place
• Tient compte des résultats (Qualités)
• Les résultats sont utilisés pour améliorer le programme.
20
Beaucoup de place à la créativité…
• Le BCAPG n’a fourni aucun outil de mesure ou de « formule » aux
établissements d’enseignement supérieur
• Nous avons donc dû :
– développer nos outils de mesure
– définir une approche pour prendre les mesures souhaitées
– déterminer une façon de présenter les résultats obtenus (bien que des
exemples à cet effet aient été donnés par le BCAPG à la fin de décembre
2013)
19
Les 12 qualités du BCAPG
• Choix et définition des 12 qualités requises des diplômés
18
Vision de la Faculté à l’égard de ce
nouveau processus
Vision 2014-2026
Structure
organisationnelle
Développement
des qualités
Évaluation des
qualités
Amélioration
continue
• Au-delà des préoccupations relatives à l’agrément, une
occasion pour :
– en faire plus qu’un exercice administratif pour répondre
la « commande » du BCAPG;
– intégrer cette approche dans nos pratiques d’évaluation;
– créer outil de pilotage pour permettre aux étudiants de
documenter leurs réalisations
– Conséquence: être prêts en tout temps pour l’agrément
(i.e. démontrer la progression et l’atteinte des qualités
pour tous nos étudiants)
Des objectifs ambitieux! Rappel : horizon 2014-2026
17
Structure organisationnelle
Vision 2014-2026
Structure
organisationnelle
GdTProgr.
GdTProgr.
Développement
des qualités
Évaluation des
qualités
Amélioration
continue
GdTProgr.
+
GdTFacultaire
GdTProgr.
GdTProgr.
Directions
départementales,
secrétaires et autres
personnes-ressources
GdTProgr.
16
Développement des 12 qualités
Vision 2014-2026
• Programmes = logique de progression dans les
apprentissages des étudiants
Structure
organisationnelle
Développement
des qualités
Évaluation des
qualités
S1
Amélioration
continue
S2
S3
T1
S4
T2
S5
T3
S6
T4
S7
S
T
T5
S8
Session
Stage
15
Rendre compte de cette progression
Vision 2014-2026
Structure
organisationnelle
Développement
des qualités
Évaluation des
qualités
• Pour chaque activité pédagogique, déterminer :
– le coefficient de complexité des qualités développées
et/ou évaluées par rapport au programme
– l’importance de la ou des qualités développées et
évaluées dans l’activité pédagogique ou l’APP
• Toutes ces nouvelles informations ont été intégrées
dans de nouveaux dossiers de cours harmonisés au
niveau facultaire
Amélioration
continue
14
Résultat : cartographie du
développement des qualités
S1
S2
Q01
ABC122
ABC156
Q02
ABC101
Q03
ABC122
Q04
ABC311
Vision 2014-2026
Structure
organisationnelle
Développement
des qualités
Évaluation des
qualités
Amélioration
continue
S3
ABC522
S4
…
S8
ABC910
ABC105
ABC111
Q05
…
Q12
13
Évaluation des 12 qualités
Vision 2014-2026
Structure
organisationnelle
Développement
des qualités
Évaluation des
qualités
• Conception d’échelles descriptives communes aux
6 programmes (échelles basées sur une revue de la
littérature et sur l’expertise interne de la Faculté)
• Ces outils présentent une description du comportement
attendu ou des caractéristiques recherchées chez les
étudiants/équipes à l’endroit des 12 qualités du BCAPG
Amélioration
continue
12
Éléments de nos échelles descriptives
Échelle
d’appréciation
du niveau de
maîtrise
démontré
Niveau 1
Niveau 2
Niveau 3
(cible)
Niveau 4
R
Critère 1
Critère 2
Critères à
évaluer
Critère 3
…
Énoncés décrivant les
niveaux d’appréciation
(descripteurs)
Résultat
obtenu
11
Exemples de nos échelles descriptives
Q04 - Conception
Niveau 1
Niveau 2
Niveau 3 (cible)
Niveau 4
… identifie des
informations
utiles pour
définir le
problème.
Formule la
problématique
et les objectifs,
mais de manière
imprécise.
… recherche des
informations de
sources variées
pour définir le
problème. Formule
la problématique à
résoudre et les
objectifs à
atteindre.
… recherche des
informations de
sources variées et
fiables pour définir
le problème.
Formule clairement
la problématique à
résoudre et les
objectifs à
atteindre.
R
L’étudiante, l’étudiant ou l’équipe…
Critère 1
Définir un
projet ou un
problème
d’ingénierie
… omet plusieurs
informations
pertinentes pour
bien définir le
problème. Formule
partiellement la
problématique et
une partie des
objectifs à
atteindre.
10
Exemples de nos échelles descriptives
Q070 – Communication orale
Niveau 1
Niveau 2
Niveau 3 (cible)
… recourt à un
support visuel
qui appuie
minimalement
le contenu de sa
présentation.
… recourt à un
support visuel qui
appuie bien le
contenu de sa
présentation et
veille à ce que son
support soit sobre,
visible et équilibré
(pas seulement du
texte).
Niveau 4
R
L’étudiante, l’étudiant ou l’équipe…
Critère 2
Recourir à un
support visuel
de qualité
… recourt à un
support visuel dont
l’allure devrait être
améliorée,
puisqu’elle
détourne
l’attention.
… recourt à un
support visuel qui
appuie
efficacement le
contenu de sa
présentation et
veille à ce que son
support soit sobre,
visible, équilibré
(pas seulement du
texte) et d’allure
professionnelle.
9
Utilisation de nos échelles descriptives
Vision 2014-2026
Structure
organisationnelle
• Identification d’un ensemble de situations clés par
qualité (minimum 3 par qualité),lesquelles sont
généralement associées à des modalités d’évaluation
sommatives
Développement
des qualités
Évaluation des
qualités
S1
S2
S3
T1
S4
T2
S5
T3
S6
T4
S7
S
Amélioration
continue
T
T5
S8
(12 Q)
Session
Stage
Échelle
descriptive
8
Résultat : cartographie du
développement ET de l’évaluation
S1
S2
Q01
ABC122
ABC156
Q02
ABC101
Vision 2014-2026
Structure
organisationnelle
Développement
des qualités
Q03
Q04
Évaluation des
qualités
Amélioration
continue
S3
ABC522
S4
…
S8
ABC910
ABC105
ABC111
ABC311
Q05
…
Q12
7
Analyse des données
Exemple du BCAPG
6
Analyse des données
Nos objectifs
Vision 2014-2026
Structure
organisationnelle
Développement
des qualités
Évaluation des
qualités
Amélioration
continue
• Donner plus d’informations
• Courbes de progression
– pour un étudiant
– dans une filière/concentration donnée (maths,
conception, etc.)
• Poser un diagnostic précis pour l’amélioration continue
• pour le programme
• pour l’étudiant (outil de pilotage)
5
Amélioration continue
(demande du BCAPG)
Vision 2014-2026
Structure
organisationnelle
Développement
des qualités
Évaluation des
qualités
• Discuter des résultats précis des mesures en ce
qui concerne les attentes futures du programme.
Conclusions sur les données présentées
• Intervenants consultés, et types de consultations
• Façon dont les résultats et les analyses seront
utilisés pour améliorer le programme
• Mesures particulières prévues ou mises en œuvre
Amélioration
continue
4
Conclusions / réflexions
Vision 2014-2026
Structure
organisationnelle
Développement
des qualités
Évaluation des
qualités
Amélioration
continue
• À la Faculté de génie, nouvelles normes et processus
mis en œuvre vus comme étant bien plus qu’un
exercice administratif pour obtenir l’agrément
• Pourra-t-on vraiment s’affranchir complètement des
mesures « contenu » (les U.A.)?
• Comment mieux intégrer l’expérience et les
apprentissages en stage dans l’appréciation du niveau
de maîtrise des étudiants?
3
Conclusions / réflexions
Vision 2014-2026
Structure
organisationnelle
• Comment assurer la pérennité et l’intégration dans la
culture facultaire des outils et de la démarche
développés aux fins de l’agrément
•
Objectif est de faire évoluer nos pratiques de formation et
d’évaluation
Développement
des qualités
Évaluation des
qualités
• Quelles sont vos réflexions?
Amélioration
continue
2
Merci pour votre attention
Questions?
1