Transcript Alignement curriculaire

Assurer la cohérence entre
l’évaluation et les objectifs
Philippe Gagné
Sabine Brunet
Geneviève Boucher
Laurence Dumont
Colloque de l’AQPC
Le 5 juin 2013
1
Objectifs/Standards
Alignement
curriculaire
Évaluations/Tests
Matériel
pédagogique
et activités
d’apprentissage
Contenu: Ce que nous enseignons est-il testé?
Opportunité d’apprentissage: Enseignons-nous ce qui est
testé?
Anderson, 2001
Processus d’une analyse
d’alignement curriculaire
Le département et l’équipe de recherche
Sollicitation des enseignants
Collecte du contenu du cours
Les experts codeurs
Le statisticien
Traitement statistique
des données
Description des
évaluations et
de leur contenu
Vérification de
la validité et
de la fiabilité
des données
Résultats synthétisant le
contenu des évaluations
Processus d’accord
inter-juges
L’équipe de recherche
Équivalence des
opportunités
d’apprentissage
Optimisation de
l’équité entre les
cours
Développement
professionnel des
enseignants
Analyse et intégration
des résultats
Plan d’action
développé par:
- Le département
- L’équipe de
recherche
- Les enseignants
Vision commune et
engagement envers les
conclusions de la
démarche
Discussion sur
l’évaluation des objectifs
du cours, nourrie par
l’interprétation des
résultats
Présentation aux
enseignants et au
département
4
Commentaires
• Une initiation pour ma part!
• Une définition de « alignement curriculaire d'un
programme ou d'un département » aiderait à se
positionner - si on parle d'une cohérence entre
objectifs et évaluations - alors je connais bien mais pas
nécessairement toutes les méthodes.
• Je n'y connais rien.
• J'ai une connaissance théorique de l'évaluation de
programme de formation pour l'avoir abordée dans un
cours à la maitrise. Mais je ne connais pas les
spécificités de la démarche d’évaluation lorsqu’elle est
menée dans le contexte collégial.
5
Quelles sont vos attentes par rapport à
cet atelier?
• Des outils pour évaluer le mieux possible les compétences visées
par le programme.
• Je compare mes attentes a une sorte de défrichage du sujet.
Obtenir des informations de base et pouvoir expérimenter afin de
pouvoir investir les connaissances développées dans mon milieu.
• Connaître l'application du processus dont il est question dans la
description de l'atelier m'intéresse vivement.
• En tant que conseillère pédagogique, pouvoir utiliser les outils et
trucs qu'on me fournira pour mieux accompagner les enseignants.
• À titre de conseiller pédagogique, en savoir plus pour aider les
professeurs. (J'ai aussi le mandat des évaluations de programme).
• Tout simplement développer une meilleure connaissance de ce
qu'est l'évaluation de programme au collégial.
• Apprendre !
6
Lexique
Alignement curriculaire:
Webb (2007): une méthode permettant de mesurer « le degré de
concordance entre les attentes [les standards] et les évaluations et
jusqu’à quel point elles se complètent pour faire en sorte que les
étudiants apprennent ce que l’on s’attend qu’ils sachent et fassent »
(citée par Martone & Sireci, 2009, nous traduisons).
Taxonomie:
« La taxonomie en éducation est une classification organisée et
hiérarchisée de phénomènes d'apprentissage ou de développement. »
Dictionnaire actuel de l'éducation (Legendre, 2005).
7
Plan de l’atelier
•
•
•
•
•
•
•
•
•
•
L’annonce faite au département…;
La collecte des données;
L’« itémisation »;
Les outils de traitement des données;
Description des évaluations (codage);
PAUSE;
Accords interjuges et fréquences croisées;
Démarche à Vanier;
Autres taxonomies;
Évaluation.
8
La pertinence
de l’alignement curriculaire
• Extraits du rapport de la Commission d’évaluation
de l’enseignement collégial (CEEC) à Vanier
(2011):
« La Commission a observé que [l’évaluation finale]
ne correspond pas toujours au niveau taxonomique
des objectifs visés » : Validité
« La Commission suggère au Collège de s’assurer de
l’équivalence de l’évaluation dans le cas d’un même
cours donné par plus d’un professeur » : Cohérence
et équité
9
La simulation
ALIGNÉS OU PAS?
10
Saisie et base de données
11
VOTRE ÉQUIPE
12
Accords interjuges
• Tendre vers l’objectivité
• Démarche itérative
– Expertise de base;
– Encodage « instinctif »;
– Comparaison et création d’une compréhension
commune;
– Résultat final visé: ≈ 85% et +;
13
Accords interjuges (suite)
• Comparaison et création d’une
compréhension commune
• Résultat final visé: ≈ 85% et +
14
La démarche au cégep Vanier
BALISER LA LIBERTÉ
15
Mise en contexte
• Des cours communs à la conception de cours
particularisés;
• La volonté de mesurer le degré de cohérence
et d’équité;
• L’obtention d’une subvention du Academic
Success Projects;
• Hiver 2012: 7 cours 102 (niveau intermédiaire).
16
Méthodologie
•
•
•
•
•
•
Collecte des données;
Numérotation des items;
Codage des items;
Traitement des données;
Analyse des résultats;
Diffusion aux volontaires, puis au
département.
17
Numérotation des items
18
Résultats
•
•
•
•
Nombre d’items;
Objectifs ministériels;
Relation-question-réponse (RQR);
Processus en lecture.
19
Nombre d’items
Nombre minimum
Nombre
d’items
maximum d’items
Nombre total
d’items pour
l’ensemble des
évaluations
Professeur
Nombre
d'évaluations
P1
13
1
65
171
P2
12
1
64
192
252
P3
8
1
65
P4
8
1
20
166
P5
8
1
261
319
P6
8
1
248
303
P7
9
1
43
132
20
Objectifs ministériels
100%
0
10
90%
3
3
12
10
37
38.5
0
10
15
1
11
0
10
37.5
42
47
1
Pourcentage de points accordés
80%
70%
49
54
60%
S.O.
Ob4
50%
Ob3
40%
30%
20
27
21
25.5
24
20
18
Ob2
Ob1
20%
10%
20
28
21
18
21
22
23
P3
P4
Professeur
P5
P6
P7
0%
P1
P2
Pourcentage de points par objectif ministériel selon le professeur
21
Objectifs ministériels (suite)
100%
0
0
12
36
40
90%
0
30
80%
Pourcentage d'items
70%
170
60%
146
50%
163
166
S.O.
125
158
270
Ob3
40%
Ob2
30%
Ob1
20%
10%
0%
Ob4
93
16
5
P1
43
11
3
P2
1
P3
1
2
P4
Professeurs
7
3
P5
7
3
3
P6
P7
Répartition du pourcentage et du nombre d’items en fonction des objectifs ministériels selon le professeur
22
RQR (Wixson, 1983)
• Explicite et textuel : La relation est explicite et textuelle si la question et la
réponse découlent toutes deux du texte et que la relation entre la
question et la réponse est clairement indiquée par des indices dans le
texte même.
• Implicite et textuel : La relation est implicite et textuelle si la question et
la réponse découlent toutes deux du texte, mais qu’il n’y a pas dans le
texte d’indice grammatical qui relie la question à la réponse. Cette
catégorie demande l’utilisation d’au moins une inférence par le lecteur.
• Relation implicite et faisant référence aux schémas du lecteur : La
relation est implicite et fondée sur les schémas du lecteur si la question
seule découle du texte et que le lecteur utilise ses propres connaissances
pour répondre à la question.
23
RQR
60.00%
50.00%
40.00%
10.05%
3.59%
3.99%
0.44%
Implicite et faisant appel aux schémas du lecteur
4.98%
30.00%
11.79%
Implicite et textuel
1.46%
25.46%
20.00%
Explicite et textuel
44.95%
37.65%
34.51%
29.35%
26.37%
24.12%
10.00%
10.60%
0.00%
0.28%
P1
P2
0.00%
P3
0.00%
P4
0.00%
P5
0.18%
P6
0.00%
P7
Pourcentage du cours dédié à chaque catégorie du RQR par professeur
24
Processus en lecture
(Giasson, 1990, 2011; Irwin, 1986)
Microprocessus : Les microprocessus permettent de comprendre l’information
contenue dans une phrase : reconnaissance de mots; regroupement des mots en
unités significatives; sélection des éléments de la phrase importants à retenir.
Processus d’intégration : Les processus d’intégration permettent d’effectuer des liens
entre les propositions ou entre les phrases.
Macroprocessus : Les macroprocessus sont orientés vers la compréhension du texte
dans son entier.
Processus d’élaboration : Il y en a cinq : faire des prédictions, se former une image
mentale, réagir émotivement, raisonner sur le texte, intégrer l’information nouvelle à
ses connaissances antérieures.
Processus métacognitifs : Les processus métacognitifs font référence aux
connaissances du lecteur sur le processus de lecture en soi ; ils visent aussi sa capacité
à se rendre compte d’une perte de compréhension, prise de conscience qui l’amènera
à utiliser des stratégies appropriées pour remédier au problème.
25
Processus en lecture
60.00%
0.00%
9.02%
50.00%
40.00%
7.58%
0.00%
3.59%
0.00%
9.89%
30.00%
20.89%
5.63%
0.08%
0.00%
0.00%
5.14%
2.29%
6.87%
38.41%
Processus Métacognitifs
Processus d'élaboration
Macroprocessus
14.43%
1.52%
3.15%
20.00%
0.00%
3.56%
Processus d'intégration
Microprocessus
0.93%
32.65%
10.00%
0.00%
20.58%
23.16%
0.40%
P2
0.00%
P3
20.46%
17.04%
0.00%
P1
0.00%
P4
0.00%
P5
22.32%
0.18%
P6
0.00%
P7
Valeur du cours en pourcentage accordé aux différents processus en lecture
26
Activité métacognitive
« Elle englobe toutes les pratiques réflexives qui
explicitent, en miroir, le fonctionnement
intellectuel de l’individu, en particulier en
situation d’apprentissage, et permettent ainsi
au sujet de réguler cette activité dans ses
différentes composantes. » (Cuq, 2003)
« Processus qui conduit à l’autogestion des
activités de cognition. » (Caron, 1991)
Questions ou activités métacognitives
• Nommez cinq concepts qui vous aident à interpréter ce film. Pour
chaque concept, expliquez comment votre compréhension façonne
votre interprétation du film.
• Faites deux listes. L’une avec les points de vue de trois personnages
du roman et l’autre avec trois de vos positions en tant que lecteur.
Expliquez comment vos positions vous amènent à interpréter les
événements du roman différemment des personnages.
• Ce cours commence à me faire sentir que je devrais remettre en
question toute l’information qu’on me présente.
Vrai
Faux
• Le port-folio: identifier ses propres erreurs typiques au début du
cours.
Guide de conception d’évaluations en
compréhension écrite
• Regroupement de questions typiques pour
chaque catégorie RQR/Processus;
• Source d’inspiration lors de la conception
d’une évaluation;
• Document évolutif par niveau;
• (Annexe D de notre rapport; voir
bibliographie).
29
Extrait du Guide
Explicite
et textuel
Microprocessus
Info textuelle dans une phrase



Processus d'intégration
Info = lien explicite entre proposition ou phrases







Demander de repérer une information précise dans une phrase : mots de
vocabulaire, date, noms, etc.
Demander de compléter une phrase lacunaire par des informations
apparaissant textuellement dans une phrase.
Poser une question reprenant quasi textuellement une phrase du texte à
laquelle il suffit de répondre par un ou deux mots apparaissant dans la
phrase de départ. Exemple, phrase du texte : L’agriculture est en fait la plus
importante source de pollution des milieux aquatiques au Canada;
question posée : L’agriculture est la source de pollution la plus importante
de quel type de milieu?
Poser une question sur l’idée directrice apparaissant clairement dans le
titre, dans le sujet posé de l’introduction et dans la fermeture de la
conclusion.
Demander un exemple concret sur un point donné : Donnez un exemple
concret (des risques des OGM pour l’agriculture).
Poser des questions ouvertes reprenant quasi textuellement une
information facilement repérable dans une portion du texte; un exemple,
une date, un nom d’organisme, etc.
Lire un passage et poser une question d’inférence.
Faire émettre une hypothèse.
Identifier des mots clés.
Formuler des questions de type oui-non.
30
Autres taxonomies
BLOOM, ANDERSON, MARZANO,
WEBB, ALOUETTE!
31
Bloom (1956) est mort… (de même
que Anderson, 2001)
Brennan, R. L. (2006). Educational
measurement. (R. L. Brennan, Ed.) (4th ed., Vol.
4th ed.). American Council on Education and
Praeger Publishers.
32
Vive Marzano!
33
34
Marzano (2007)
Les résultats des élèves (Bateman, 2007)
35
Les résultats des élèves (suite)
36
Les résultats des élèves (fin)
37
Bibliographie sélective
Anderson, L., & Krathwohl, D. (2001). A Taxonomy for Learning, Teaching, and Assessing. Longman New York. Longman.
Bateman, D., Taylor, S., Janik, E., & Logan, A. (2009). Curriculum coherence and student success. Pédagogie collégiale, 22(5), 8–18. Version française à paraître dans le numéro d’automne 2013.
Beach, R. W. (2011). Issues in Analyzing Alignment of Language Arts Common Core Standards With State Standards. Educational Researcher, 40(4), 179–182. doi:10.3102/0013189X11410055
Biggs, J. (1996). Enhancing Teaching Through Constructive Alignment. Higher Education, 32, 1–18.
Brennan, R. L. (2006). Educational measurement. (R. L. Brennan, Ed.) (4th ed., Vol. 4th ed.). American Council on Education and Praeger Publishers. Tiré de
http://www.loc.gov/catdir/toc/ecip0614/2006015706.html
Cohen, S. A. (1987). Instructional alignment: Searching for a magic bullet. Educational Researcher, 16(8), 16–20. Tiré de http://edr.sagepub.com/cgi/content/abstract/16/8/16
Cuq, J.-P. (2003). Dictionnaire de didactique du français langue étrangère et seconde. Paris: CLE International.
Gagné, P., Brunet, S., Boucher, G., & Dumont, L. (2012). Alignement curriculaire en français langue seconde au cégep Vanier. Cours de niveau 3. Montréal: Vanier College Press. Tiré de
http://www.cdc.qc.ca/pdf/788353-gagne-et-al-alignement-curriculaire-FLS-vanier-2012.pdf
Gauthier, C., Mellouki, M., Bissonnette, S., & Richard, M. (2005). Écoles efficaces et réussite scolaire des élèves à risque. Un état de la recherche. Québec: Université Laval.
Giasson, J. (2011). La compréhension en lecture (3e édition.). Bruxelles: De Boeck.
Hammerness, K. (2006). From Coherence in Theory to Coherence in Practice. Teachers College Record, 108(7), 1241–1265. doi:10.1111/j.1467-9620.2006.00692.x
Irwin, J. (1986). Teaching Reading Comprehension Processes. Englewood, New Jersey: Prentice-Hall.
Martone, A., & Sireci, S. G. (2009). Evaluating Alignment Between Curriculum, Assessment, and Instruction. Review of Educational Research, 79(4), 1332–1361. doi:10.3102/0034654309341375
Marzano, R. J., & Kendall, J. S. (2007). The New Taxonomy of Educational Objectives. (J. S. Kendall, Ed.) The new taxonomy of educational objectives 2nd Ed. Corwin Press. Tiré de
http://www.amazon.com/New-Taxonomy-Educational-Objectives/dp/1412936292
Pellegrino, J. (2006). Rethinking and redesigning curriculum, instruction and assessment: What contemporary research and theory suggests. National Center on Education and the Economy.
Consulté le 5 février 2013: http://teacherlearner.com/activelearning_media/Pellegrino-Redesigning.pdf
Porter, a., McMaken, J., Hwang, J., & Yang, R. (2011). Assessing the Common Core Standards: Opportunities for Improving Measures of Instruction. Educational Researcher, 40(4), 186–188.
doi:10.3102/0013189X11410232
Squires, D. A. (2009). Curriculum Alignment. Research-Based Strategies for Increasing Student Achievement. Thousand Oaks: Corwin Press.
Tardif, J. (1997). Pour un enseignement stratégique. L’apport de la psychologie cognitive. Montréal: Les éditions Logiques.
Webb, N. (2007). Aligning Assessments and Standards. Consulté le 5 décembre 2011, http://www.wcer.wisc.edu/news/coverstories/aligning_assessments_and_standards.php
Wixson, K. (1983). Questions About a Text: What You Ask About Is What Children Learn. The Reading Teacher, 37(3), 287–295.
38