Transcript Lingot-UQAM2011-ED

Les projets Pépite et Lingot
Diagnostic cognitif pour un enseignement
différencié de l’algèbre élémentaire
Équipe MOCAH
Université Pierre et Marie Curie, Sorbonne-Universités
[email protected]
Pépites ? Lingot ?
 Dans la boue des productions des élèves…
 « x + 8 = 8x »
 « Il ne faut pas additionner les
puissants »
 … trouver les granules de connaissances
pour forger
 … des connaissances conformes au
référentiel des programmes
2
Démarche en EIAH
 Partir
 De l’expertise de chercheures en didactique
 De l’expertise d’ une communauté de pratique :
association Sésamath
 Des travaux ITS&Maths
 Créer des modèles informatiques et des logiciels
 En retour
 Enrichir l’expertise didactique
 Enrichir l’expertise et la plateforme de Sésamath
 Enrichir l’expertise en conception d’EIAH
3
Plan
 Les projets Pépite et Lingot
 Contexte, objectifs
 Questions de recherche
 Une recherche collaborative et itérative
 Diagnostic cognitif
 Parcours d’apprentissage différencié
 Résultats et perspectives
4
Le projet Lingot
 Objectifs
 Instrumenter l’enseignement différencié en algèbre
élémentaire
 3 axes de recherche
 Diagnostic (projet Pépite)
1. Analyser les réponses à des exercices
2. Détecter des cohérences dans l’activité d’un élève
- bilans : Obstacles/Leviers pour l’apprentissage
3. Situer un élève/un groupe par rapport à la
compétence de référence
 Apprentissage
• Définir des parcours d’apprentissage adaptés aux
bilans
 Instrumentation de l’activité des enseignants
• Organiser un enseignement différencié
5
L’ équipe (une partie)
 Informatique
 Didactique des maths
 Ergonomie
 Sésamath
 Enseignants
…
6
Sésamath
 Une communauté de pratiques
 Une association (2001)
 Un site : http://www.sesamath.net/
 Des manuels en ligne et papier
• Très bons et moitié moins chers
• 18% du marché français
• Financent les frais de fonctionnement
 En ligne : des outils libres et gratuits
 Pour les profs de maths
• 14 643 inscrits
 Pour les élèves
• 450 000 inscrits
• 1,3 millions connections /mois
7
Conception participative
La participation des enseignants
 Difficile à mettre en œuvre
 Nécessite du temps
• Temps de la recherche
• Temps de l’action
 Une réflexion pour faire leur place
 Des prototypes pour expérimenter
 Collaboration avec l’association Sésamath
 "Transformer
• une symétrie d'ignorance
• en symétrie de participation
• et en symétrie de connaissances "
[Muller 03]
8
Cadres conceptuels
 Informatique
 Conception centrée utilisateur-participative (Schuller 93, Mackay 04)
 Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003)
 Ingénierie dirigée par les modèles (Favre et al. 06)
 Ingénierie ontologique (Mélis et al. 2008 , Desmoulins 2010)
 EIAH
 Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al 00,
Caroll 00)
 Évaluation et diagnostic cognitif
Sander09, Nicaud04)
(Koedinger08, VanLehn05, Shute08,
 Analyse de traces (Dimitracopoulos09, Choquet07, Marty&Mille09)
 Didactique des mathématiques
 Dialectique outils/objets, jeu de cadres et registres,
ingénierie didactique , approche anthropologique
•
(Douady 90, Grugeon 95, Artigue 91, Chevallard, Kieran 92,07)
 Ergonomie
 Activité instrumentée
(Rabardel 95, Rogalski 03)
9
Questions de recherche
1.
Comment modéliser les connaissances d’un élève ?

Modèle de référence : didactique/enseignants/informatique
2. Quelles situations mettre en place pour recueillir des observables ?

Modélisation des tâches diagnostiques, Banque de tests
3. Comment inférer les descripteurs à partir des observables ?

Typer et coder les réponses : diagnostic individuel local

Détecter les cohérences : diagnostic individuel global

Situer l’élève par rapport à une référence :
stéréotypes/groupes
4. Comment exploiter le diagnostic en prenant des décisions à partir
des observables ?

Prise de décisions didactiques (enseignants ou machine)
•

Aide à la décision pour organiser des parcours
Réflexion métacognitive avec l’élève
10
Cycles de recherche
1. Une analyse didactique cognitive et épistémologique
 un outil de diagnostic papier (Grugeon 95)
2. Une conception centrée-utilisateur pour automatiser
(partiellement) le diagnostic
 Prototype preuve de concept : Pépite (Jean 2000)
3. Une nouvelle modélisation de l’élève
 3 niveaux : PépiStéréo (Vincent et al. 2005)
4. Une modélisation générique du diagnostic
 Génération des exercices et de l’analyse
automatique des raisonnements : PépiGen et Pépinière
(Prévit 2008)
5. Dissémination : association Sésamath-MathEnPoche
 Prototype/application disponible à large échelle :
PépiMep (Darwesh et al. 2010)
 Parcours d’apprentissage différencié (Pilet 2011, El-Kechaï 2011)
11
Plan
 Les projets Pépite et Lingot
 Diagnostic cognitif
 Modèle de l’élève
 Exercices de diagnostic
 Diagnostic local/global
 Parcours d’apprentissage différencié
 Résultats et perspectives
12
Diagnostic cognitif
 Analyse (automatique) de l’activité d’un sujet
 Performance : réussite/échec
 Connaissances, procédures et stratégies
• Correctes ou inadaptées
 Objectifs
 Intervention
• Améliorer la performance, certifier
• Réguler les apprentissages
 Scientifique
• Comprendre
- des processus de résolution de problèmes,
d’apprentissage, d’enseignement, de conception
• Modéliser pour simuler, prédire, classifier
13
Différents modèles
 Approches symboliques
 Psychologie cognitive
• ACT : geometry tutor, Algebra tutor (équipe de Pittsburg
1983 … 2011)
• Diane : problèmes additifs école primaire
Labat, 2005)
(Hakem ,Sander,
• Plasturgie (Richard, Pastré, Labat et al. 2006)
 Didactiques des disciplines
• Balacheff (1995), Stacey (2003) , Luengo (2010)
• Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et al. 2011)
 Approches numériques
 IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009)
 Réseaux bayésiens (Labat, Hibou 2007)
14
Q1 : Modéliser les connaissances d’un élève


Enseignants

Connaissance de référence : capacités (Programmes scolaires)
•
ex. : traduire une expression algébrique comme aire d’une figure,
factoriser une expression littérale en appliquant une identité
remarquables

Connaissances d’un élève : Réussite/Erreurs classiques de calcul
Recherche en didactique des mathématiques

Connaissance de référence
•
Composantes de la compétence algébrique
•
Des problèmes variés pour couvrir l’ensemble des composantes
trous, capacités implicites

Connaissances d’un élève
•
Cohérences dans l’activité mathématique des élèves
Pas seulement des erreurs
•
Rupture entre pensée algébrique et arithmétique
•
Leviers et obstacles pour l’apprentissage
15
Modèle de l’élève dans Pépite
 Bilan cognitif : 3 niveaux de description
Diagnostic local (sur un exercice)
Type de réponse et règles appliquées
Codage sur 8 dimensions
Diagnostic global individuel (sur un ensemble d’ex)
Caractéristiques personnelles, leviers et
fragilités
Par composante :Taux de réussite,
indicateurs
Diagnostic global collectif
Stéréotype et groupe
Niveau sur chaque composante
16
Q2 : Recueillir des observables ?
 Un élève passe un test
 Un ensemble d’exercices conçus pour détecter des
cohérences dans l’activité mathématique des élèves
• Erreurs/réussites
• Des indices de misconceptions/leviers
d’apprentissage
 Un exercice diagnostique
 Énoncé et questions
• Choix multiple /réponses ouvertes (expression
algébrique ou un raisonnement)
 Une grille de codage des réponses
• Types de réponses anticipées
• Évaluation multidimensionnelle de ces réponses
17
Un exercice diagnostique
18
Diagnostic local(1)
Réponse
Type
Codes + interprétations
x + 8 = 8x
8x
3 × 8x =
24+3x= 27x
27x-4 = 23x
23x+x=24x
24x/4=6x
6x+2=8x
8x-x=7
Type 7.3
Démarche de
preuve
algébrique :
l’énoncé est
traduit par
des calculs
pas-à-pas
séparés et
une erreur de
calcul avec
assemblage
conduit à un
résultat faux
ou une égalité
non justifiée
V3 incorrecte
L3 lettres avec règles
fausses
E2 = annonce de résultat
J31 pseudo-formelle
T2 traduction pas-à-pas
séparée
EA42 règle incorrecte d’
assemblage
Règles utilisées (incorrectes) :
A+B = AB
A X  B = (A  B) X
AX-X=A–1
Dimensions d’évaluation
Validité
Usage des Lettres
Signe d’ Égalité
Justification
Traduction
Écritures Numériques
Écritures Algébriques
19
Diagnostic local(2)
Réponses
Type
Codes + interprétations
3 + 8 = 11
11 × 3 = 33
33 - 4 = 29
29 + 3 = 32
32/4 = 8
8 + 2 = 10
10 - 3 = 7
Type 12.3
Preuve par un
exemple :
l’énoncé est
traduit par
des calculs
pas à pas
corrects
V3 incorrecte
L5 pas de lettres
E2 = annonce de résultat
J2 justification par un
exemple
T2 traduction pas-à-pas
séparée
EN1 écritures numériques
correctes
Dimensions d’évaluation
Validité
Usage des Lettres
Signe d’ Égalité
Justification
Traduction
Écritures Numériques
Écritures Algébriques
20
Diagnostic local (3)
Réponses d’élèves
Codes + interprétations
(3+8 × 3-4+3)/4+2-3
32/4+2-3
8+2-3
10-3
V3 incorrecte
L5 pas de lettres
J2 par l’exemple
T3 globale non parenthésée
EN1 : écritures numériques correctes
((5+8)×3-4+5)/4+2-5=7 ?
((13)×3-4+5)/4+2-5=7 ?
(39-4+5)/4+2-5=7 ?
10+2-5=7 ?
10-3=7 ?
7=7 ?
V3 incorrecte
L5 pas de lettres
J2 par l’exemple
T1 globale parenthèsée, équation
EN1 : écritures numériques correctes
((x + 8) × 3 - 4 + x) / 4 + 2 - x
=( 3x + 24 - 4 + x)/4 + 2 - x
=(4x +20) / 4 + 2 - x
=x + 5 + 2 - x
=7
V1 correcte, L1 nb généralisé
J1 preuve algébrique, T1 globale,
parenthésée, EA1 : écriture alg. Correcte
Règles utilisées
(A+B)C = AC+BC Règle correcte
AC+BC = (A+B)C Règle correcte
(A+B)/C = A/C+B/C Règle correcte
AC+BC = (A+B)C Règle correcte
21
Q2(suite) : Recueillir des observables
 Définir une banque d’exercices et de tests diagnostiques
Thèse de D. Prévit (2008)
 Travail didactique et premier prototype
 Ensemble figé d’exercices figés
 Utilisable une seule fois à un seul niveau de classe
 Logiciel PépiGen
• Caractérisation des exercices équivalents du point
de vue diagnostique (clones)
• Génération des clones
• Analyse multicritère automatique des réponses
ouvertes à chacun de ces clones
22
PépiGen
Pépinière
arbre des
solutions
anticipées
expression
algébrique
saisit les
paramètres
Auteur
Système auteur
PépiGen
produit
un clone
XM L
Banques
d’exercices
est
chargé
XM L
Modèle de Classe exercices
23
24
Grille de codage : (x + 6)* 3 - 3 * x
<Solution>
(x+6)*3=3x+18-3x=18
<Interprétation> Tentative de démarche algébrique mais
l’énoncé est traduit par une suite de calculs pas-à-pas
enchaînés corrects</Interprétation>
<Type>10.7</Type>
<Code>V3,L3,T4,J3</Code>
<Expression>(x+6)*3</Expression>
<Expression>x*3+18</Expression>
<Regle>V,7</Regle>
<Expression>3*x</Expression>
<Expression>3*x+18-3*x</Expression>
<Expression>18</Expression>
<Regle>V,31</Regle>
</Solution>
25
Pépinière
 Un logiciel de calcul formel qui manipule des arbres
pour :
 Analyse syntaxique des expressions algébriques
• Grammaire algébrique
 Transformations algébriques
• Règles de réécriture correctes ou incorrectes
 Génération des solutions plausibles anticipées
• Unification et heuristiques
 Comparaison des expressions algébriques
• Arbres superposables
26
Arbre des solutions anticipées
(x+6)*3-3x
R1
Règles correctes
R2
x*3+6*3-3x
x+6*3-3x
Erreur de
parenthèse
avec mémoire
3x+18-3x
R4
18
21x-3x
R3
18x
V1,EA1 V3,EA42
R3
R3 : AB+AC
A(B+C)
R4: AB+C
-2x+18
R4
18
AC+BC
Règles erronées
R2: (A+B)C
A+BC
R3
3x+18-3x
R3
R1 : (A+B)C
21x-3x
R3
18x
V3,EA31 V3,EA3142
V3,EA32
B(A+C)
Q3 : Construction du Bilan ?
 L’élève passe un test PépiTest
 Ses réponses sont mémorisées
 PépiDiag construit le diagnostic en 3 étapes
1. Analyse multidimensionnelle de chaque réponse :
 type de réponse et vecteur de codes (diagnostic local)
2. Agrégation des codes
 Bilan cognitif : caractéristiques personnelles +
stéréotype
3. Formation d’un groupe pour parcours d’apprentissage
28
Étape 1 : Analyse des réponses
 Diagnostic local : PépiDiag
 Compare la réponse de l’élève à une des réponses
anticipées de la grille de codage
 Utilise d’un logiciel de calcul formel : Pépinière
• Traite les problèmes de commutativité
• Détecte les règles (correctes/incorrectes)
• Teste l’équivalence des expressions
29
Interpréteur : PépiTest
Résout les
exercices
Interpréteur
PépiTest
Elève
est
chargé
Enregistre le
test avec les
réponses de
l’élève
XM L
Charge le test
avec les
réponses de
l’élève
Réponse
de l‘élève
XM L
Test constitué
d’exercices
30
Diagnostiqueur : PépiDiag
XM L
Réponse
de l’élève
XM L
grille de
codage
Diagnostiqueur
PépiDiag
Tester
l’équivalence
de 2 arbres
d’expression
retourne
vrai/faux
Module
Pépinière
31
Enregistre
les
réponses
avec le
diagnostic
local (type
et codes)
XM L
Conception
 Fondée sur les réponses anticipées et le fichier grille de
codage
 Réponses ouvertes
 ~10-15 % de réponses non diagnostiquées par le logiciel
• Erreur de saisie
• Réponses imprévisibles
 Couteux
 En expertise didactique + Analyse de corpus
 Efficace pour les réponses avec une seule expression
algébrique
 Ajout facile d’un type de réponse
 Complexe pour les raisonnements
32
Évaluation du diagnostic local
 Dépend du type de question (ouverte/fermée)
 N = 360 élèves
 3 experts
 trouvent le travail fastidieux (7 à 10 h pour un seul
exercice)
 se trompent plus que le logiciel
 Résultats
 Les réponses correctes ne sont jamais diagnostiquées
incorrectes par PépiDiag
 Réponses imprévisibles
• 2/3 des réponses incorrectes non analysées par le
logiciel, ne sont pas non plus analysées par les
experts
33
Étape 2 : Bilan cognitif
 Un bilan =
 Un stéréotype
• niveau de compétence sur les 3 composantes
- Usage de l’algèbre, calcul algébrique et
traduction d’une représentation dans une autre
 Des caractéristiques personnelles
• taux de réussite
• leviers
• fragilités
• liste des erreurs
• liste des réussites
 Ex. : bilan d’Elie
34
Étape 3 : Groupes de travail
 Gérer la diversité cognitive dans une classe
• Apprentissage différencié
• Dynamique de l’ensemble
 Groupes de stéréotypes
 36 stéréotypes, 15 en pratique
 Regroupement des stéréotypes voisins selon la
composante sur laquelle l’enseignant veut travailler
• Ex. Groupe A (élèves en CA1) contrôlent leur calcul
et commencent à choisir les outils adaptés au
problème
- A+ : savent traduire algébriquement des
situations diverses
- A- : erreurs de traduction
 Ex. : groupes en 2nde
35
Évaluation des groupements
 En cours
 1 expérimentation passée
 Points de vue Usage
 Le prof a fait 3 groupes A, B , C
 Travail par 2 : (A+, A-), (B+, B-), (C+, C-)
 Pour favoriser les explications entre pairs
 Travail en classe, puis devoir à la maison
 Nécessité de définir
 Des étapes (ex. introduction, révision)
 Un objectif commun à la classe
 Point de vue Élève
• Évolution locale importante
 4 expérimentation en cours
36
Q4 : Exploitation du diagnostic
 Tutorat individuel
 Réflexion métacognitive avec l’élève
 Travail dans la classe
 Projet avec Sésamath
 Parcours d’apprentissage différencié (Pad)
• Thèse en didactique des mathématiques de Julia
Pilet
- Mise au point des parcours d’apprentissage
différencié
- Expérimentations en classe
• Post-doc en informatique : Naima El-Kechai
- Modèle de connaissances
- Logiciel PépiPad : aide à la mise en place
37
PépiPad : Un scénario
 Qui ?
 Marie-France (MF) enseignante de collège, membre de
Sésamath, habituée de LaboMep
 Contexte :
 MF va aborder le chapitre calcul littéral dans la classe
de 3eme A. Elle prépare des séances différenciées
pour homogénéiser la classe avant d’introduire les
identités remarquables
 Prérequis
 MF demande à ses élèves de passer le test à la maison
 Sur LaboMep, Pépite lui propose 6 groupes
 MF lance PepiPad
38
Scénario (suite)
 Paramétrage : MF choisit
 L’étape : Prendre un bon départ
 L’objectif principal : Donner du sens aux lettres et aux
expressions
 PépiPad affiche pour chaque groupe
 les objectifs secondaires recommandés, les capacités à
travailler associées et les exercices qui travaillent ces
capacités
 Adaptation
 MF qui ne dispose que de 30 min sélectionne un seul
objectif secondaire/groupe
 PépiPad met à jour les capacités et exercices associés
 MF valide
 PépiPad construit des séances pour chaque groupe
- Une liste d’élèves
- Une liste de ressources
 écran
39
Modèle de connaissance
 Exercice caractérisé
 Capacités
 Niveau scolaire
 Variables didactiques
• Objets mathématiques
• Cadre et registres en jeu
• Degré de guidage
 Identifiant
 Origine
 Titre
40
Capacité
 Composante de la compétence
 Ex. calcul algébrique
 Groupe de capacités
 Ex. calculer, tester, factoriser
 Capacité
 Ex. calculer l’image d’un nombre par une fonction,
tester si une égalité est vraie, factoriser une
expression littérale en utilisant une identité
remarquable
 Exemple : capacités liées au calcul algébrique
41
Ontologie simplifiée
42
Expertise didactique
 Fait : Pour chaque groupe
 Expliciter les objectifs principaux et secondaires
 Les lier avec les capacités
 En cours :
 Indexer les ressources
 Associer les objectifs aux étapes
43
PépiPad
Générateur de
Parcours
Bilans cognitifs
des élèves
Parcours
générés
Règles de calcul
de parcours
construit
Pépite
paramètre
Utilise l'ontologie
des exercices
Banque
d’exercices
prof
44
Résultats du projet
 Une méthode de diagnostic
 Des modèles exécutables
 de tâches diagnostiques
 de bilan cognitif sur trois niveaux de description
 Une recherche pluridisciplinaire et participative
 Un logiciel accessible sur une plateforme grand public
 Des corpus de réponses importants
45
Méthode de diagnostic
 Trois temps
1. Diagnostic local
 Analyse de la réponse à une question
 Types de réponses anticipées + vecteur de codes
2. Diagnostic global individuel
 Cohérences entre les réponses
 Par composante : taux de réussite + leviers, fragilités,
règles fausses et correctes
3. Diagnostic global collectif
 Position de l’élève par rapport à une référence/au
groupe
 Niveau sur chaque composante
 Caractéristiques communes à un groupe
46
Dissémination (2010-12)
 Projet PICRI financé par la région Ile-de-France
 Objectif
 mise à disposition des enseignants sur la plateforme
Sésamath
• Diagnostic fiable
• Parcours d’apprentissage adaptés au bilan cognitif
des élèves
 Questions de recherche
 Comment passer d’un prototype de recherche à un
logiciel fiable et robuste ?
• Conception participative
 Comment concevoir la différenciation ?
• Gestion de la classe/personnalisation
47
Perspectives
 Court terme (fin de l’année)
 PepiPad opérationnel
 Moyen terme (fin du financement 2012)
 articuler
• Les parcours fondés sur les stéréotypes
• Avec des aides interactives fondées sur l’historique
et les caractéristiques personnelles
 Long terme (prochain projet)
 Des scénarios plus ludiques
48
Résumé (1)
 Coté recherche :
 comprendre les difficultés des élèves
• Récolter des corpus
 produire des modélisations exécutables d’une
expertise didactique
 Coté application :
 produit innovant en rupture avec les pratiques usuelles
• faciliter la genèse instrumentale
 dissémination de résultats de recherche
49
Résumé (2)
 Cycle N°1 (1995) : outil papier-crayon
 modélisation des compétences
 Cycle N° 2 (2000) : logiciel Pépite
 systématisation, réification du modèle de compétence
 diagnostic semi-automatique
 Cycle N°3 (2005) : exploitation du diagnostic
 expérimentations
 vers un diagnostic automatique (langage naturel, raisonnement
algébrique)
 vers une géographie de la classe (stéréotypes)
 Cycle N° 4 (2008) : PépiGen et Pépinière
 diagnostic
• plus générique (classes d’exercices)
• plus fiable (raisonnement algébrique)
• pour l’élève
 Cycle N° 5 (2012)
 dissémination
 parcours différenciés d’apprentissage
 Logiciel PépiPad
50