Transcript Perspectives multiniveaux dans la recherche en éducation Pascal BRESSOUX

Séminaire du CRIE – Université de Sherbrooke : 2 avril 2009
Perspectives multiniveaux
dans la recherche en
éducation
Pascal BRESSOUX
Université Pierre-Mendès-France Grenoble
Laboratoire des Sciences de l’Education
Plan de l’exposé
• Considérations méthodologiques liées à
l’analyse multiniveau
• Le modèle multiniveau
L’exemple de l’expérimentation CP à effectif
réduits
• Les modèles de croissance
L’exemple du suivi à long terme des effets du
CP à effectifs réduits
• Le modèle aléatoire croisé
L’exemple de l’étude de l’effet-maître sur le long
terme
Buxelles: De Boeck
2008
Considérations méthodologiques
liées à l’analyse multiniveau
Principes de l’analyse multiniveau
Modèles multiniveaux (ou modèles hiérarchiques linéaires)
Nés des avancées des modèles de contexte et des modèles mixtes.
But : étudier les effets de l’environnement sur le « comportement »
individuel.
Données sur plusieurs « niveaux » :
- Un effet-classe sur les acquis des élèves ?
- Un effet-juge sur les condamnations des prévenus ?
- Un effet-quartier sur la délinquance des jeunes ?
- Un effet-pays sur les résultats des élèves à PISA ?
- Etc.
Souvent, structure hiérarchisée.
Exemple : des élèves (niveau 1) dans des classes (niveau 2), etc.
Exemple d’une structure hiérarchisée à quatre niveaux
Académie 1
Ecole 1
Académie 2
Ecole 2
Ecole 3
Ecole 4
Niveau 4
(Académies)
Niveau 3
(Ecoles)
…/…
Classe 1
él. 1
él. 2
Classe 2
él. 3
él. 4
Classe 3
él. 5
él. 6
Classe 4
él. 7
él. 8
Niveau 2
(classes)
Niveau 1
(élèves)
Problèmes posés par l’analyse de données
hiérarchisées
Non-indépendance des résidus
Agrégation vs désagrégation
(voir aussi diapo suivante)
Effets aléatoires et effets fixes
Hétérogénéité des relations
Le modèle multiniveau
Le modèle multiniveau à constantes aléatoires
Niveau 1
Yij   0 j  1 X ij  eij
Niveau 2
 0 j   00  u0 j
Equation
complète
Yij   00   10 X ij  u0 j  eij
Les composants de la
variance :
Variance totale :
Var eij    e2
Var u0 j    u20
Var yij    e2   u20
Un exemple d’estimation avec constantes aléatoires
Modèles expliquant le score final en français (données aménagement du
temps scolaire 1997-98)
Paramètres
Modèle 1
Modèle2
0,007 (0,078)
0,007 (0,078)
Effets fixes
Constante
Score initial en français
0,690 (0,031)
Effets aléatoires
Variance des constantes
0,103 (0,042)
0,096 (0,034)
Variance inter-élèves
0,890 (0,057)
0,442 (0,028)
1434,071
1084,083
–2 log L
N = 516
Le score initial (modèle 2) « n’explique » quasiment pas la variance des
constantes (variance interclasses), mais il « explique » environ la moitié de la
variance inter-élèves (intraclasse).
Le modèle multiniveau complet :
constantes et pentes aléatoires
Niveau 1
Yij   0 j  1 j X ij  eij
Niveau 2
 0 j   00  u0 j
1 j   10  u1 j
Equation
complète
Yij   00   10 X ij  u0 j  u1 j X ij  eij
Les composants de la
variance :
Var eij    e2
Var u0 j    u20
Var u1 j    u21
Covu0 j , u1 j    u10
Variance de Y devient fonction quadratique de X



Var Yij X ij   e20   u20   u21 X ij2  2 u10 xij

Un exemple d’estimation avec constantes et pentes aléatoires
Modèles expliquant le score final en français (données aménagement du
temps scolaire 1997-98)
Paramètres
Modèle 1
Modèle2
Modèle 3
0,007 (0,078)
0,007 (0,078)
0,008 (0,069)
0,690 (0,031)
0,690 (0,041)
0,096 (0,034)
0,092 (0,033)
Effets fixes
Constante
Score initial en français
Effets aléatoires
Niveau 2 (classes) :
Variances des constantes
0,103 (0,042)
Covariance constantes-pentes
0,014 (0,014)
Variance des pentes
0,016 (0,011)
Niveau 1 : variance inter-élèves
–2 log L
N = 516
0,890 (0,057)
0,442 (0,028)
0,441 (0,025)
1434,071
1084,083
1079,525
Relation entre les scores initial et final : nuage de points et droites
estimées pour chacune des classes
Relation entre les constantes et les pentes
Estimation des constantes et des pentes avec leurs intervalles de confiance
Cette incertitude dans les estimations est très importante à prendre en
compte dans les « palmarès » (type PISA).
L’effet de shrinkage
Les droites sont « ramenées » vers la moyenne générale pour corriger
les fluctuations aléatoires dues à la variance d’échantillonnage.
Chaque droite est affectée par les informations obtenues sur le groupe
particulier et par l’information générale (estimation bayésienne).
Plus Nj est petit, plus la variance d’échantillonnage est élevée et plus la
droite sera ramenée vers la moyenne.
La variance d’échantillonnage est beaucoup plus importante pour les
pentes que pour les constantes.
Application de l’analyse multiniveau:
L’expérimentation CP à effectifs réduits
Le Ministère de l’Education Nationale français a lancé en 2002-2003 une
expérimentation d’envergure visant à réduire la taille des classes de CP (1ère
année élémentaire) à 10 élèves dans les zones défavorisées.
Méthode
Participants
100 classes expérimentales (8 à 12 élèves par classe dans les faits avec
une moyenne égale à 10,45)
100 classes témoins (15 à 27 élèves par classe dans les faits avec une
moyenne égale à 21,29).
Toutes dans des milieux défavorisés (écoles en zone d’éducation prioritaire)
Procédure
Acquis des élèves en français-lecture évalués en début, en milieu et en
fin d’année.
(Dans les écoles témoins, ces évaluations n’ont porté que sur 10 élèves
choisis aléatoirement.)
Les scores d’acquisitions des élèves ont été normalisés, centrés et réduits.
Dans un premier temps, on n’utilise pour l’évaluation que les scores
d’acquisitions de début et de fin d’année.
Modèles multiniveaux expliquant les acquis des élèves en 1e année élémentaire
Paramètres
Modèle 1
Modèle 2
0,030 (0,054)
-0,115 (0,109)
Effets fixes
Constante
Score initial en français
0,760 (0,027)
Profession du père (référence = cadre sup)
Agriculteur, artisan, commerçant ou chef
d’entreprise
-0,063 (0,121)
profession intermédiaire
0,016 (0,110)
employé
-0,187 (0,106)
ouvrier
-0,138 (0,097)
« autre »
-0,201 (0,097)
Effectif réduit
0,249 (0,077)
Ancienneté en 1e année
0,017 (0,005)
Effets aléatoires
Niveau 3 : variance inter-écoles
0,075 (0,040)
0,070 (0,037)
Niveau 2 (inter-classes) :
variance des constantes
variance des pentes du score
0,115 (0,038)
0,038 (0,014)
0,039 (0,011)
Niveau 1 : variance inter-élèves
0,801 (0,038)
0,295 (0,015)
2873,63
1956,08
–2 log V
Le modèle multiniveau de
croissance
Le modèle multiniveau de croissance
Relation entre les scores initial et final pour un échantillon d’individus
Y
 
   
 

X
Relation entre le temps et les scores pour un individu donné
Y

t1


t2
t3
t
Exemple d’une structure hiérarchisée de croissance
Classe 1
Elève 1
Classe 2
Elève 2
Elève 3
Niveau 3
(Classes)
Elève 4
Niveau 2
(Elèves)
… /…
mes. 1
mes. 2
mes. 3
mes. 1
mes. 2
mes. 3
Niveau 1
(Mesures)
Une mesure du déroulement du
temps est nécessaire
(âge, durée…)
Formalisation
du
Niveau 1 :
modèle de croissance
Yti   0i  1iTEMPSti   2i X ti  eti
Niveau initial moyen
Niveau 2 :
Rythme de
croissance moyen
 0i   00   01Z i  u0i
 1i   10   11Z i  u1i
 2i   20
Caractéristique qui
varie avec le temps
Caractéristique
interindividuelle
stable dans le temps
En intégrant dans une même équation :
Yti   00   01Zi   10TEMPSti   11Zi * TEMPSti   20 X ti u0i  u1iTEMPS  eti 
Rythme de croissance
fonction aussi de Z
Variance de Y fonction du temps (= gestion
de l’hétéroscédasticité des erreurs)
Application du modèle
multiniveau de croissance:
reprise de l’expérimentation de
réduction de la taille des classes
Application du modèle multiniveau de croissance
Etude des effets à long terme de la réduction des
effectifs
Les élèves ont été suivis jusqu’au début de la 3e année élémentaire
Leurs acquisitions en français-lecture ont été testées en début et en fin
de 2e année élémentaire et en début de 3e année élémentaire
Précision : les épreuves n’étant pas les mêmes, leurs scores ne sont pas
directement comparables.
Tous les scores ont été centrés réduits
=> On s’intéresse aux progrès relatifs des groupes expérimental et témoin
Modèles longitudinaux de croissance expliquant les acquis des élèves avec modélisation d’un effet
quadratique du temps
Paramètres
Modèle 1
Modèle 2
Modèle 3
–0,039 (0,039)
0,007 (0,040)
0,269 (0,074)
–0,005 (0,001)
–0,015 (0,006)
Effets fixes
Constante
Temps
Temps2
0,0004 (0,0003)
Profession du père : (réf = cadre sup)
Artisan/commerçant
Intermédiaire
Employé
Ouvrier
Autre
–0,399 (0,081)
–0,153 (0,072)
–0,282 (0,068)
–0,462 (0,062)
–0,492 (0,061)
Fille
0,175 (0,023)
CP réduit
0,136 (0,053)
Temps × CP réduit
0,026 (0,008)
Temps2 × CP réduit
0,0012 (0,0004)
Effets aléatoires
Niveau 3 (écoles)
0,088 (0,020)
0,089 (0,021)
0,095 (0,026)
0,326 (0,022)
0,330 (0,022)
0,178 (0,026)
0,0003(0,0002)
0,0189 (0,0038)
0,0000 (0,0000)
–0,0007 (0,0002)
0,0000 (0,0000)
Niveau 1 (intra-élèves)
0,652 (0,011)
0,650 (0,011)
0,638 (0,011)
–2 Log V
20219,22
20201,94
19922,76
Niveau 2 (élèves) :
Variance des constantes Temps
Variance des pentes Temps
Covariance constantes/pentes Temps
Variance des pentes Temps2
Covariance constantes/pentes Temps2
Covariance pentes Temps/pentes Temps2
0,2
0,15
Acquisitions
0,1
0,05
Groupe témoin
Groupe expérimental
0
-0,05
0
5
10
15
20
25
-0,1
-0,15
Temps
Modélisation des acquisitions comme fonction quadratique du temps, selon
que les élèves appartiennent au groupe expérimental ou témoin
Le modèle aléatoire croisé
Le modèle aléatoire croisé
Un exemple de structure
aléatoire croisée
transversale
Ecole 1
Ecole 2
Ecole 3
Ecole 4
Quartier 1




Quartier 2





Quartier 3





Année 2
Un exemple de structure
aléatoire croisée
longitudinale
Enseignant
1
Enseignant
2
Enseignant
3




Enseignant
2



Enseignant
3



Enseignant
1
Année 1
Modèle aléatoire croisé à 2 niveaux :
Yi  j1 j 2    00   10 X i  j1 j 2   u j1  u j 2  ei  j1 j 2 
Modèle aléatoire croisé à 3 niveaux :
Yi  j1 j 2 k   000   100 X i  j1 j 2 k  vk  u j1k  u j 2 k  ei  j1 j 2 k
Un exemple de modélisation aléatoire croisée :
la question des effets à long terme des
enseignants sur les acquis en mathématiques
Paramètres
Modèle 1
Modèle 2
Modèle 3
Modèle 4
Constante
–0,007 (0,069)
–0,016 (0,074)
–0,015 (0,074)
–0,015 (0,074)
Score initial
0,620 (0,036)
0,627 (0,035)
0,625 (0,035)
0,625 (0,035)
0,000 (0,000)
0,000 (0,000)
0,000 (0,000)
0,113 (0,040)
0,100 (0,043)
0,024 (0,029)
0,100 (0,043)
0,024 (0,029)
Effets fixes
Effets aléatoires
Niveau 3 : variance inter-écoles
Niveau 2 :
Variance inter-classes (année 2)
variance inter-classes (année 1)
0,103 (0,036)
Niveau 1 : variance inter-élèves
0,543 (0,037)
0,530 (0,036)
0,519 (0,037)
0,519 (0,037)
1066,45
1055,76
1054,72
1054,72
–2 log L
Ni = 461
MERCI POUR VOTRE
ATTENTION
« Similarité » des individus au sein des contextes
« Qui se ressemble s’assemble »…
- Eventuelle sélection par les écoles
- Eventuel choix des parents
- Ségrégation spatiale en cas de carte scolaire
… « Qui s’assemble se ressemble »
- Destin commun (partage d’un même environnement)
- interactions (influence mutuelle)
Illustration du biais d’agrégation
(Cf. observations classes DEP 95 : Relation entre jugement des enseignants et scores des élèves)
Corrélation (toutes classes confondues) = 0,28 (p = 0,003).
Corrélation inter-classes = –0,77 (p = 0,002).
Corrélation médiane intra-classes = 0,73.
Approche par la régression :
Jˆij  2,47  0,020 Sij
0, 007
Jugement
M1
Jˆ . j  4,16  0,022 S . j
M2
0,006
M3
Jˆij  4,03  0,060 Sij  0,080 S . j
0,008
0,011
contexte  inter  intra
Score
L’estimation de la part de variance inter-groupes
Décomposition de la variance (ANOVA avec effets aléatoires)
Yij   00  u 0 j  eij
u0 j  N 0,  u2 
eij  N 0,  e2 
Coefficient de corrélation intra-classe
 
2
u

2
e

2
u
Simulation…

Données issues de tables de nombres aléatoires, groupées dans des macrounités
(extrait de Wonnacott & Wonnacott, 1991, p. 867)
Groupe
Nombres aléatoires
Moyenne
Ecart-type
1
2
3
4
5
6
7
8
9
10
39 65 76 45 45 19 90 69 64 61
73 71 23 70 90 65 97 60 12 11
72 20 47 33 84 51 67 47 97 19
75 17 25 69 17 17 95 21 78 58
37 48 79 88 74 63 52 06 34 30
02 89 08 16 94 85 53 83 29 95
87 18 15 70 07 37 79 49 12 38
98 83 71 70 15 89 09 39 59 24
10 08 58 07 04 76 62 16 48 68
47 90 56 37 31 71 82 13 50 41
57.30
57.20
53.70
47.20
51.10
55.40
41.20
55.70
35.70
51.80
20.49
31.05
26.18
30.76
25.36
38.27
29.23
31.00
29.16
23.71
50.63
28.50
Total
ρ = 0,059 (Proc ANOVA).
Donc, part de variance inter-groupes = 5,9 %
Droites de régression avec constantes aléatoires
yij
Classe j
Moyenne
u0 j
xij
Droites de régression avec constantes et pentes aléatoires
yij
Classe j
Moyenne
1  u1 j
xij
Illustration de l’effet de shrinkage
Droites de régression estimées par les
moindres carrés ordinaires
Droites de régression estimées par
le modèle multiniveau
Acquisitions
finales
145
Acquisitions
finales
145
140
140
135
135
130
130
125
125
120
120
115
115
110
110
105
105
100
100
95
95
90
90
85
85
80
80
75
75
70
70
65
65
60
60
60
65
70
75
80
85
90
95
100
105
110
115
120
125
Acquisitions initiales
130
60
65
70
75
80
85
90
95
100
105
110
115
120
125
Acquisitions initiales
130