Transcript CIEP Groupes 1 et 2 : évaluation Etude de cas Liens entre les certifications de français langue étrangère du MENESR et le CECR Forum intergouvernemental Strasbourg 6

CIEP
Groupes 1 et 2 : évaluation
Etude de cas
Liens entre les certifications
de français langue étrangère
du MENESR et le CECR
Forum intergouvernemental
Strasbourg 6 – 8 février 2007
Christine Tagliante
Le Centre international d’études pédagogiques
établissement public du ministère de l’Education
« est chargé de l’organisation
des examens institués par le
ministère de l’Education
nationale pour évaluer
l’enseignement du français
langue étrangère ».
Cette mission est assurée par le
Pôle évaluation et certifications
© CIEP
décret n°2000-1017 du 12 octobre 2000 Article 2.2.
Les certifications en français langue
étrangère
• Des diplômes : le DILF
A1.1 (diplôme initial de
langue française), le DELF
A1, A2, B1, B2 (diplôme
d’études en langue
française) et le DALF C1,
C2 (diplôme approfondi de
langue française)
• Un test : le TCF (test de
connaissance du français)
• Des outils
complémentaires : les PEL
(portfolios européens des
langues)
© CIEP
Processus de conception et de développement du
lien avec les niveaux du CECR
Perception du
besoin d’un
nouvel examen
Choix de
l’approche
pédagogique et
méthodologique
Décision de concevoir et
planification
Rédaction des premières
spécifications
État de la recherche
linguistique
Mise en
exploitation
Standardisation
Prototype 1
Étude et
proposition
d’amélioration
Conception
Expérimentation : pré-test
Validation
et
développement
Validation
Expérimentation,
analyses
Analyses, vérification
Prototypes 2, 3, 4, …
Expérimentations,
analyses, vérification
© CIEP
Évaluation des
retours d ’utilisation
Impact
Développement
définitif
Suivi des
évolutions
de forme
Mise en
application de
l’amélioration
Décisions et
planification
D’après «Evaluation de compétences en langues et conception de
17
tests », M. Milanovic, Conseil de l’Europe, 2002
Information, diffusion
© CIEP
www.ciep.fr/delfdalf/espacepro
Concrètement
• 21 mois de travail
• 1 équipe de 7
enseignants/experts
• 2 psychométriciens
• 6 centres de prétests mobilisés
• Plusieurs centaines d’étudiants
prétestés
© CIEP
6 NIVEAUX CECR,
© CIEP
6 DIPLÔMES DE FLE
Cadre
commun
C2
Nouveau
DELFDALF
DALF C2
C1
DALF C1
B2
DELF B2
B1
DELF B1
A2
DELF A2
A1
DELF A1
Points pour une discussion
• Le CECR et le Manuel sont-ils des outils suffisants ou bien
est-il nécessaire d’en créer d’autres (ex : études, modes
d’emplois, guides, etc.) ?
• Le travail effectué dans le domaine du fle sera-t-il une aide /
un complément utile pour la suite du processus au niveau
européen ?
• Qu’en est-il de la question du profil déséquilibré entre les
activités langagières dans le processus calibrage mis en
place dans le Manuel ? N’est-ce pas également un bon usage
du CECR ?
• Quelles conclusions l’étude de cas permet-elle de tirer sur le
sujet du travail en groupe ? Quels sont les besoins à
satisfaire pour assurer une meilleure utilisation du CECR ?
• Cette expérience permet-elle d’esquisser un début de
réponse à l’une des questions du Forum : qui est responsable
du bon usage du CECR ?
© CIEP
Pour en savoir plus :
www.ciep.fr
merci de votre attention !
[email protected]
Le DILF : niveau A1.1
• Pour créer ce
diplôme, il a
d’abord fallu
élaborer un
référentiel de
niveau A1.1 avec
de nouveaux
descripteurs
© CIEP
Les diplômes DELF et DALF
• Créés en 1985
• Groupe d’experts de la Section Langues
Vivantes du Conseil de l’Europe
• Concept hypothétique (construct) : une
approche communicative, fonctionnellenotionnelle (Niveau Seuil), basée sur le
système des unités capitalisables (John
Trim, 1986)
© CIEP
Le test TCF
• Créé en 2002
• Concept hypothétique : approche actionnelle,
évaluation de la réalisation de tâches
• QCM
• Standardisé
• Calibré dès sa conception sur les six niveaux
du CECR
• Propose un profil langagier de compétences
© CIEP

© CIEP
Approche pédagogique
et
méthodologique
1975 Threshold Level, 1976 Un Niveau seuil
Van Eck et Trim Préface de l'édition de 1980 du Threshold Level
•
« transformer un enseignement / évaluation de la langue d'une
stérilité scolastique, dominé par la grammaire, en un médium vital
pour un échange plus libre des personnes et des idées"
• 1981
Canale et Swain (compétence communicative = grammaticale, sociolinguistique, discursive et
stratégique).
• 1990 Bachman (compétence langagière = le savoir linguistique combiné à la capacité de le mettre en
œuvre de manière appropriée).
• 1997
CECR, compétence communicative (sociolinguistique, linguistique,
pragmatique) : des activités langagières (interaction, production, réception,
médiation) mettent en œuvre des tâches et des stratégies dans 4 domaines
(public, professionnel, éducationnel, personnel) qui présentent des situations
caractérisées par des lieux et des organismes, des acteurs, des objets, des
événements et des opérations (Chapitre 4).
© CIEP
Rédaction des premières spécifications
Les spécifications (le cahier des charges) fournissent des informations
détaillées sur le contenu du test, ses caractéristiques techniques et les
procédures de passation et de notation.
Elles définissent un test qui soit :
valide (il propose une démarche adéquate pour mesurer ce qu'il
prétend mesurer);
fidèle (les résultats obtenus ne présentent pas d’erreurs de
mesure);
faisable (ses exigences en matière de ressources pour le
concepteur et l'administrateur sont compatibles avec les
ressources disponibles);
et qui ait un impact (c'est-à-dire qui ait un effet positif sur les
individus et la pratique de classe).
Elles permettent de rédiger les manuels destinés aux rédacteurs
d’items et aux responsables de centres d’examens
© CIEP
Di
ap
osi
tiv
Séminaire d’Helsinki – juillet 2004
• Décision d’élaborer un outil facilitant la
liaison des examens existants avec les
niveaux du CECR : le Manuel
permettant de relier les examens de
langue au CECR (avant-projet)
• Le CIEP présente le TCF (conçu et
calibré sur les six niveaux du CECR) et
s’engage à relier les DELF DALF sur les
niveaux du CECR
© CIEP
Rédaction des spécifications
1. Familiarisation : étude et appropriation du
CECR pour l’ensemble de l’équipe
2. Description et analyse de chacune des
épreuves des anciens examens par rapport
aux niveaux du CECR
3. Résultats de la spécification et validation
interne : schéma de la relation des
anciennes épreuves aux niveaux du CECR
© CIEP

L’ancienne unité A1 du DELF reliée au Cadre
B1
A2.2
A2.1
A1
CECR
CO
listening
© CIEP
PO
speaking
CE
reading
PE
writing
Compétence Compétence
linguistique
sociolinguistique

Positionnement des 6 anciennes unités du DELF sur
les niveaux du CECR
C2
C1
C1.1
B2
B2.1
B1
B1.1
A2
A2.1
A1
© CIEP
CECR
Ancienne
unité A1
Ancienne
unité A2
Ancienne
unité A3
Ancienne
unité A4
Ancienne
unité A5
Ancienne
unité A6
Elaboration des nouvelles maquettes
La démarche :
- Pour chacun des 6 niveaux : sélection
de descripteurs de compétences
parmi les échelles proposées par
le CECR
- Création d’activités d’évaluation sous
forme de tâches langagières
correspondant aux descripteurs
choisis  Perspective actionnelle
© CIEP

Un exemple : niveau A2
peut comprendre une correspondance simple et brève
© CIEP
Expérimentation : prétest
1. Jugement d’experts : évaluation des échantillons
de candidats par leurs enseignants, en France et
à l’étranger
2. Positionnement des candidats sur l’un des
niveaux du Cadre grâce à :
- la grille d’auto-évaluation du CECR
- la passation du TCF
3. Passation des épreuves de l’un des nouveaux
diplômes, A1, A2, B1, B2, C1 ou C2
4. Nouveau jugement d’experts par le CIEP
© CIEP
Analyses pour chaque niveau
1. Constitution de l’échantillon à
analyser
2. Théorie classique du score vrai
3. Vérification des hypothèses
4. Application du modèle de
Rasch
5. Etude des biais
© CIEP

Constitution de l’échantillon à analyser
© CIEP

Théorie classique des tests
Logiciel TiaPlus, pour rechercher si :
• l’item est discriminant (coefficient de
corrélation point bisérial Rptbis proche
de 1)
• l’item est facile ou difficile
© CIEP

Vérification des hypothèses
• L’item évalue-t-il une seule et même
variable : la connaissance du français ?
(alpha de Cronbach supérieur à 0,80/1)
• Y a-t-il un axe dominant mesurant la
connaissance du français ? (ACP)
© CIEP

non “ conforme ”
Application du modèle de Rasch
Item 78
Probabilités prévues vs probabilités observées
• L’item est-il adéquat ?
(Indices globaux OUTFIT
et INFIT)
• Les réponses observées
correspondent-elles aux
réponses prévues ?
1.0
0.8
0.6
0.4
“ conforme ”
0.2
Pr 0.0
ob
-1.5
ab
ilit
é
d'
-1.0
-0.5
0.0
0.5
1.0
1.5
2.0
Item
38
Refusé
Probabilités prévues vs probabilités observées
Probabilité d'une réponse correcte
1.0
0.8
0.6
0.4
0.2
0.0
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
2.0
2.5
P obs.
P prév.
Habilité
© CIEP

2.5
Etude des biais
© CIEP
Validation
•
•
•
•
•
•
© CIEP
Avis des experts du Conseil
d’orientation pédagogique
Modifications
Nouvelle phase de test
Nouvelles analyses
Validation finale
Premières sessions avec les nouvelles
épreuves calibrées sur le CECR
Standardisation
• Production écrite : Analyse et calibrage
d’échantillons
• Affinement des grilles d’évaluation
• Notes et commentaires sur le site du
CIEP
• Production orale : Analyses et calibrage
d’échantillons filmés
• Formation des examinateurs-correcteurs
à partir de ces échantillons.
© CIEP
Evaluation de l’impact
Recherche d’impact positif par :
- Le recrutement, au CIEP, d’une équipe d'experts compétents pour tous les
aspects du test ;
- le recrutement et la formation, au CIEP, de rédacteurs d'items compétents ;
- la formation et le recrutement, dans tous les centres d’examens,
d‘examinateurs compétents.
Mesure de l'impact par recueil régulier de données sur
-
le profil des candidats
le profil des enseignants qui préparent les candidats à l’examen
les cours et les matériels conçus et utilisés pour préparer les candidats
l'effet de l’examen sur les normes scolaires
l’effet de l’examen sur la méthodologie utilisée dans les classes
la perception du test par les étudiants, les candidats, les enseignants,
les parents, etc.
- la perception du test par les politiques, les décideurs.
© CIEP