Transcript Avantage(s)

Principes d’évaluation
en éducation médicale
JP. Fournier
Département de Pédagogie Médicale
Centre de Simulation Médicale
Faculté de Médecine
Université de Nice Sophia Antipolis
Les challenges
 Compétence vs Excellence :
 Impact négatif de l’examen sommatif sur le développement
professionnel ultérieur ;
 Importance d’examens formatifs ;
 Changement de comportement d’étudiants et tuteurs ;
 Novice vs Expert :
 Progression du mode de raisonnement avec l’acquisition
d’expertise ;
 Examens adaptés ;
 Validité et fidélité ;
 Examen formatif vs examen sommatif.
DU de Pédagogie et d’Enseignement
par Simulation
D’après Dornan T (Ed) Medical Education, Churchil
Livingstone, Edinburgh, 2011
Validité(s)
 Force des conclusions et inférences que l’on peut tirer des résultats
d’une évaluation ;
 5 facettes « classiques » :
 Validité apparente (face validity) : examen adapté à son objectif ;
 Validité de contenu (content validity) : contenu de l’examen représentatif
du corpus de compétences (connaissances) à mesurer ;
 Validité de construit (construct validity) : aptitude à identifier les groupes
par niveau d’expertise (experts vs novices) ;
 Validité prédictive (predictive validity) : aptitude à prédire le futur (ex;
succès professionnel après validation) ;
 Validité résultante (consequential validity) : conséquences éducatives du
test.
DU de Pédagogie et d’Enseignement
par Simulation
D’après Dornan T (Ed) Medical Education,
Churchil Livingstone, Edinburgh, 2011
Validité de construit
Origine des preuves
Preuves
Conclusions
Contenu
Table de spécification
Contenu du test
représentatif
Processus de réponses
Construction du test
Construction du test
satisfaisante
Structure interne
Données psychométriques
Analyse d’items, fidélité
Validité externe
Corrélation avec d’autres
tests
Résultats concordants
Conséquence
Conséquences du test
Impact du test
DU de Pédagogie et d’Enseignement
par Simulation
D’après Downing SM. Med Educ 2003
Fidélité (reliability)
 Reproductibilité des scores dans le temps ;
 Indissociable de la validité ;
 Plusieurs approches pour la mesurer :
 Consistance interne : score α de Cronbach ;
 Théorie classique des tests ;
 Théorie de la généralisabilité.
D’après
DU de Pédagogie et d’Enseignement
par Simulation
Downing SM Med Educ 2004
Dornan T (Ed) Medical Education,
Churchil Livingstone, Edinburgh, 2011
Examen sommatif vs formatif
 Opposition classique quasiment point par
point ;
 Ré-introduction d’examen formatifs ;
 Ré-évaluation de l’importance d’examens
formatifs ;
 Plusieurs conséquences :
 Changements culturels ;
 Intégration de données formatives dans une
évaluation sommative ;
 Nécessité d’évaluation formative
psychométriquement correcte.
DU de Pédagogie et d’Enseignement
par Simulation
D’après Van der Vleuten CPM Med Educ 2005
Les principes
 Spécificité de cas ;
 Table de spécification ;
 Pyramide de Miller ;
 Quel(s) test(s) pour quel(s) objectifs ?
 Equation d’utilité.
DU de Pédagogie et d’Enseignement
par Simulation
Principes : spécificité de cas
 Compétences multi facettes ;
 Pas ou peu d’extrapolation d’un cas
à l’autre ;
 A compenser par l’augmentation du
nombre de cas (et donc de la durée
d’examen,…et de correction).
DU de Pédagogie et d’Enseignement
par Simulation
D’aprè Dornan T (Ed) Medical Education,
Churchil Livingstone, Edinburgh, 2011
Pyramide de Miller
Performance
Observation directe, pairs, vidéo, audits
Action
Compétences
Compétence
Examen oral, ECOS, épreuve de clinique,
simulation, TCS
Utilisation des
connaissances
Cascades, QCM à contexte riche, TCS,
problèmes à résolution séquentielle
Connaissances
QCM, QROC, questions
rédactionnelles
D’après Miller Acad. Med. 1990
DU de Pédagogie et d’Enseignement par
Simulation
Pyramide de Miller
DU de Pédagogie et d’Enseignement
par Simulation
D’après Dornan T (Ed) Medical Education,
Churchil Livingstone, Edinburgh, 2011
Table de spécification (blue print)
DU de Pédagogie et d’Enseignement
par Simulation
D’après Amin Z. Practical guide
to medical students assessment,
2006
Equation d’utilité
Utilité = Fidélité x Validité x Faisabilité x Acceptabilité x Impact éducatif
D’après Van der Vleuten CPM. Adv Health Sci Educ 1996
DU de Pédagogie et d’Enseignement
par Simulation
Principaux tests utilisés
 Examens écrits :
Test
Compétence(s)
explorée(s)
Avantage(s)
Inconvénient(s)
QCM
 Connaissances
 Validité
 Fidélité
 Difficiles à
préparer
 Cueing effect
TCS
 Raisonnement en
contexte
d’incertitude
 Validité
 Validité de
construit
 Fidélité
 Déroutant
 Jury
Key-features
 Connaissances
 Raisonnement
 Validité
 Fidélité
 Difficiles à
préparer
Questions courtes
 Résolution de
problèmes
 Raisonnement
 Résolution de
problèmes
 Correcteur(s)
dépendante(s)
Questions
rédactionnelles
 Analyse et
synthèse
 Processus cognitif
évolué
 Correcteur(s)
dépendante(s)
 Fidélité médiocre
DU de Pédagogie et d’Enseignement
par Simulation
Principaux tests utilisés
 Observation directe :
Test
Compétence(s)
explorée(s)
Avantage(s)
Inconvénient(s)
ECOS
 Habiletés
 Comportement
 Communication
 Validité
 Fidélité
 Coût, logistique
 Check-list
désavantageant les
étudiants évolués
 Artificiels parfois
Examen oral
 Connaissances
 Raisonnement
 Exploration en
profondeur
 Fidélité
 Standardisation
Mini CEX
 Habiletés cliniques
 Communication
 Validité
 Fidélité
 Feedback
 Teste la
compétence plutôt
que la
performance
Patients standardisés
 Habiletés cliniques
 Communication
 Réalisme
 Plusieurs aspects
évalués
simultanément
 Coût
 Logistique
DU de Pédagogie et d’Enseignement
par Simulation
Principaux tests utilisés
 Evaluation multi source :
Test
Compétence(s)
explorée(s)
Avantage(s)
Inconvénient(s)
Collègues
 Habiletés cliniques
 Habiletés
psychosociales
 Multiples sources
 Crédibilité ?
d’évaluation
 Performance réelle
Patients
 Habiletés
psychosociales
 Une des meilleures  Validité ?
sources
 Performance
insuffisante ?
Portfolios
 Pratique réflexive
 Evaluation multi
format
 Profil d’un individu
à partir de
multiples sources
D’après
DU de Pédagogie et d’Enseignement
par Simulation
 Interférences avec
l’auto évaluation
 Temps
 Non fidèle.
Epstein RM. N Engl J Med 2007
Kogan JR. JAMA 2009
Dornan T (Ed) Medical Education,
Churchil Livingstone, Edinburgh, 2011
Mini CEX
Mini Clinique (Mini-CEX)
Étudiant :
Service :
Diagnostic :
Catégorie de problème clinique :
Douleur
Dyspnée
Psychiatrie – comportement
Circulatoire
Autre :
Objectif de l’évaluation :
Interrogatoire
Diagnostic
Neurologie
Digestif
Prise en charge
Explications
Nombre de fois où le patient a été vu par l’étudiant auparavant :
0
1à4
5à9
>9
Difficulté du cas :
Limite
Basse
Score
Nouveau
Suivi
Élevée
Moyenne
1
Patient :
2
Inférieur au
niveau attendu
pour l’année
d’études
3
4
5
Limite
Atteint
le
niveau
attendu
6
Au-dessus du
niveau attendu
Non
évaluable
(pas
d’opportunité
d’observation)
1. Interrogatoire
2. Examen physique
3. Communication - professionnalisme
4. Jugement clinique
5. Information
6. Organisation - efficacité
7. Compétence globale
Commentaires
Points forts
Points faibles
Suggestions du tuteur pour améliorer la mini clinique
Évaluateur :
PU-PH
Interne
Autre :
Nombre de mini cliniques évaluées :
0
1
MCU-PH
PH
Surveillant (e)
CCA
IDE
2
5-9
3
4
Durée de l’observation :
Durée du feed-back :
Signature :
Date :
DU de Pédagogie et d’Enseignement
par Simulation
>9
D’après Norcini J. Med Teacher 2007
Utilisation de la simulation comme
outil d’évaluation
Multiples impératifs / limites :
Identification d’objectifs d’apprentissage ;
Identification de as à résoudre ;
Construction de scenari ;
Choix de a technique de simulation ;
Chaque étudiant accomplit plusieurs tâches ;
Check-list ou évaluation globale ; observateurs entraînés et en
nombre suffisant ;
Comparabilité du niveau de difficulté d’une tâche à l’autre ;
Vérification de l’extrapolation en pratique réelle.
D’après
Boulet J. in Dunn WF (Ed) Simulators i critical care and beyond,
SCCM, Des Plaines, 2004
Van der Vleuten CPM. Teach Learn Med 1990
Newble D. Teach Learn Med 1994
DU de Pédagogie et d’Enseignement
par Simulation