Transcript Faire de bons examens QCR.

Normes pour la rédaction et la
correction de questions QCR, QROC
et de problèmes à éléments-clé.
Michel Girard MD MHPE FRCP(C)
Directeur
Serge Normand MA
Docimologue
Bureau d’évaluation
Faculté de médecine
Plan









Historique
Pourquoi les QCR?
Vrai/faux vs « La meilleure réponse »
Vrai/faux
Les niveaux taxonomiques simplifiés
La meilleure réponse, type
QROC
Problèmes à éléments-clé (Q4)
Quelques conseils pour la correction
Historique
NBME
1916
Questions à développement et orales
Différents types de questions QCR (A, B, C & K)
2002
On utilise maintenant les questions type A & R
Historique plus détaillé
NBME

Questions de type A
–
A: La meilleure réponse, une seule (One-best-answer)
Pourquoi QCR?

Problème d’échantillonnage
–
Nature et la taille de l’échantillon qui déterminent
si l’estimé que l’on fait est
•
•
Reproductible: fiable, généralisable
Précis: valide
–
–
Uniquement questions SCV pour un examen de md fam.
Trop peu de questions
Pourquoi QCR?

Problème d’échantillonnage
–
Échantillon doit être évalué sur une seule variable
 étudiant
•
•
QCM: Ordinateur corrige réponses
QROC: Professeur(s) corrige(nt) réponses
Un exemple
Travail écrit de 5 pages.
Chaque professeur a corrigé les
travaux de son groupe.
15 étudiants/groupe
Note maximale: 30
Les étudiants du groupe 1 croient
que leur professeur a été trop
sévère.
En fait, le problème
Histoire de la médecine
Résultat du travail par groupe
Groupe
Moyenne
1
24,1
2
30,0
3
28,7
4
25,3
5
26,1
6
26,0
7
27,5
8
26,6
9
27,5
Total
26,9
Combien de questions?
En combien de temps?


Dépend de l’importance de l’examen.
Si on recherche validité et la fiabilité:
–
–

Douzaine de cas cliniques ou plus (ECOS).
Centaine ou plus de QROC ou QCR.
En donnant aux étudiants le temps qu’il faut
pour répondre. Environ 1 min. par question,
plus s’il s’agit de questions difficiles ou
comportant de longues vignettes.
Seulement QCR?
Opinion du patient
Questions à développement
Raisonnement
clinique (Q4)
Patient simulé
NON
Simulateur
ECOS
QROC
Simulation
L’ÉVALUATION
DOIT
ÊTRE
Observation
directe
PMP
Carnet de route
QCR
MULTIMODALE… et encore
Concordance de
scripts
Portfolio
Examens oraux
Vrai/faux vs
la meilleure réponse.

Vrai ou faux
–

C, K, X, PMPs
La meilleure réponse
–
–
–
–
A: la meilleure réponse de 5 énoncés
B
R: appariement détaillé
Q4: problèmes à éléments-clé
Vrai/faux



Le problème est que l’étudiant doit décider ce
qui est absolument faux ou vrai.
Alors que l’on suggère d’éviter les absolus
comme « toujours » ou « jamais ».
Il est difficile d’écrire des compléments qui
sont absolument vrai ou faux, sans tomber
dans la futilité.
Vrai/faux
Une question correcte

Lequel (ou lesquels) des éléments suivants
est (sont) une atteinte récessive liée à l’X?
1-Hémophilie A
2-Fibrose kystique
3-Dystrophie musculaire de Duchesne
4-Maladie de Tay-Sachs
Vrai/faux
Une question possible

Lequel (ou lesquels) des éléments suivants
est (sont) une atteinte récessive liée à l’X?
1-Hémophilie A
2-Fibrose kystique
3-Dystrophie musculaire de Duchesne
4-Maladie de Tay-Sachs
2
4
Absolument faux
1
3
Absolument vrai
Vrai/faux
Une question « incorrecte »

Les énoncés vrais sur la fibrose kystique sont:
1-L’incidence de la maladie est 1:2000
2-Les enfants en meurent habituellement durant
l’adolescence.
3-Les mâles atteints sont stériles.
4-La maladie est autosomique et récessive

Le problème est qu’un groupe d’experts ne s’entendrait
pas sur 1, 2 et 3.
En résumé...

La vignette doit être claire et sans ambiguïté,
évitez les termes
–
–
–
imprécis, comme: est associé à, est utile pour, est
important.
qui orientent l’étudiant: toujours, jamais, peut,
pourrait être.
vagues, comme: fréquemment, habituellement,
souvent, rarement, etc.
Les niveaux taxonomiques simplifiés
Niveaux taxonomiques - Objectifs cognitifs
Savoir
Rappel
Rappel
Compréhension
Application
Interprétation
Analyse
Synthèse
Solution de Application
problèmes
Évaluation 1
1
Bloom, 1956
Les niveaux taxonomiques simplifiés
Niveaux taxonomiques - Objectifs cognitifs
Savoir
Rappel
Rappel
Compréhension
Application
Interprétation
Analyse
Synthèse
Solution de Application
problèmes
Évaluation 1
1
Bloom, 1956
Les niveaux taxonomiques simplifiés
Niveaux taxonomiques - Objectifs cognitifs
Rappel
Savoir
Rappel
Compréhension
Application
Interprétation
Analyse
Application
Synthèse
Solution de
problèmes
Évaluation 1
1
Bloom, 1956
La meilleure réponse
Type A



Ici, toutes les réponses peuvent être vraies.
Elles se situent sur un continuum de vérité.
Une des réponses est la plus exacte.
Type A
3 parties

Vignette (Stem)
–

Question (Lead-in)
–

Vignette, en général, clinique
Détermine le choix à faire parmi les compléments
Compléments (Options)
–
Les choix
Type A
3 parties
Vignette (Stem)
Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa
température est 37,8C, son pouls est 94/min, …
Question (Lead-in)
Parmi les diagnostics suivants, quel est le plus probable?
Compléments (Options)
A- Encéphalomyélite aiguë disséminée
B- Syndrome de Guillain-Barré
C- Myasténie grave
On peut répondre sans
D- Polyomyélite
consulter les compléments.
E- Polymyosite
D
C A
La moins correcte
E
B
La plus correcte
Type A
3 parties


Vignette (Stem)
–
Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4
jours. Sa température est 37,8C, son pouls est 94/min, sa PA 130/80
mmHg. La respiration est superficielle à 42/min. Il a une faiblesse
symétrique des muscles du visage et des muscles proximaux et
distaux des extrémités. La sensibilité est normale. Les réflexes
ostéo-tendineux sont absents. Les réflexes plantaires sont en
flexion.
Question (Lead-in)
–
Quel est le diagnostic le plus probable?
On peut répondre sans consulter les compléments.
Type A
3 parties (question incorrecte)



Vignette (Stem)
Question (Lead-in)
–
À propos de la pseudogoutte, qu’est-ce qui est vrai?
Compléments (Options)
A.
Est fréquente chez les femmes.
B.
Est rarement associée à de la douleur articulaire aiguë.
C.
Peut être associée à de la chondrocalcinose.
D.
Est clairement héréditaire dans la plupart des cas.
E.
Répond bien à l’allopurinol.
Les compléments ne se situent pas sur un continuum de vérité, ils
explorent des dimensions différentes, ei genre, manifestations,
génétique et traitement. On ne peut répondre sans consulter les
compléments. Cette question ne fait appel qu’à la mémoire et n’évalue
pas l’application des connaissances.
Défauts techniques


Prévenir les gains associés à la perspicacité du
répondant, le petit futé.
Éviter la difficulté hors de propos.
Perspicacité du répondant
le petit futé






Indices grammaticaux.
Indices logiques.
Les termes absolus.
La longueur d’un complément qui pointe vers
la bonne réponse.
Répétition de mots.
La stratégie utilisant la convergence des
indices.
Type K
Difficulté hors de propos






Compléments longs, complexes ou double.
Échelle numérique variable.
Termes vagues dans les compléments.
Complément utilisant: « Aucun des choix ».
Item intriqué ou trop complexe.
Lien entre les réponses de deux questions apparentées.
La meilleure réponse...
Type A - Les règles de base






Chaque item porte sur un concept important, de par sa fréquence ou sa
dangerosité. Éviter la trivialité, les pièges ou les questions inutilement
complexes.
Chaque question doit évaluer l’application des connaissances et non leur
rappel.
La question doit être claire et on doit pouvoir y répondre sans lire les
compléments, d’où l ’importance de la vignette. Éviter les doubles
négations.
Les distracteurs doivent être homogènes, grammaticalement semblables,
plausibles, de longueur équivalente, logiquement compatibles, au contenu
univoque (éviter « faire X et Y ») sauf si tous idem, placé en ordre logique.
Éviter les questions qui favorisent les petits futés ou qui posent des
difficultés hors de propos.
Éviter les questions du type: « Identifiez l’affirmations correcte. » ou
« Toutes les affirmations qui suivent sont vraies sauf: »
…des vignettes homogènes et...








Age, sexe, (Un homme de 45 ans)
Lieu (se présente à l’urgence, au cabinet…)
Raison de consultation (se plaint de céphalées…)
Durée (depuis 2 jours…)
Histoire médicale (histoire familiale au besoin)
Examen physique (éléments positifs ou négatifs)
+/- Résultats de laboratoire
+/- Traitement initial, évolution, etc
Une relation correcte entre la
vignette et les compléments
Vignette longue
Complément court
Complément court
Complément court
Complément court
Complément court
Les compléments ne doivent
pas transmettre de nouvelle
information. Il ne devrait pas
y avoir de verbe.
Variation

On peut à partir d’une vignette poser plus
d’une question:
Vignette, en général clinique
Question #1
Question #2
Complément
Complément
Complément
Complément
Complément
Complément
Complément
Complément
Question #3
Question #4
Complément
Complément
Complément
Complément
Complément
Complément
Complément
Complément
Mais attention, pour réussir #4, faut-il avoir réussi 1, 2 et 3?
La meilleure réponse...
Type A - Sciences de base

Le piège est la tendance évaluer le rappel.
–
Rappel:
•
–
L’artère cérébellaire postéro-inférieure irrigue quelle partie du
cerveau?
Application:
•
Un homme de 62 ans développe une ataxie du côté gauche, un
syndrome de Horner, un nystagmus et une perte de la
sensation de douleur et du froid au niveau du visage. Quelle
artère est, le plus probablement, atteinte?
La meilleure réponse...
Type A - Sciences cliniques

Quelques détails sur les vignettes
–
–
–
–
Utilisation de véritables cas cliniques: risqué, souvent trop
compliqué.
Matériel de référence: fournir ce qui est habituellement
disponible en clinique (ei normales)
Utiliser des termes médicaux, plutôt que ceux du patient.
Les patients ne mentent pas dans les QCR (ei.
consommation d’alcool).
QROC
Question à Réponse Ouverte et Courte
Une femme de 62 ans est hospitalisée pour des maux de tête d'apparition
récente, accompagnés de diplopie. Une année auparavant, on a
diagnostiqué qu'elle souffrait d'un lymphome diffus à grandes cellules et de
stade III. La polychimiothérapie associant doxorubicine (Adriamycine),
vincristine et prednisone, a entraîné une rémission complète; elle a été
cessée après six cycles. Au cours de la présente hospitalisation, les
examens complémentaires, dont la ponction lombaire, ont diagnostiqué
une lymphomatose méningée. Il n'y a pas de récidive du lymphome à
d'autres endroits.
Énumérez trois modalités thérapeutiques disponibles, pour cette patiente :
a)________________________________________________________
b)________________________________________________________
c)________________________________________________________
QROC
Question à Réponse Ouverte et Courte


Il s'agit d'une question à laquelle on peut
répondre en quelques mots ou phrases.
Dans le cas d’une question comportant des
sous-questions, la réponse à chacune de
celles-ci doit pouvoir être exprimée en
quelques mots ou phrases.
QROC
Question à Réponse Ouverte et Courte

QROC ≠ question à développement court
–
réponse plus longue et moins structurée, une ou deux
phrases à un ou deux paragraphes.
•
« Discutez des avantages du traitement XYZ pour le
problème ABC. »
QROC
Avantages

Comparativement à la question à
développement long ou court,
–
–

la correction plus facile et moins subjective
laisse très peu de place à l'interprétation
Comparativement au QCR,
–
plus facile à créer, mais plus exigeante à corriger.
QROC
Conseils pour leur rédaction

Utilisez des questions auxquelles on peut
répondre d'une façon réaliste en quelques
mots ou phrases. En général, chaque
question ou sous-question ne devrait
demander qu'un seul élément d'information.
Ainsi, la question suivante : « Quel est le
diagnostic le plus probable et quel traitement
recommandez-vous? » devrait être scindée
en deux questions distinctes.
QROC
Conseils pour leur rédaction

Prévoir dans les espaces réservés aux
réponses le nombre suffisant de lignes ou
autres repères de façon à indiquer l'étendue
de la réponse.
QROC
Conseils pour leur rédaction

Utilisez soit des questions directes « Quel est
le meilleur traitement de ...? », soit des
verbes très spécifiques tels que « nommer »,
« indiquer les grandes lignes de ... », «
décrire ». Évitez le verbe « discuter »
Lorsqu'on utilise des verbes, tels que «
décrire », « indiquer les grandes lignes de ...
», il importe d'ajouter certaines indications
quant aux limites de la réponse attendue (par
exemple « décrivez brièvement », « indiquez
brièvement les grandes lignes ... »).
QROC
Conseils pour leur rédaction

Parfois, il peut être nécessaire de préciser ce
qui ne doit pas apparaître dans la réponse
(exemple : « Indiquez un traitement
couramment accepté dans ce cas. Soyez
spécifique; les doses, les horaires et champs
d'application du traitement ne sont pas requis
»). Il faut s’efforcer de bien mettre en
évidence le critère visé dans la correction de
la question.
QROC
Conseils pour leur rédaction

Prenez soin de ne pas fournir d'indices quant
à la réponse à la question. Voici un exemple
d'une question qui n’en fournit pas : « Quel(s)
examen(s) complémentaire(s) additionnel(s)
pourrait(aient) être requis, en vue de la
décision thérapeutique? », par opposition à la
question suivante : « Quels examens
complémentaires allez-vous faire avant de
décider du traitement? ».
QROC
Conseils pour leur rédaction

La valeur de chaque question (valeur relative
dans l'épreuve avec questions à réponse
courte) et, dans le cas d'une question avec
sous-questions, la valeur de chaque sous
question, doivent être déterminées à l’avance
et indiquées sur la feuille de réponse du
candidat.
QROC
Conseils pour leur rédaction

Pour chaque question ou sous-question, il
faut établir la notation pour la(les) réponse(s)
acceptable(s), les réponses qui ne sont pas
acceptables de même que pour les réponses
qui, tout en n'étant pas la meilleure réponse,
n’en sont pas moins acceptables.
QROC
Conseils pour leur rédaction

Si une seule réponse doit être considérée
comme acceptable, l’énoncé de la question
doit être très spécifique sur ce point. Voici
quelques exemples : « Quel est le meilleur
traitement ...? » , « Quel est... le plus souvent
utilisé ... ? », « Quel est le diagnostic le plus
probable? ».
QROC
Conseils pour leur rédaction

Autant que possible, la longueur des
scénarios (« vignettes cliniques ») doit être
proportionnelle à la valeur attribuée aux
questions.
QROC
Conseils pour leur rédaction

Les scénarios cliniques doivent être préparés
en tenant compte du niveau de formation de
l’étudiant.
QROC
Conseils pour leur rédaction

Bien que la conception initiale des modèles
de réponses puisse être confiée à un seul
professeur, il importe cependant, pour en
assurer la validité, de faire appel à l’expertise
d'autres professeurs.
Problèmes à éléments-clé
(Q4)

La mesure de la compétence serait plus
valide si les questions posées relativement à
chaque problème d’un examen étaient
centrées sur les quelques éléments
spécifiques et essentiels ayant une
importance fondamentale pour la résolution
du problème – ses éléments-clé.
Problèmes à éléments-clé
(Q4)

Thème
–

Diarrhée
Éléments-clé
–
–
–
Reconnaître une déshydratation (évalué) et son
degré de gravité (non évalué).
Prendre en charge une déshydratation d’une
façon appropriée.
Estimer la transmissibilité possible de la maladie
sous-jacente (dissémination dans la famille/à
l’hôpital, possibilité d’une source commune).
Problèmes à éléments-clé
(Q4)

Un problème à éléments-clé comprend
typiquement un énoncé de cas, suivi de deux
ou trois questions visant à évaluer
uniquement les aspects fondamentaux
(« éléments-clé ») de la résolution du
problème.
Problèmes à éléments-clé
(Q4)

Une mère de trois enfants, âgée de 35 ans, vous consulte à votre
cabinet à 17 h en raison d’une diarrhée aqueuse grave. Lors de
l’interrogatoire, elle dit qu’elle est malade depuis environ 24 heures.
Elle a eu quinze selles liquides au cours des dernières 24 heures, elle
a des nausées, mais elle ne vomit pas. Elle travaille le jour comme
cuisinière dans un établissement de soins de longue durée, mais elle a
quitté le travail pour venir vous consulter. Votre infirmière a inscrit dans
son dossier les données suivantes : tension artérielle au repos à
105/50 mm Hg en position couchée (pouls de 110/minute) et à 90/40
en position debout, et température orale de 36,8 °C. À l’examen
clinique, vous observez que ses muqueuses sont sèches et que les
bruits intestinaux sont présents. L’examen des urines (examen
microscopique) était normal, avec une densité de 1.030.
Problèmes à éléments-clé
(QROC)
À quels problèmes cliniques accorderez-vous le
plus d’importance lors de la prise en charge
initiale de cette patiente?
Inscrivez-en jusqu’à trois.
____________________________________
____________________________________
____________________________________
Problèmes à éléments-clé
(question à menu court)

Comment devriez-vous traiter cette patiente à ce moment-ci?
Choisissez jusqu’à trois réponses.
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
1- Médicament antidiarrhéique
2- Médicament antiémétique
3- Solution de NaCl à 0,9 % par voie intraveineuse
4- Solution 2/3 pour 1/3 par voie intraveineuse
5- Gentamicine par voie intraveineuse
6- Métronidazole par voie intraveineuse
7- Solution de lactate Ringer par voie intraveineuse
8- Sonde naso-gastrique et aspiration
9- Rien par la bouche
10- Ampicilline par voie orale
11- Chloramphénicol par voie orale
12- Liquides par voie orale
13- Sonde rectale
14- Renvoi à la maison et suivi diligent
15- Consultation en chirurgie
16- Hospitalisation
Problèmes à éléments-clé
(question à menu court)

Après avoir pris en charge l’affection aiguë de cette patiente, quelles
mesures additionnelles, s’il y a lieu, prendriez-vous? Choisissez jusqu’à
quatre réponses ou choisissez le numéro 11, Aucune, si aucune
mesure n’est indiquée.
–
–
–
–
–
–
–
–
–
–
–
1- Recommandation d’éviter les produits laitiers
2- Coloscopie
3- Mesures de prévention entériques
4- Consultation en gastro-entérologie
5- Administration d’immunoglobulines sériques aux patients de
l’établissement de soins de longue durée
6- Consultation d’un spécialiste en maladies infectieuses
7- Déclaration à la Direction de la santé publique
8- Coprocultures
9- Isolement rigoureux de la patiente
10- Absence temporaire du travail
11- Aucune
Problèmes à éléments-clé
Étapes de construction
1- Choisir un problème clinique (et un groupe d’âge).
2- Poser la question : « Quelles sont les étapes essentielles de la
résolution de ce problème (chez des patients dans ce groupe
d’âge)? »
3- Penser à des exemples – des patients qui présentent ce
problème de façons différentes.
4- Inscrire les éléments-clé ayant trait à ces patients, certains
propres à des patients particuliers, d’autres communs à tous les
patients.
5- Choisir un cas, écrire l’énoncé du cas.
6- Écrire des questions qui sont fondés sur les éléments-clé du cas
et établir la notation.
Correction
(QCR)


Déterminer à l’avance la meilleure réponse
Il n’y a pas d’avantage à utiliser une
correction négative (punitive)
Correction
(QROC)




Déterminer à l’avance les bonnes réponses
et les réponses acceptables mais qui
mériteront un pointage partiel
Prévoir un pointage partiel pour les réponses
incomplètes
Si l ’étudiant vous propose 4 réponses alors
que vous en demandez 3: la note est 0.
NE PAS corriger les copies de chaque
étudiant une après l’autre
Correction
(QCR: Q 1 à 50 et QROC: Q 51 à 74)
Prof #1
Q: 52, 53 & 60
Prof #2
Q: 61, 70 & 71
Prof #3
Q: 54
Prof #4
Q: 55, 56, 57 & 58
Prof #8
Q: 51, 63 & 64
Prof #7
Q: 59, 62 & 65
Prof #6
Q: 66, 67, 68 & 69
Prof #5
Q: 72, 73 & 74
Conclusion




Contrôler les qualités docimologiques des
questions
Former les rédacteurs d’items
Mettre de l’emphase sur la prise de décision
clinique vs rappel
Pré-valider les nouvelles questions
ATTENTION!!!
Pour tous les types de
questions, faites les lire par
un/une collègue.
Type R, appariement détaillé
(Extended matching)

Un item en quatre parties:
–
–
–
–
Un thème
Des compléments, de 3 à 26
Question ou directive
Vignettes
Type R (1 de 2)
Thème: Fatigue
Compléments:
A: Leucémie aiguë
B: Anémie des mal. chroniques
C: Insuffisance cardiaque
D: Dépression
E: Infection virus Epstein-Barr
F: Déficit en folate
G: Déficit en G-6-PD
H:
I:
J:
K:
L:
M:
N:
Sphérocytose congénitale
Hypothyroïdie
Déficit en fer
Maladie de Lyme
Anémie hémol. microangio.
Tuberculose miliaire
Déficit en Vitamine B12
Évitez les abréviations
Type R (2 de 2)
Question:
Pour chacun des patients, présentant de la fatigue,
choisir le diagnostique le plus probable.
Vignettes:
1. Une femme de 19 ans décrit de la fatigue, de la fièvre et un mal de
gorge depuis une semaine. Sa température est 38,3C. Elle présente
les adénopathies cervicales et une splénomégalie. Le décompte
des leucocytes est 5000/mm3 (80% lympho. dont plusieurs
présentent des atypies) … Autres labo ...
2. Un garçon de 15 ans décrit de la fatigue et de la douleur au dos
depuis 2 semaines. Il est couvert d’ecchymoses, est pâle et ses
vertèbres et fémurs sont sensibles à la palpation. L’hémoglobine
est à 70 g/L, les leucocytes à 2000/mm3 et les plaquettes à15,000
mm3.
Type R

On suggère d’écrire l’item dans l’ordre
suivant:
–
–
–
–
Thème
Question
Compléments
Vignettes
Type R

Les règles de base sont les mêmes que pour
les question de Type A, la meilleure réponse
–



On devrait pouvoir répondre aux questions sans
avoir à lire les compléments.
Vignettes doivent être homogènes
Une seule meilleure réponse
Nombre de compléments
–
–
De 3 à 26, mais en général, au moins 4 bons
distracteurs plausibles par vignette.
La plupart des compléments devrait être utilisée.
Appariement détaillé à plusieurs choix
(Pick N Items)

Idem au type R, mais on choisit plus d’une
réponse.
–
–
–
Il faut indiquer le nombre de réponses à choisir.
Sinon, la question se transforme en Vrai/Faux.
En général, on recommande une notation
proportionnelle au nombre de bonnes réponses.
Si ce n’est pas possible, limiter le nombre de
réponses à 2 ou 3.
Appariement détaillé à plusieurs choix
(1 de 2)
Thème: Investigation de la fièvre chez l’enfant
Compléments:
A: A & C du LCR
F:
B: Hémoculture
G:
C: Formule sanguine complète
H:
D: Examen des selles pour leucocytes
I:
E: Détermination des électrolytes sanguin
Analyse d’urine
Culture d’urine
R-X de l’abdomen
R-X du thorax
Évitez les abréviations
Appariement détaillé à plusieurs choix
(2 de 2)
Question:
Pour chaque enfant qui présente de la fièvre, choisissez
les tests diagnostiques initiaux appropriés.
Vignettes:
1. Une fillette de 1 an, auparavant en bonne santé, est emmenée à la salle
d’urgence pour de la fièvre depuis 24 hres. Sa T est de 41C. Par
ailleurs, elle est asymptomatique. L’examen physique est normal.
(CHOISISSEZ 4 ÉPREUVES DE LABORATOIRE)
2. Un n-né de 10 jours, auparavant en bonne santé, est emmené à la
salle d’urgence pour de la fièvre depuis 2 hres. Il est né à terme, suite
à une grossesse normale. Sa T est de 39C. L’examen physique est
normal. (CHOISISSEZ 6 ÉPREUVES DE LABORATOIRE)
1. Un garçon de 7 ans, souffrant d’anémie falciforme, est emmenée à la
salle d’urgence pour de la fièvre depuis 24 hres et des douleurs
thoraciques depuis 1 hre. Sa T est de 39,5C. Le murmure vésiculaire
est diminué à la base gauche, il est eupnéique. (CHOISISSEZ 3
ÉPREUVES DE LABORATOIRE)
Type B
A- Coactation de l’aorte
B- Persistance du canal
artériel
C- Tétrallogie de Fallot
D- Anneau vasculaire
aortique
D-Atrésie tricuspidienne
1- Amélioré par shunt art.
syst/pulm.
2- Patho cong la plus fréq.
3- Corrigé par résection chir et
anast. bout-à-bout.
4- Cause possible de
dysphagie chez l’enfant
5- HyperTA m.sup et hypoTA
m.inf
Pour chaque chiffre choisir la lettre la mieux associée.
Chaque lettre peut être utilisée de 0 à plusieurs fois
Pas de vignette. Parfois tâche + ou - claire. Remplacée
récemment par type R.
Type C
A- Éosinophillie*
B- Plasmocytose*
C- Lymphocytose*
*cliniquement significative
12345-
Trichinose
Myélome multiple
Syndrome de Loeffler
Maladie de Hodgkin
Schistosomiase
Deux réponses:
1: 4 des 5 items à droite sont reliées à une des catégories
à gauche. Laquelle?
2: Indiquer l’item qui ne fait pas partie du groupe.
Pas de vignette. Questions difficiles à produire. Directives
complexes. Format non discriminant.
Type K
A
1,2,3
B
1,3
C
2,4
D
4
E
TOUS
Un enfant qui souffre d’une crise aiguë de fièvre
rhumatismale présente habituellement
(1) un temps de sédimentation allongé
(2) un intervalle PR allongé
(3) un titre d’antistreptolysine O élevé
(4) des nodules sous-cutanés
Type K
A
1,2,3
B
1,3
C
2,4
D
4
E
TOUS
Ont déjà été les questions les plus utilisées. Trop complexe,
doit se souvenir du code de réponse.
Difficile d’écrire de bons items VRAI ou FAUX.
De plus, le VRAI ou FAUX ne peuvent tester le jugement
clinique.
Les liens entre les questions diminuaient la discrimination et
la validité.
1=faux + 2=vrai  C, 1=vrai + 2=faux  B
4=vrai + 3=faux  D, 4=faux + 2=faux  B
Indices grammaticaux
On retrouve un homme de 60 ans inconscient sur la rue. À l’urgence, une fois les voies
aériennes sécurisées, le premier geste à poser est l’administration intraveineuse de
A
B
C
D
E
L’examen du LCR
Glucose et vitamine B1 (thiamine)
Tomographie axiale du crane
Phénytoin
Diazépam
Ceci se produit parce que lorsque l’on écrit une question, on porte plus attention à la
bonne réponse qu’aux distracteurs.
Indices grammaticaux
On retrouve un homme de 60 ans inconscient sur la rue. À l’urgence, une fois les voies
aériennes sécurisées, le premier geste à poser est l’administration intraveineuse de
A
B
C
D
E
L’examen du LCR
Glucose et vitamine B1 (thiamine)
Tomographie axiale du crane
Phénytoin
Diazépam
Ceci se produit parce que lorsque l’on écrit une question, on porte plus attention à la
bonne réponse qu’aux distracteurs.
Les indices logiques
Le crime est
A
B
C
D
E
Également représenté dans toutes les couches sociales
Surreprésenté chez les pauvres
Surreprésenté dans les classes moyennes et riches
Est d’abord une indication de mésadaptation sociale
Sur le point de dépasser la tolérance de la population
A, B et C comprennent toutes les options.
D et E ne font pas partie d’un continuum avec A, B et C
On aura le même problème si les options comprennent « augmente », « diminue » et
« n’affecte pas »
Les indices logiques
Le crime est
A
B
C
D
E
Également représenté dans toutes les couches sociales
Surreprésenté chez les pauvres
Surreprésenté dans les classes moyennes et riches
Est d’abord une indication de mésadaptation sociale
Sur le point de dépasser la tolérance de la population
A, B et C comprennent toutes les options.
D et E ne font pas partie d’un continuum avec A, B et C
On aura le même problème si les options comprennent « augmente », « diminue » et
« n’affecte pas »
Les termes absolus
Chez les patients souffrant d’une démence sévère, de type Alzheimer, l’atteinte de la
mémoire
A
B
C
D
E
Peut être traitée adéquatement avec de la phosphatidylcholine
(lécithine)
Pourrait être une séquelle du parkinsonisme précoce
N’est jamais retrouvé chez les patients avec ???? à l’autopsie
N’est jamais sévère
Pourrait impliquer le système cholinergique
Éviter les absolus.
Il y a moins de chances d’avoir ce problème, si on utilise une vignette plus précise et on
évite les verbes dans les compléments.
Les termes absolus
Chez les patients souffrant d’une démence sévère, de type Alzheimer, l’atteinte de la
mémoire
A
B
C
D
E
Peut être traitée adéquatement avec de la phosphatidylcholine
(lécithine)
Pourrait être une séquelle du parkinsonisme précoce
N’est jamais retrouvé chez les patients avec ???? à l’autopsie
N’est jamais sévère
Pourrait impliquer le système cholinergique
Éviter les absolus.
Il y a moins de chances d’avoir ce problème, si on utilise une vignette plus précise et on
évite les verbes dans les compléments.
La longueur du complément qui pointe
vers la bonne réponse
Le gain secondaire est
A
B
C
D
synonyme de simulation
fréquemment associé aux problèmes obsessifs-compulsifs
une complication associée à plusieurs maladies et qui tend à en prolonger plusieurs
au delà de la durée normale
jamais vu dans les syndromes organiques cérébraux
Répétition de mots

Par exemple, une question porte sur des
douleurs osseuses et une des réponses
comporte le terme ostéo...
La stratégie utilisant la
convergence des indices
Les anesthésiques locaux sont efficaces dans leur forme
A
B
C
D
E
forme anionique, agissant du côté intracellulaire de la membrane
forme cationique, agissant du côté intracellulaire de la membrane
forme cationique, agissant du côté extracellulaire de la membrane
forme base, agissant du côté intracellulaire de la membrane
forme base, agissant du côté extracellulaire de la membrane
Anionique n’apparaît qu’une fois, 2 intracell. vs 3 extracell. donc extra
Reste B et D, parce qu’il y a plus d’éléments impliquant une charge, B.
La stratégie utilisant la
convergence des indices
Les anesthésiques locaux sont efficaces dans leur forme
A
B
C
D
E
forme anionique, agissant du côté intracellulaire de la membrane
forme cationique, agissant du côté intracellulaire de la membrane
forme cationique, agissant du côté extracellulaire de la membrane
forme base, agissant du côté intracellulaire de la membrane
forme base, agissant du côté extracellulaire de la membrane
Anionique n’apparaît qu’une fois, 2 intracell. vs 3 extracell. donc extra
Reste B et D, parce qu’il y a plus d’éléments impliquant une charge, B.
Compléments longs, complexes ou
double
Les comités de discipline des hôpitaux peuvent prendre action pour limiter les privilèges
hospitaliers d’un médecin. Toutefois, dans le contexte de l’accomplissement de leur
mandat, ces comités doivent assurer au médecin un processus juste et équitable. Un
processus juste et équitable doit inclure lesquels des éléments suivants?
A
Un avis, un forum impartial, un avocat, l’opportunité d’entendre et discuter de la
preuve déposée contre lui/elle.
B
Un avis adéquat, un tribunal habileté à prendre une décision, l’opportunité de
confronter les témoins à charge et la possibilité de faire une preuve en défense.
C
Un avis raisonnable et en temps opportun, un comité impartial et habileté à
prendre une décision, la possibilité d’entendre la preuve déposée contre lui/elle et
de confronter les témoins à charge et la possibilité de faire une preuve en défense.
La vignette comporte de la lecture sans relation avec la résolution du problème. Les
compléments sont trop longs et complexe. On recommande de faire des compléments
courts. La vignette peut être longue, surtout si on veut évaluer la capacité de l’étudiant à
synthétiser l’information.
Compléments longs, complexes ou
double
Les comités de discipline des hôpitaux peuvent prendre action pour limiter les privilèges
hospitaliers d’un médecin. Toutefois, dans le contexte de l’accomplissement de leur
mandat, ces comités doivent assurer au médecin un processus juste et équitable. Un
processus juste et équitable doit inclure lesquels des éléments suivants?
A
Un avis, un forum impartial, un avocat, l’opportunité d’entendre et discuter de la
preuve déposée contre lui/elle.
B
Un avis adéquat, un tribunal habileté à prendre une décision, l’opportunité de
confronter les témoins à charge et la possibilité de faire une preuve en défense.
C
Un avis raisonnable et en temps opportun, un comité impartial et habileté à
prendre une décision, la possibilité d’entendre la preuve déposée contre lui/elle et
de confronter les témoins à charge et la possibilité de faire une preuve en défense.
La vignette comporte de la lecture sans relation avec la résolution du problème. Les
compléments sont trop longs et complexe. On recommande de faire des compléments
courts. La vignette peut être longue, mais pertinente, surtout si on veut évaluer la
capacité de l’étudiant à synthétiser l’information.
Une façon de prévenir ceci est de ne pas utiliser de verbe dans les compléments.
Échelle numérique variable
Après un deuxième épisode d’infection pelvienne, quelle est la probabilité pour une
femme d’être infertile?
A
B
C
D
E
Moins de 20%
20 à 30%
Plus de 50%
90%
75%
Présenter des valeurs uniques ou des étendues (RANGE). Ne pas les combiner. De plus C
comprend D et E, ce qui élimine presque certainement D et E.
Échelle numérique variable
Après un deuxième épisode d’infection pelvienne, quelle est la probabilité pour une
femme d’être infertile?
A
B
C
D
E
Moins de 20%
20 à 30%
Plus de 50%
90%
75%
Présenter des valeurs uniques ou des fourchettes (étendue). Ne pas les combiner. De
plus C comprend D et E, ce qui élimine presque certainement D et E. Placer les choix
dans un ordre logique, par exemple par ordre croissant.
Termes vagues dans les
compléments
L’obésité morbide au début de l’adolescence
A
B
C
D
E
Répond habituellement de façon dramatique au régime hypocalorique
Est souvent relié à une atteinte endocrinienne
Se résoudra spontanément dans 75% des cas
Présente un mauvais pronostique
Répond rarement à la pharmacothérapie et à la psychothérapie
intense
« Aucun des choix »
Le diagnostique d’une masse ovarienne importante est le plus probable, si il y a
A
B
C
D
E
Une matité antérieure
Un péristaltisme diminué
Signe du flot
Une matité mobile
Aucun des énoncés
Si le professeur souhaite que la réponse soit A,B,C ou D, les étudiants « experts » peuvent
faire face à un dilemme, qu’arrive-t-il s’ils connaissent une réponse qui est meilleur que la
meilleure de options présente? On transforme la question en Vrai ou Faux, or la question
mentionne « le plus probable ».
« Aucun des choix »
Le diagnostique d’une masse ovarienne importante est le plus probable, s’il y a
A
B
C
D
E
Une matité antérieure
Un péristaltisme diminué
Signe du flot
Une matité mobile
Aucun des énoncés
Si le professeur souhaite que la réponse soit A,B,C ou D, les étudiants « experts » peuvent
faire face à un dilemme, qu’arrive-t-il s’ils connaissent une réponse qui est supérieure à la
meilleure de options présentes?
Item intriqué ou trop complexe
Placer les parents des enfants trisomiques (XXI) par ordre décroissant de risque de
récurrence. Supposez que l’âge maternel est 22 ans et que la prochaine grossesse
surviendra au cours des 5 prochaines années. Les karyotypes des filles sont les
suivants :
I
II
III
IV
V
46, XX, -14, +T (14q21q) pat
46, XX, -14, +T (14q21q) de novo
46, XX, -14, +T (14q21q) mat
46, XX, -21, +T (14q21q) pat
47, XX, -21, +T (21q21q) (pas de karyotype parental)
A
B
C
D
E
III, IV, I, V, II
IV, III, V, I, II
III, I, IV, V, II
IV, III, I, V, II
III, IV, I, II, V
Lien entre les réponses de deux
questions apparentées

La réponse à une question plus facile sert
d’indice pour répondre à une question plus
difficile.
À préciser
Langage non analogue, ordre
illogique des compléments
Lors d’un essai vaccinal, 200 garçons de 2 ans ont reçu un vaccin contre une maladie
« x », puis ont été observé pendant 5 ans pour évaluer l ’apparition de la maladie. Du
groupe, 85% n’ont jamais fait la maladie. Lequel des énoncés suivants, portant sur ces
résultats est correct?
A
Aucune conclusion ne peut être tirée, le suivi ayant porté sur des nfants non
vaccinés
B
Le nombre de cas (ie, 30 cas en 5 ans) est trop petit pour avoir être
statistiquement significatif
C
Aucune conclusion ne peut être tirée parce que l’étude ne portait que
sur des garçons
D
L’efficacité vaccinale (%) est de 85 - 15/100
Basé NBME...

Pourquoi?  Depuis 1916
–
1916
•
–
1922
•
•
•
–
Examen de 5 jours: écrit, oral, labo et clinique
Part I: 3 j. développement sc. base,
Part II: 2 j. développement sc. cliniques
Part III: 1 j. oral au chevet de patients
1951
•
Recherche de 3 ans sur comparaison QCR vs
développement
Basé NBME

Pourquoi?  Depuis 1916
–
1953
•
•
–
Après avoir principalement utilisé
•
–
Part I & II  QCR
Part III variable ad début des années ‘60
A, B, C & K
On utilise maintenant
•
A&R
Pourquoi faire un examen?





Indiquer aux étudiants la matière importante.
Motiver les étudiants à étudier.
Identifier les domaines où les connaissances
sont insuffisantes  étude supplémentaire.
Déterminer notes finales et/ou promotion.
Identifier les faiblesses du cours/curriculum.
Sur quoi questionner?




Sur ce qui est en relation avec les objectifs.
Plus d’emphase sur les sujets importants.
Temps alloué, proportionnel à l’importance.
Sur ce qui est important, éviter la trivialité.
Vrai/faux
Une question incorrecte
En résumé




La vignette manque de précision
Les compléments comportent des termes
vagues.
Les compléments sont partiellement corrects.
Il n’y aurait pas consensus dans un groupe
d’experts.
Vrai/faux
Une question incorrecte

Chez l’enfant, les anomalies du septum interventriculaires sont associées à:
1234-

Un souffle systolique.
De l’hypertension pulmonaire.
La tétralogie de Fallot.
La cyanose.
Le problème est que l’étudiant doit présumer de la sévérité de la
maladie, de l’âge, et de la thérapie du patient.
Éviter les vrais/faux.



Ont plus souvent besoin d’être réécrites.
La difficulté, inhérente au fait que l’on recherche des
compléments vraiment vrai ou faux, entraîne une
dérive vers le rappel de faits isolés et la trivialité.
Éviter les questions utilisant la forme négative.
(Parmi les éléments suivants, lequel n’est pas
exact?)
–
–
Sont difficile à placer sur un continuum.
Si l’on veut faire choisir plus d’un élément, utiliser une
question de type « choisir N items » (Pick N Items).