Transcript Hoe stel ik een goed meerkeuzevragen

Hoe stel ik een goed
meerkeuzevragen-examen
op?…. / writing test items
of good quality…
MedEd 6 november 2013
Overzicht / overview
1.
2.
3.
4.
Toetsmatrijs of blauwdruk / blueprint
(meerkeuze-)vraagvorm /question format
Vragen opstellen / developing questions
Vragen beoordelen op kwaliteit (voor het examen) / quality
control for questions (pre-examination)
5. Voorbeelden / oefeningen
6. Tijdskader / timing
7. Hulp / ondersteuning
Toetsmatrijs of blauwdruk / blueprint
o
o
o
Appropriate detail
Specifies what content needs to be covered
Communicated to all stakeholders
When? Preparing the course (ECTS fiche)
Klinisch redeneren / interpr.
bijk. Onderz. / diff. Diagn.
Stagemap (1)
CPR (1)
Ekg (1)
Lichamelijk onderzoek
Communicatievaardigheden
All categories
of age
Anamnese
M/F
Manuele / techn. vaardigheden
2 ‘New’
Average p 0.6 -0.7
Beleid
epidemiology
Spijsvertering (2)
Psychiatrei (1)
Pediatrie (2)
Nefro-/urogenitaal (1)
Neurologie (1)
Kleine specialiteiten (1)
Infectieziekten (1)
Huisartsgeneeskunde (1)
Gyn / verloskunde (2)
Endocrinologie (1)
Bloed- en bloedsoml. (2)
Bewegingsstelsel (2)
Ademhaling (2)
Example osce
Example – certifying examinations of American
Board of Internal Medicine
• 75% patient based & reflective practice
• 75% of the patient encounters in an outpatient or emergency setting
• More then 50% must require synthesis of judgement to reach to correct
conclusion
Cardiovascular disease
14%
Infectious disease
9%
Psychiatry
4%
…
Geriatric medicine
10%
Prevention
6%
…
Blueprint should at least
•
•
•
Cover key-messages of your course.
•
How many questions?
•
Cover the total of the course material
1 question / chapter – balanced between key-features and details, between difficult
and ‘easy’ items
o
Course content
o
Question format
o
Relative weight of the course
o
‘30-40 MCQ for a course of 3 study points’
Each question should be related to a learning goal
Examples / ideas
• 1 key-feature question / chapter & 1 ‘minor’ question / chapter
• 2 key-feature questions / topic (1 factual knowledge & 1
reasoning skills) & 1 ‘minor’ question / subtopic
Vraagvorm / question format
• There is no one single best question format – a variety of
instruments is needed
• Stimulus (~what you ask) is more important than the respons
format: ‘the content of a question will determine the thought
processes required to answer it’
Response format
(short answer – open ended)
Stimulus format
(essay)
Case-based
True-false questions
Extended-matching questions
Multiple true-false questions
Key-feature approach
Multiple choice questions
Script concordance
Vraagvorm / question format
Acute intermittente porfyrie is het gevolg van een stoornis in de biosynthese van…
a)
Collageen
b)
Corticosteroïd
c)
Glucose
d)
Haem
e)
vetzuur
Een 33-jarige man met een goede algemene gezondheid en een blanco voorgeschiedenis
klaagt van zwakte en occasionele episoden van ernstige abdominale pijn met
krampen, maar geen diarree. Een tante en een nichtje hebben vergelijkbare
symptomen. Tijdens zo een opstoot is het abdomen gezwollen en is er verminderd
darmgeluid. Neurologisch onderzoek toont een lichte verzwakking in de bovenarmen.
Deze bevindingen suggereren een stoornis in de biosynthese van…
a)
Collageen
b)
Corticosteroïd
c)
Glucose
d)
Haem
e)
vetzuur
Vragen opstellen / Developing questions
Vragen opstellen / Developing questions - overall
• Realistic example-questions for students:
o
Factual knowledge  Reasoning skills
• (Inter)dependency: yes / no?
• Close to reality (authentic situations / cases) – relevant!
•Start 1 year before exam
•After every lesson
Vragen opstellen / Developing questions - overall
• (Hidden) clues within and between questions
• Avoid opinion / conviction
• Avoid detail
• Avoid triviality
• Take your time!!
• Peer – review
o
o
o
Content
Correct answer
Language / lay out…
Stem
a 20 year old man enters the emergency department with…..
Lead-in
which of the following is the most likely diagnosis?
Options
a. common cold
b. pneumonia…
c.
Vragen opstellen / Developing questions - the stem
• focus on 1 problem (avoid composite questions)
• Choose:
Complete…
o Question…
• Clear and &simple formulation
• Positive formulation
o If negative formulation is necessary: emphasize this!
• As much information as neededbalanced
o
o
(avoid superfluous information – try to reduce ‘reading time’)
o
(the stem can be long, options need to be as short as possible)
Vragen opstellen / Developing questions - the lead -in
• Grammatically correct
• Clear
• Unambiguous
Vragen opstellen / Developing questions - the options
•
•
•
•
•
•
Grammar! (grammatically consistent with stem and question)
As much as possible BUT relevant
One correct answer
Distractors (wrong options) should be ‘possible’ alternatives
All options should be of ± the same length
Order them alphabetically or in a logical order
• Inspiration for distractors:
o
o
Classic mistakes
Correct statements, but not correct in this case
Vragen opstellen / Developing questions - the options
• Avoid abbreviations, unless they are part of the course content
• Avoid overlap between options (content / numbers…)
• Avoid ‘absolute’ expressions: allways, never, rarely, most often…
•
•
•
•
but try to make them ‘concrete’
Avoid ‘none of the above’ or ‘all of the above’
Avoid combined statements / dual expressions
Avoid negative formulations / denial
Avoid grammatical, logical cues, word repeats / convergence
strategy
• No humor…
(2)
Kwaliteitscontrole / quality control
• Take your time
• Take all these tips and tricks into account
• Re-read all the questions after a couple of days
• If item already used:
o
o
o
P-value
D-value
Distribution of chosen options
• Feedback from peers / students…
2-3 maanden voor examen
Example
Een moeder komt met haar zoontje van 3 weken oud op raadpleging omdat hij
erg veel slaapt, traagjes drinkt en moeilijk stoelgang maakt. Kort na de
geboorte was hij erg geel.
De vitale functies van het jongetje zijn normaal. Bij lichamelijk onderzoek valt op
dat hij een grote fontanel, een wat brede tong en een bol buikje met een
navelbreuk heeft.
Wat is de meest waarschijnlijke diagnose?
A. Cushing syndroom
B.
C.
D.
E.
Fenylketonurie
Hereditaire sferocytose
Hypothyroïdie
Ziekte van Addison
Example
Example
Een 75-jarige obese dame (G3P2A1) ondergaat een totale knieprothese wegens
gonarthrose.
Drie dagen na ontslag wordt u als huisarts bij haar thuis geroepen omdat ze
ademhalingsgebonden pijn met prikkelhoest, tachypnoe, klamheid en lichte
temperatuur (37,5°C, axillair gemeten) heeft.
Uit de medische voorgeschiedenis weerhouden we behalve een lichte
nierinsufficiëntie geen bijzonderheden en ze neemt geen medicatie.
U hebt een sterk vermoeden van een longembool.
Welk onderzoek is overbodig alvorens een behandeling te starten?
A. Bloedgaswaarden bepalen
B. D-dimeren bepalen
C. EKG
D. RX thorax
E. Geen
Example
Vragen opstellen / Developing questions
overall
Een dame wordt sinds 7 jaar behandeld voor de ziekte van Parkinson met LDopa® aan de gebruikelijke therapeutische dosis. Zij wordt opgenomen naar
aanleiding van hevige visuele hallucinaties met intacte aandachtsfuncties. Ze
ziet dieren uit de gordijnen van haar kamer komen. Deze hallucinaties
hebben een werkelijkheidskarakter en zijn voor de patiënte zeer
beangstigend.
Welke twee therapeutische maatregelen zijn het meest aangewezen?
a)
b)
c)
d)
e)
f)
g)
Associeer een neurolepticum, vb Haldol ®
Associeer een tranquilizer, vb Seresta ®
Stop de Parkinson-medicatie
Stop de Parkinson-medicatie en schakel over op anticholinergica
Stop de Parkinson-medicatie en schakel dan over op een ander Dopa-agonist
Voeg Clonazine ® als neurolepticum toe
Voeg een anticholinergicum toe
Een dame wordt sinds 7 jaar behandeld voor de ziekte van Parkinson met LDopa® aan de gebruikelijke therapeutische dosis. Zij wordt opgenomen naar
aanleiding van hevige visuele hallucinaties met intacte aandachtsfuncties. Ze
ziet dieren uit de gordijnen van haar kamer komen. Deze hallucinaties
hebben een werkelijkheidskarakter en zijn voor de patiënte zeer
beangstigend.
Welke twee therapeutische maatregelen zijn het meest aangewezen?
a)
b)
c)
d)
e)
f)
g)
Associeer een neurolepticum, vb Haldol ®
Associeer een tranquilizer, vb Seresta ®
Stop de Parkinson-medicatie
Stop de Parkinson-medicatie en schakel over op anticholinergica
Stop de Parkinson-medicatie en schakel dan over op een ander Dopa-agonist
Voeg Clonazine ® als neurolepticum toe
Voeg een anticholinergicum toe
Klara, 32 jaar, is 3 maanden zwanger en consulteert omwille van pollakysurie.
Het microscopisch onderzoek van haar urine toont een aanwezigheid van
meer dan 100.000 kiemen en van > 40 WBC/ veld.
Je geeft haar…
a)
b)
c)
d)
e)
f)
Amoxicilline 500 mg x 3/dag
Behandelen na bepaling van antibiogram
Niet behandelen
Nitrofurantoïne®
Zoroxin ®
Bactrim ®
Klara, 32 jaar, is 3 maanden zwanger en consulteert omwille van pollakysurie.
Het microscopisch onderzoek van haar urine toont een aanwezigheid van
meer dan 100.000 kiemen en van > 40 WBC/ veld.
Je geeft haar…
a)
b)
c)
d)
e)
f)
Amoxicilline 500 mg x 3/dag
Behandelen na bepaling van antibiogram
Niet behandelen
Nitrofurantoïne®
Zoroxin ®
Bactrim ®
Jos, 48 jaar, voelt zich gedeprimeerd. Hij klaagt van insomnie en voelt zich
overdag heel moe. Hij beleeft geen plezier meer en voelt zich hierover steeds
meer en meer schuldig. Soms ziet hij het helemaal niet meer zitten en hij
heeft zelfs al zelfmoordgedachten gehad. Hij kan zich bovendien moeilijk
concentreren op het werk en vergeet veel.
Wat is de meest waarschijnlijke diagnose?
a)
b)
c)
d)
e)
f)
Benigne vergeetachtigheid
Bipolaire stoornis
Dementie
Gegeneraliseerde angststoornis
hypochondrie
Majeure depressie
Jos, 48 jaar, voelt zich gedeprimeerd. Hij klaagt van insomnie en voelt zich
overdag heel moe. Hij beleeft geen plezier meer en voelt zich hierover steeds
meer en meer schuldig. Soms ziet hij het helemaal niet meer zitten en hij
heeft zelfs al zelfmoordgedachten gehad. Hij kan zich bovendien moeilijk
concentreren op het werk en vergeet veel.
Wat is de meest waarschijnlijke diagnose?
a)
b)
c)
d)
e)
f)
Benigne vergeetachtigheid
Bipolaire stoornis
Dementie
Gegeneraliseerde angststoornis
hypochondrie
Majeure depressie
Lokale anesthetica zijn het meest werkzaam in de….
a)
b)
c)
d)
e)
Anionische vorm, waarbij ze binnen de zenuwmembraan werken
Kationische vorm, waarbij ze binnen de zenuwmembraan werken
Kationische vorm, waarbij ze aan de buitenzijde van de zenuwmembraan
werken
Ongeladen vorm, waarbij ze binnen de zenuwmembraan werken
Ongeladen vorm, waarbij ze aan de buitenzijde van de zenuwmembraan
werken
Lokale anesthetica zijn het meest werkzaam in de….
a)
b)
c)
d)
e)
Anionische vorm, waarbij ze binnen de zenuwmembraan werken
Kationische vorm, waarbij ze binnen de zenuwmembraan werken
Kationische vorm, waarbij ze aan de buitenzijde van de zenuwmembraan
werken
Ongeladen vorm, waarbij ze binnen de zenuwmembraan werken
Ongeladen vorm, waarbij ze aan de buitenzijde van de zenuwmembraan
werken
Wat is de kans op infertiliteit bij een vrouw met een secundaire episode van
infectie?
a)
Minder dan 20%
b)
20-30%
c)
Meer dan 50%
d)
90%
e)
75%
Wat is de kans op infertiliteit bij een vrouw met een secundaire episode van
infectie?
a)
Minder dan 20%
b)
20-30%
c)
Meer dan 50%
d)
90%
e)
75%
Welke van onderstaande is geen preventieve maatregel om de Mexicaanse griep
te vermijden?
a)
Geen handen schudden
b)
Gezonde voeding
c)
Regelmatig handen wassen
d)
Regelmatig klinken afwassen
Welke van onderstaande is geen preventieve maatregel om de Mexicaanse griep
te vermijden?
a)
Geen handen schudden
b)
Gezonde voeding
c)
Regelmatig handen wassen
d)
Regelmatig klinken afwassen
The way to a man’s heart is through his
a)
b)
c)
d)
Aorta
Pulmonary arteries
Pulmonary veins
Stomach
Tijdskader / timing
Item writing
12-6 months
before exam
Peer review
items
Deliberations
12-2 months
before exam
Blueprint
1-2 years
Item selection /
composing
exam
Review every
3-4 years?
Itemanalysis /
feedback
1-2 month
before exam
exam
Peer review
exam
1 month before
Ondersteuning
• [email protected] &
[email protected]
• DOeL (print & scan):
o
[email protected]