Transcript การวิเคราะห์ข้อสอบ MCQ

ทำไมจึงต้องวิเครำะห์ขอ้ สอบ
1. ปรับปรุงข้อสอบ
•
•
•
•
•
ภำษำ
คำตอบที่ถูกต้อง
ควำมยำกง่ำย
อำนำจจำแนก
ประสิทธิภำพของตัวลวง
2. ปรับปรุงวิธีจดั กำรเรียนกำรสอน
3. ค้นหำข้อบกพร่องในกำรเรียน
อรุณี วชิ ราพรทิ พย์
วิเครำะห์อะไร
1. เชิงคุณภำพ
• ครอบคลุมเนื้อหำและวัตถุประสงค์(Content
Validity)
• คำตอบที่ถูกเป็ นที่ยอมรับ(Objectivity)
• เกณฑ์กำรให้คะแนน(Objectivity)
• ควำมยำกง่ำย (Difficulty)
• ภำษำที่ใช้ (Comprehensiveness)
อรุณี วชิ ราพรทิ พย์
วิเครำะห์อะไร
2. เชิงปริมำณ
• รำยข้อ
• มีคนตอบถูกหรือไม่ เท่ำไหร่ (p)
• คนเก่งและอ่อนตอบถูกแตกต่ำงกันหรือไม่ (r)
• ตัวลวงแต่ละตัวมีคนตอบหรือไม่
• ทั้งฉบับ
• กำรกระจำยของคะแนนรวมเป็ นอย่ำงไร
• ผลกำรสอบเชื่อถือได้แค่ไหน(Reliability)
• มีขอ้ ผิดพลำดจำกำรวัดเท่ำใด(Error of Measurement)
อรุณี วชิ ราพรทิ พย์
ลักษณะข้อสอบที่ดี

Validity

Reliability

Objectivity

Comprehensiveness

Practicability

Good level of difficulty

Good discrimination power
กำรวิเครำะห์ขอ้ สอบ
1. กำรวิเครำะห์ขอ้ สอบทั้งฉบับ
2. กำรวิเครำะห์ขอ้ สอบรำยข้อ
กำรวิเครำะห์ขอ้ สอบทั้งฉบับ

Mean, SD

Median

Mode

Range : Max - Min

Standard error of measurement ( SEM )

Reliability ( rtt : KR-21, KR- 20 )

Difficulty index ( p )

Discrimination power ( r )

MPL =  (AI )
n
Reliability
Validity v.s Reliability
not Valid,
not Reliable
not Valid,
Reliable

Valid, Reliable
Reliability ( rtt )
K-R 21
K-R 20
=
n
x
(n-x)
1nSx2
n-1
=
n

piqi
1Sx2
n-1
2
n

S
1
1
Cronbach’ s coefficient -  =
S2x
n-1
ปั จจัยที่มีผลต่อค่ำควำมเชื่อถือได้
ควำมยำวของแบบทดสอบ
( คำถำมมำกข้อ ควำมเชื่อได้สูง )
กำรกระจำยของคะแนน
( กระจำยมำก ควำมเชื่อได้สูง )
ควำมเชื่อถือได้
ควำมยำกง่ำยของข้อสอบ
( ยำกง่ำยปำนกลำง ควำมเชื่อได้สูง )
กำรตรวจให้ คะแนน
( ข้อสอบ MCQ ควำมเชื่อได้สูงกว่ำ Essay )
กำรแปลผลค่ำ Reliability ( KR-20 )
National Board of Medical Examiner ( NBME ) :



Reliability ต ่ำกว่ำ 0.70 ไม่ควรใช้ในกำรประเมินผล
ทั้งรำยบุคคลและรำยกลุ่ม
ถ้ำต้องกำรเปรียบเทียบ performance ของกลุ่ม

้
้
Reliability จะต้องมีค่ำตังแต่ 0.70 ขึนไป
ถ้ำต้องกำรจำแนกควำมแตกต่ำงระหว่ำงบุคคล
Reliability จะต้องมีค่ำตัง้ แต่ 0.90 ขึ้นไป
Standard Error of Measurement ( SEM )
ตัวอย่ำง : ในกำรสอบ MCQ วิชำกุมำรเวชศำสตร์ กำรวิเครำะห์
ทำงสถิติ พบว่ำค่ำ Mean = 58, SD = 6.67 และ rtt = 0.64
SEM = SD  1 – rtt
= 6.67  1 - 0.64 = 4
นศพ. ก. สอบได้ 48 คะแนน (Obtained Score)
คะแนนจริง (True Score)
True Score = Obtained Score  t α.05 x SEM
= 48  (1.96 x 4) = 40 - 56
2. กำรวิเครำะห์ขอ้ สอบรำยข้อ
( Item Analysis )
กำรวิเครำะห์ก่อนสอบ
Criterion - referenced[MPL]
Pretest Analysis
The task should be done by the teachers
to evaluate the test to be used in term of :
 Validity
 Difficulty factor (DF) / Acceptability index (AI)
 Minimum pass index (AI)
Angoff Method
• กำรตัดสินใช้พิจำรณำ performance ของนักศึกษำที่
กำรเรียนอยูใ่ นระดับคำบเส้น (marginal)
• หำ probability ทีน่ กั ศึกษำคำบเส้นจะตอบข้อสอบแต่
•
ละข้อได้ถูกต้อง
รวบรวมคะแนน probability จำกกรรมกำรหลำยๆคน
แล้วนำมำหำค่ำเฉลี่ยเป็ น MPL
Modified Angoff Method
กลุม่ ที่คำบเส้นควรจะตอบข้อสอบแต่ละข้อได้อย่ำงน้อยร้อยละเท่ำใดของ
คะแนนเต็ม 1.00
Question
1
2
3
4
5
6
7
8
9
10
Expected passing score = 60%
Probability for Correct Answer
.75
.75
.60
.60
.50
.40
.75
.75
.50
.40

Sum 6.00
กำรวิเครำะห์ขอ้ สอบหลังสอบ
(Posttest Analysis)
Item analysis
base on student,
at one point in the time,
reflecting some characteristics
of the item
กำรวิเครำะห์ขอ้ สอบรำยข้อ (Item Analysis)

ดัชนีควำมยำก (Difficulty Index, p)

อำนำจจำแนก (Discrimination Index , r)

ประสิทธิภำพของตัวลวง (Distracters)
แบ่ งกลุ่ม
สูง
ต่ำ
87
83
81
80
80
80
80
79
79
78
76
76
75
73
73
73
73
.
72
.
72
.
71
.
.
.
.
.
47
46
46
45
45
45
45
44
42
42
42
41
39
39
39
39
38
37
33
31
H 27%
H 33%
H 50%
L 50%
L 33%
L 27%
อรุณี วชิ ราพรทิ พย์
กำรคำนวณค่ำ p และ r
Item # 41
A
High 13
( n = 53 )
Low
( n = 53 )
P
=
H+L
2n
r
=
H–L
n
3
6
0.08
- 0.06
B
C

D
** E
4
3
3
40
1
9
8
29
0.04
0.11
0.10
0.65
0.05
- 0.12
- 0.09
0.20
Item Discrimination Index
Point BIserial Correlation( rpbs )
What does the point biserial measure ?
The relationship between two variables, a categorical variable
(i.e., the student either answered the test item correctly or
incorrectly), with a continuous variable(i.e., percent score on the
examination).
How do you interpret a point biserial correlation?
As with all correlation indices, the point biserial ranges
from –1.00 to +1.00.
A positive point biserial tells us that those scoring higher on
the exam were more likely to have better item “discriminates”
between high-scoring and low-scoring students).
www.som.tulane.edu.
To calculate the rpbi for each item, use the following formula:
rpbi
= Mp–Mq
St
 pq
rpbi = point-biserial correlation coefficient
Mp = whole-test mean for students answering item correctly
(i.e., those coded as 1s)
Mq = whole-test mean for students answering item incorrectly
(i.e., those coded as 0s)
St =
standard deviation for whole test
p=
proportion of students answering correctly (i.e., those
coded as 1s)
q=
proportion of students answering incorrectly (i.e., those
coded as 0s)
Uses of Indices : Review of Question
Difficulty Index (p) = R / T x 100
(20)30
40
Difficult
50
60
Recommended
Acceptable
70(80)
Easy
Uses of Indices : Review of Question
Discrimination Index (r) = H-L x 100
N

0
0.05
0.15
0.25 0.35
(0.20)
Discard
(most likely)
Revise
Good
Excellent
ต ัวอย่างการวิเคราะห์ขอ
้ สอบ
II. Mechanisms of Disease
หญิงอำยุ 50 ปี อำชีพทำสวน มำด้วยอำกำรคันและปวดเล็กน้อย ที่
บริเวณข้อเท้ำซ้ำยด้ำนหลัง ตรวจพบว่ำมีรอยแดง ๆ เป็ นเส้นคดเคี้ยว ยำว
ประมำณ 7 ซม.
อำกำรของผูป้ ่ วยเกิดจำกพยำธิชนิดใด
เฉลยผิด ???
A.
Toxocara canii
B.
Trichinella spiralis
ยากมาก ตอบตาม
C. Strongyloides stercoralis
ทีเ่ คยเรียน
D. Gnathostoma spinigerum
E. Angiostrongylus cantonensis
Group
Upper
Middle
Low
P
R
A
3
3
3
0.06
0.00
B
4
4
4
0.07
0.00
*C
4
4
6
0.09
- 0.04
D
38
38
34
0.67
0.07
E
5
6
7
0.11
- 0.04
ข้อควรระวังในกำรแปลผลกำรวิเครำะห์ขอ้ สอบ (r)
1.ค่ำอำนำจจำแนกข้อสอบ(r) ไม่ได้บ่งชี้ item validity
2.ข้อสอบที่มี r ต ่ำไม่ได้บอกว่ำเป็ นข้อสอบที่ดอ้ ย
คุณภำพ
ปั จจัยที่มีผล
• ควำมยำกง่ำยของข้อสอบ
• ลักษณะของกลุม่
3. ผลวิเครำะห์ขอ้ สอบจำกกลุม่ ตัวอย่ำงขนำดเล็กจะ
ไม่น่ำเชื่อถือ
อรุณี วชิ ราพรทิ พย์
สรุป
1. ค่ำสถิตทิ ี่ได้จำกกำรวิเครำะห์ขอ้ สอบเป็ นผล ซึ่งจะ
นำไปหำเหตุ
2. ค่ำ p ที่บอกว่ำข้อสอบนั้น ยำกหรือง่ำย มิได้บอกว่ำ
ข้อสอบนั้น ดี หรือ เลว
3. ค่ำ p เท่ำใดจึงเหมำะสม ขึ้นอยูก่ บั วัตถุประสงค์ของ
กำรสอบ
4. แบบสอบอิงเกณฑ์ p สำคัญกว่ำ r ค่ำ p ควรจะสูง
5. แบบสอบอิงกลุ่ม r สำคัญกว่ำ p ค่ำ p ต้องพอเหมำะ
6. สิ่งที่สำคัญที่สุดของข้อสอบคือ Validity
อรุณี วชิ ราพรทิ พย์
จุดเด่นและจุดอ่อนของ MCQ
ข้อสอบปรนัย (MCQ)
จุดเด่น






ครอบคลุมเนื้อหำได้ทั ่วถึง
ไม่ตอ้ งอ่ำนลำยมือของนักศึกษำ
ตรวจและให้คะแนนได้ง่ำย
ให้คะแนนได้อย่ำงยุติธรรม
มีควำมเชื่อถือได้สูง
สำมำรถเก็บเข้ำคลังข้อสอบได้ง่ำย
ข้อสอบปรนัย (MCQ)
จุดอ่อน






ไม่สำมำรถทดสอบวิธีกำรคิดอย่ำงเป็ นระบบได้
ไม่สำมำรถวัดควำมสำมำรถในกำรหำข้อมูลได้
มีแนวคำตอบให้เลือกอยูแ่ ล้ว
เปิ ดโอกำสให้เดำได้มำก
เสียเวลำมำกในกำรสร้ำงข้อสอบที่ดี
นักศึกษำมักพยำยำมจำข้อสอบ