Transcript 下載/瀏覽Download

多向度IRT連結方法比較
國立臺南大學 測驗統計研究所 碩士論文
指導教授：鄒慧英
徐秋月
作
者：王苑菘
報告人：陳冠宇
1
Outline
1.
2.
3.
4.
5.
緒論
文獻探討
研究設計
結果與討論
結論與建議
2
1. 緒論 (1/2)
• 心理計量理論
– 古典測驗理論 (Classical Test Theory, CTT)
– 試題反應理論 (Item Response Theory, IRT)
3
1. 緒論 (2/2)
• 回答試題需要幾種知識或技能？
• 多向度試題反應理論
(Multidimensional Item Response Theory, MIRT)
• 多向度連結法
4
1.1 研究目的
• 操弄變數：
– 樣本大小
– 共同測驗向度性結構
– 受試者能力分配
• 連結方法：
– 同時估計
– Oshima多向度連結法
– Reckase多向度連結法
5
1.2 研究問題
1) 不同連結群體母群分配條件下，哪個連結方
法表現較佳？
2) 個別估計而後連結的多向度連結方法表現是
否會隨著樣本規模提升而有所改善？
3) 不同測驗試題結構是否會影響連結方法表現
的形組？不同測驗試題結構是否會照成額外
的改變？
6
2.1 多向度試題反應理論模式
• 試題反應理論(IRT) ：  j  P( X ji  1|  j ) …(1)
• 多向度試題反應理論(MIRT) ：
 j   j1 , j 2 ,..., jM 
…(2)
θ：受試者的能力值
P(θ)：能力值θ的受試者答對該題的機率
7
2.1.1 MIRT的一般假設
• 受試者i與受試者j的差異：
 jk 
M
 (
g 1
jg
  kg )
2
…(3)
• 原點：平均數
• 單位：標準差
• 方向：適當挑選
8
2.1.2 MIRT的特定模式(1/4)
• 補償性多向度二參數羅吉斯模式(M2PL) ：
ai j  di
e
p(ui  1|  j ) 
ai j  di
1 e
…(4)
ai ：對應座標向度上位置改變答對機
率改變的比例的參數向量
d i ：試題難度參數
9
2.1.2 MIRT的特定模式(2/4)
• 多向度常態肩型二參數模式：
p(ui  1|  j )  
aii  di

t2
2
1
e dt
2
…(5)
10
2.1.2 MIRT的特定模式(3/4)
• 補償性多向度三參數羅吉斯模式(M3PL) ：
ai j  di
e
p(ui  1|  j )  ci  (1  ci )
ai j  di
1 e
…(6)
11
2.1.2 MIRT的特定模式(4/4)
• 非補償性多向度三參數模式：
m
1.7 ail jl  dil
e
p(ui  1|  j )  ci  (1  ci )
1.7 ail jl  dil
l 1 1  e
…(7)
12
2.1.3 MIRT試題特徵的描述
方向餘弦
cos  ih 
aih
m
 aih
2
…(8)
h 1
多向度難度
MDIFF 
di
m
 aih
2
…(9)
h 1
多向度鑑別度 MDISC 
m
 aih
2
…(10)
h 1
13
2.2 MIRT模式參數估計
• 最大概似法
• 最大後驗貝氏法
• 最小平方法
• 常用估計軟體：
– TESTFACT
– NOHARM
14
2.2.1 TESTFACT
•
Bock et al (2003)
• 估計二參數常態肩型MIRT模式
• 試題參數：邊際最大概似法
• 個人參數：貝式估計法
15
2.2.1 NOHARM
• Fraser (1998)
• 試題參數：未加權最小平方法、準牛頓法
• 個人參數：X
• 假設：受試反應的獨立性
• 定錨試題
16
2.3 多向度連結方法
(a)
單
向
度
連
結
的
概
念
(b)
多
向
度
連
結
的
概
念
(Min, 2007)
17
2.3.1 多向度連結方法發展現況
•
•
•
•
Hrish (1989)
Thompson et al (1997)
Li & Lissitz (2000)
Oshima et al (2000)
– 測驗特徵函數法(Test characteristics function, TCF)
• Min (2003)
• Reckase (2005)
– 斜交Procrustes轉軸法
18
2.4 同時估計與個別估計而後連結
• 單向度架構下的比較
• 轉軸程序
–正交轉軸
–斜交轉軸
19
2.5 測驗結構
• 簡單結構(Simple structure, SS)
• 近似簡單結構(Approximately simple
structure, APSS)
• 複雜結構(Complex structure, MS)
20
3. 研究設計
• 使用同一份測驗
• 隨機抽取兩個群體的能力向量
• 二向度二參數羅吉斯模式 (2D-M2PL)
• 使用NOHARM進行連結
• 計算連結偏誤與均方跟誤差
21
3.1.1 測驗結構
結構
題組
題數
向度
角度
APSS
組一
10
第一
0~20
組二
10
第二
70~90
組一
5
第一
0~20
組二
5
25~45
組三
5
第二
X
組四
5
X
70~90
MS
45~65
22
3.1.2 試題參數真值
測驗結構的示意圖
23
3.1.3 試題參數真值
24
3.1.4 受試者能力分配
25
3.2 連結程序
• 個別估計而後連結
– 測驗特徵法(TCF)
– 斜交Procrustes轉軸法
• 同時估計
– 參照群體
– 轉換群體
(Varimax正交轉軸、Promax斜交轉軸)
26
3.3 評鑑準則
 *

a

a
ik 
n  ik


Bias

…(11)
連結偏誤

n
i 1
1
2 2
 n  *
 
   aik  aik  

i 1 


均方根誤差 RMSE 
…(12)


n 1




aik
*
第i題在第k個向度的試題參數
aik 轉換值
27
3.4 研究流程
28
4. 結果與討論
轉換群體能力分配對量尺的效果
群體
群體一
群體二
群體三
群體四
群體五
原點
無
偏移
無
偏移
偏移
量尺扭曲
座標方向
無
無
中度
高度
中度
單位大小
無
無
無
無
有
29
4.1 能力分配 vs. 參數a
1
30
4.2 能力分配 vs. 參數a
2
31
4.3 能力分配 vs. 參數d
32
4.4 能力分配 vs. MDISC
33
4.5 能力分配 vs. MDIFF
34
4.6 樣本規模 vs. MDISC
35
5.1 研究結論
• 群體能力分配方面
• 樣本規模方面
• 測驗結構方面
36
5.2 研究限制
1. 模擬資料無法包函所有情況
2. 軟體的限制
37
5.3 研究建議
1. 參照樣本的選取
2. 探討其他可能影響多向度連結的因數
3. 探討其他多向度連結方法的表現
4. 模擬研究資料的擴展
38
結
束～
謝謝大家！
39