Transcript 教材一 - 數學教師知識庫

數學領域二階段電腦化診斷測驗
暨補救教學系統之建構
臺中教育大學教育測驗統計研究所
施淑娟
[email protected]
Outline
• 研究源起
• 系統建構的理論基礎
– 以貝氏網路為基礎的認知診斷模式
– 二階段測驗
– 認知衝突策略
• 系統之建構
• 診斷工具的品質衡鑑
• 教學工具成效分析
Case 041
研究源起
因應教育改革
的潮流
協助教師突破
數學教學困境
提昇現有系統
之成效
因應教育改革的潮流
• 美國No Child Left Behind Act of 2001法案－縮短
孩子的學習成就差距，讓每一個孩子都不落後。
• 國內的九年一貫課程－落實把每個學生帶上來的
理念
• 為了達成上述目標，彌平學生的個別差異，規劃
並建立完整的補救教學系統，使個體的學習困難
獲得改善，成為國內外基礎教育的重要課題。
因應教育改革的潮流
• 其中，學生最需要補救教學的科目就是數學
資料來源：陳淑麗（2008）。國小弱勢學生課業輔導現況調查之研究。
如何有效進行數學補救教學?
• 必須有精確而有效的學習困難診斷機制
• 必須提供適切的補救教材
學生
數學
診斷
數學測驗診
斷報告書
是否通過
是
學習下一單元
否
實施數學補救
教學流程
圖一 完整的數學領域補教教學歷程
6
這也是教學現場的教師最缺乏的
• 教師執行
補救教學
希望獲得
的協助
資料來源：陳淑麗（2008）。國小弱勢學生課業輔導現況調查之研究。
協助教師突破數學教學困境
• 建置一套有效的數學領域線上診斷評量與
補救教學系統，輔助數學教師，更有效率
地將補救教學的理念落實於數學領域，進
而提升學生的數學學習成效與學習興趣，
有其必要性。
先前努力的成果
以知識結構為基礎的適性測驗(Knowledge
Structure Based Computerized Adaptive
Testing System, KSAT)
MFT (Mathematics for Taiwan)
以貝氏網路為基礎的適性測驗(Bayesian
Network based Computerized Adaptive
Testing System, BNAT)
KSAT
BNAT
先前研究的問題
• 以貝氏網路為基礎的適性診斷測驗均採用傳
統單一階段選擇題型來進行設計，在測驗實
務上常會發生猜測、多種錯誤類型導致相同
答案等無法區辦的現象，導致貝氏網路診斷
模式因為測驗資料的誤差，降低其診斷效果
，在診斷的準確性方面仍有改善空間
• 補救教學媒體的設計僅針對概念細目採直接
教學法再教一次，對於破除學生的迷思概念
可能效果有限
提昇現有系統之成效
新系統－二階段電腦化診斷測驗暨補救教學
系統使用以下策略進行改進：
•採用二階段試題的新測驗型態，使其能提供
更精確的測驗資料作為貝氏網路診斷模式的
推論證據，進而提升貝氏網路診斷模式的診
斷效果
•採用認知衝突策略，針對錯誤類型設計補救
教學媒體
系統建構的理論基礎I
貝氏網路的概念
• 以貝氏網路為基礎的認知診斷模式
– 貝氏網路是指結合條件機率與圖形理論的網路模式
，是一種非常強大的知識表現方法和推論工具，可
說明變數間相互影響程度的機率關係與變項表現之
機率
– 一種由節點與連結所組成的非循環的有向圖（
directed acyclic graphs,簡稱DAGs），其中節點
代表所欲研究的變項，連結代表變項間的影響關係
，影響的強度則以條件機率的方式表徵。
系統建構的理論基礎I
• 貝氏網路可進行證據傳導(觀測到某些證據後，如
何更新整個網路的機率分布) ，其更新機率的基礎
是貝氏定理，它也因此得名。
p ( z | x) 
p( x z ) p( z )
p ( x)
貝氏網路常見的證據傳導方法
• 信息傳遞法(message passing) (Pearl 1988)
• 區塊樹法(trees of cliques) [應用最廣]
(Lauritzen & Spiegelhalter 1988) (Jensen 1996)
• 質之傳遞(qualitative propagation) (Henrion &
Druzdzel 1990)
• 馬可夫鍊蒙地卡羅法(Markov Chain Monte
Carlo : MCMC) (Gelman, Carlin, Stern, & Rubin,
1995)
•
•
貝氏網路之證據傳導
鏈狀(chain) 貝氏網路之推論
樹狀(tree) 貝氏網路之推論
多重連結貝氏網路之推論
鏈狀貝氏網路之推論
• 假定觀察到x的值
根據新的x ,使用
貝氏定理
P (v | x ) 
P (v ) P ( x | v )
P( x)
更新v的機率
更新x的機率
分布
根據更新的x,以
條件機率更新y
的 機率分布
Y
X
V
p(x|v)
p(y|x)
已知”因”,更新”果”
P( x, y)new  P( y x) p( x)new
Y=y1
Y=y2
Total
X=x1
p(x1,y1) p(x1,y2)
p(x1)
X=x2
p(x2,y1) p(x2,y2)
p(x2)
X=x3
p(x3,y1) p(x3,y2)
p(x3)
Total
p(y1)
p(y2)
已知”果”,更新”因”
1.
P (v ) P ( x | v )
P(v | x) new 
P( x) new
2.正規化
樹狀貝氏網路之推論
根據新的證據X
使用貝氏定理
V
U
更新V的機率
診
斷
預
測
根據更新之X,
以條件機率更新
Z之機率分配
X
Y
預
測
預
測
Z
多重連結貝氏網路
貝氏網路中至少有一頂點間不只一親代者，稱
為「多重連結貝氏網路」
多重連結貝氏網路無法直接重複使用貝氏定理與
條件機率進行證據傳導(Jensen, 1996)
可以上述簡單的證據傳導方法為基礎,先將變項群
組為幾個區塊(clique)子集，使得每一區塊子集
組成一樹狀貝氏網路，則區塊內之變項可利用上
述樹狀貝氏網路證據傳導規則進行機率更新，並
透過區塊交集進行區塊間之證據傳導，最後更新
整個網路變項機率。此方法稱為區塊樹法((trees
of cliques)
多重連結貝氏網路示例
• 關鍵:必須先將
W
•
變項分成區塊,
•
再使區塊形成一
•
樹狀BN,再用區塊
•
與區塊的交集
•
傳遞更新後的機率
U,V,W
V
U
X
Y
U,V,X
Z
U,X,Y
X,Z
一個簡單的例子
三角化
錯誤類型1
試題一
錯誤類型2
試題二
錯誤類型1
試題一
錯誤類型2
試題二
決定區塊(clique)與區塊交集
錯誤類型1
錯誤類型2
錯誤類型1
錯誤類型2
錯誤類型1
錯誤類型2
和
試題一
試題二
試題一
試題二
試題一
試題二
轉換為聯合樹( Join tree )表徵
聯合樹表徵清
楚展現一個單
一系列連結的
區塊與區塊交
集結構
錯誤類型1
錯誤類型2
試題一
錯誤類型1
錯誤類型2
錯誤類型1
錯誤類型2
試題二
先驗機率分布
後驗機率分布
• 變項的初始聯合機率分布 ，如表2
• 利用區塊交集傳遞已觀察到的證據資訊，以更新
所有未觀察節點之機率
p1 (錯誤類型1, 錯誤類型2, 試題二)
p0 (錯誤類型1, 錯誤類型2, 試題二)
[
] p1 (錯誤類型1, 錯誤類型2)
p0 (錯誤類型1, 錯誤類型2)
• 以後驗機率更新架構，如表3
二階段試題
二階段測驗
• 有些學者提倡發展二階段(two-tier)概念診斷測驗
(Odom & Barrow, 1995; Treagust, 1988, 1997)。所謂
二階段測驗，是根據題目作為評量學生是否能對
某方面概念理解的依據，在題目中，第一階段的
事實選項包含了學生對內容的回答， 而第二階段
的理由選項則是對第一階段的回答所秉持的理由
，其選項設計來自對學生的晤談、教師教學的經
驗、以及先前的研究（蕭志芳，2003）。此種評
量工具的優點， 除了教師與研究者不必依靠繁瑣
費時的晤談工作就可以診斷學生的學習情況， 還
可以減低學生作答的猜對率，提高題目評量的效
果。
二階段測驗試題發展類型(吳能州，2003)
• 第一類型：第一階層試題與第二階層試題
皆為單選題，第二階層選項不會隨學生第
一階層作答答案而改變。
• 第二類型：一階層試題為單選題、另一階
層試題為複選題，第二階層選項不會隨學
生第一階層作答答案而改變
• 第三類型：第一階層試題與第二階層試題
皆為單選題，第二階層選項隨學生第一階
層作答答案而改變。
第一類型舉例(唐健文，2001)
第二類型舉例(陳業勇，2001)
第三類型舉例(吳能州，2003)
• 採用第三種類型及電腦化診斷測驗設計具
有以下優點：
– 降低學生閱讀試題的負擔
– 避免學生由第二階段的理由回推第一階段的答
案
認知衝突策略
• 在學習過程中， 引發一情境使學習者對於
自身所持的想法與正統理論或環境中的事
件不一致或對同一情境抱持兩種矛盾的看
法， 使得學習者產生失衡的現象， 進而
透過認知調整教學， 重建其原有的認知結
構。
• 常用策略：異例法、討論法、電腦模擬法
認知衝突策略
• 劉曼麗（2002）
– 二對一法
– 反向法
– 一對多法
– 引入參考值法
– 表徵法
系統之建構
確定主題
確定命題陳述
確定知識結構圖
專家效度
文獻探討
確定該數學
概念的知識
發展開放式試題
二階段試題
編製流程
預試
可能產生的
錯誤類型
修正
發展二階段電腦
化線上測驗工具
錯誤類型
與子技能對應表
專家效度
正式施測
分析錯誤概
念及其成因
以六年級時間的計算單元為例
• 編製專家知識結構
• 每一個節點進行二階段試題命題，第二階段為開
放式題型
以六年級時間的計算單元為例
紙筆測驗預試對象
苗栗縣、彰化縣及雲林縣的國小六年級十二個
班級，共328位受試者
• 統計學生的理由選項及其所對應的錯誤類
型，編製成正式的二階段電腦化診斷測驗
預試結果分析
•信度： Cronbach α值＝ .841
•效度：專家效度。
•通過率：第一階段正確的通過率在29.9 ~
97.9之間，平均值是87.5；兩階段都正確
的通過率在28.0 ~ 97.9之間，平均值是
82.2。
• 鑑別度：第一階段正確的鑑別度在-0.025
~ 0.561之間，平均值是0.419；兩階段都
正確的鑑別度在0.233 ~ 0.565之間，平均
值是0.439。
以六年級時間的計算單元為例
電腦施測畫面I
電腦施測畫面II
正式施測對象
台中縣市及台南縣的國小六年級十二個班級，
共370位受試者。
診斷工具的品質衡鑑
• 信度： Cronbach α值＝ .872
• 通過率：在43.8 ~ 89.2之間，平均值是
75.3。
• 鑑別度：在0.125 ~ 0.575之間，平均值是
0.470。
效度分析－評估診斷正確率
• 三種貝氏網路認知診斷模型
•模式1：只用第一階段試題（參照組）
•模式2：一二階段試題聯合判斷試題
•模式3：第二階段證據也當試題
模式1之貝氏網路圖
Item
Bug
Item1
Item2
Item3
Item4
Item5
Item6
Item7
Item8
Item9
Item10
Item 11
Item 12
Item 13
Item 14
Item 15
Item 16
Item 17
Item 18
Item 19
Item 20
Item 21
Skil
l
S1
B1
B2
B3
B4
B5
B6
B7
B8
B9
B10
B11
B12
B13
B14
B15
B16
B17
B18
B19
B20
B21
B22
B23
B24
B25
B26
B27
B28
S2
S3
S4
S5
S6
S7
S8
S9
S10
S11
S12
S13
S14
S15
S16
S17
S18
S19
S20
S21
模式2之貝氏網路圖
Item
Bug
1，1-2
B1
Skill
S1
B2
2，2-2
S2
20，20-2
S20
B27
21，21-2
B28
S21
模式2之證據計分方式
模式3之貝氏網路圖
Item
Bug
1
B1
2
B2
Skill
S1
S2
21
1-2
2-2
S20
B27
21-2
B28
S21
• 計算診斷正確率之公式如下：
三種不同模式的
貝氏網路診斷正確率之比較
結構模式名稱
錯誤類型
子技能
診斷正確率 診斷正確率
整體診斷
正確率
模式1
0.9265
0.8960
0.9134
模式2
0.9558
0.9365
0.9476
模式3
0.9560
0.9337
0.9464
二階段試題之貝氏網路診斷模式辨識率高於一階段試題
模式2之辨識率與模式3相近
The classification accuracy of bugs
bug1
bug2
bug3
bug4
bug5
bug6
bug7
Model1
0.5393
0.9877
0.5271
0.9939
0.9329
0.9969
0.9757
Model2
0.9420
0.9877
0.9573
0.9908
0.9329
0.9909
0.9726
Model3
0.9420
0.9817
0.9482
0.9938
0.9329
0.9969
0.9757
bug10
bug11
bug12
bug13
bug14
bug8
bug9
Model1
0.9938
0.9695
0.9025
0.9938
0.9909
0.9484
0.9939
Model2
0.9938
0.9695
0.9026
0.9938
0.9909
0.9423
0.9939
Model3
0.9938
0.9695
0.8873
0.9938
0.9909
0.9514
0.9939
bug15
bug16
bug17
bug18
bug19
bug20
bug21
Model1
0.9483
0.9787
0.9513
0.9238
0.9939
0.9970
0.9695
Model2
0.9422
0.9848
0.9513
0.9238
0.9939
0.9970
0.9665
Model3
0.9483
0.9787
0.9513
0.9236
0.9939
0.9970
0.9695
bug22
bug23
bug24
bug25
bug26
bug27
bug28
Model1
0.8352
0.9969
0.9331
0.9786
0.8812
0.9757
0.8324
Model2
0.8444
0.9969
0.9331
0.9786
0.8781
0.9726
0.8445
Model3
0.8290
0.9969
0.9331
0.9786
0.8812
0.9757
0.8537
55
The classification accuracy of sub-skills
s1
s2
s3
s4
s5
s6
s7
Model1
0.5424
0.5210
0.9787
0.9726
0.9817
0.9756
0.9665
Model2
0.9451
0.9573
0.9787
0.9787
0.9817
0.9756
0.9695
Model3
0.9451
0.9634
0.9787
0.9726
0.9817
0.9756
0.9665
s8
s9
s10
s11
s12
s13
s14
Model1
0.9939
0.7189
0.9144
0.9298
0.8840
0.9757
0.9026
Model2
0.9939
0.7189
0.9175
0.9604
0.8840
0.9727
0.9056
Model3
0.9878
0.7189
0.9113
0.9359
0.8870
0.9787
0.8995
s15
s16
s17
s18
s19
s20
s21
Model1
0.9362
0.9727
0.9178
0.9787
0.8841
0.9210
0.9481
Model2
0.9331
0.9635
0.9361
0.9544
0.8841
0.9210
0.8750
Model3
0.9331
0.9727
0.9147
0.9787
0.8841
0.9271
0.9543
56
模式1之貝氏網路圖
Item
Bug
Item1
Item2
Item3
Item4
Item5
Item6
Item7
Item8
Item9
Item10
Item 11
Item 12
Item 13
Item 14
Item 15
Item 16
Item 17
Item 18
Item 19
Item 20
Item 21
Skil
l
S1
B1
B2
B3
B4
B5
B6
B7
B8
B9
B10
B11
B12
B13
B14
B15
B16
B17
B18
B19
B20
B21
B22
B23
B24
B25
B26
B27
B28
S2
S3
S4
S5
S6
S7
S8
S9
S10
S11
S12
S13
S14
S15
S16
S17
S18
S19
S20
S21
內容標題
小 結
二階段電腦化診斷工具有不錯的信、效度。。
比較一階段與二階段試題之貝氏網路診斷成效，
二階段試題之貝氏網路的診斷正確率高於一階
段。
比較二種二階段試題之貝氏網路診斷成效，兩
者差異不大。
正確答案背後潛藏的錯誤概念經由二階段試題
之貝氏網路可被有效區辨出來。
範例－
• 表徵法：比與比值B7補救教學
• 異例法：時間的計算B2補救教學
• 類比法：時間的計算B4補救教學
實驗一
•實驗組－錯誤
類型補救組 23
人
•對照組－概念
補救組 24人
教學工具成效分析
•補救成效分析
• 可知錯誤類型補救教學組的補救成效優於概念補
救教學組。
教學工具成效分析
•學後保留成效分析
•因組內迴歸迴歸係數同質性考驗結果(組別* 後測成績)，
F 值為4.640；顯著性p=0.037，小於顯著水準0.05，表示
二組迴歸線不同質，因此接著用Johnson-Neyman 法來分
析
•錯誤類型補救組與概念補救組兩種補救教學模式對於81分以上的學生
來說並無差異，但對於81分以下的學生來說，錯誤類型補救組則明顯
優於概念補救組(F=15.486,P<0.001)，結果顯示對於中、低分組的學
生來說，使用認知衝突策略釐清錯誤類型的學後保留效果較為顯著
實驗二（比與比值單元）
實驗二（比與比值單元）
教學工具成效分析
• 補救教學成效分析
教學工具成效分析
• 學後保留成效
結語
• 由於線上補救教學提供一個有效解決學習
差異的管道，同時也可減輕教師的教學負
擔，因此目前已受到廣泛的重視。
• 本研究提出的改進策略能提升先前補救教
學系統之成效。