PPT2\第07 章-電腦化測驗與評量
Download
Report
Transcript PPT2\第07 章-電腦化測驗與評量
第7章
電腦化測驗與評量
數位學習理論與實務
黃國禎、蘇俊銘、陳年興
1
測驗與評量的目的
瞭解學生學習前的起點行為
分析學生的學習狀態
協助學生克服的學習上的困難
協助教師瞭解應採取的教學策略
瞭解是否達成預期的教學目標
2
對測驗與評量的錯誤認知
-以考試領導教學
成績？
評量表
示？
排名？
能力等級？
3
評量在教學中扮演的角色
評量在教學中扮演提供回饋的角色
用來瞭解學生的學習狀態
提供教師作為調整教學策略的參考依據。
4
評量的方式
測驗(Testing)
測量(Measurement)
面談(Interview)
專案實作(Project)
檔案評量(Portfolio assessment)
5
評量的定義
Bloom et al. (1971)指出，評量是一種用
以確定學生學習水準和學習有效性的方
法。
評量的作用
診斷學習困難與障礙，協助學生解決困難
提供教師改進教材內容及教學教法的參考。
6
各種評量模式的比較
評量模式
安置性評量
目的
判斷起始的學
習能力及狀態
時機
範圍
實施頻率
不一定；針
學期初或課
低；通常每
對課程的先
程開始前
學期1次
備知識
判斷階段性的
形成性評量 學習能力及狀
態
學習過程中
診斷性評量 判斷學習困難
小；針對特 不一定；依
學習過程中 定的概念或 需要進行1
技能
或多次
瞭解課程目標
達成的程度及
總結性評量
學生整體的學
習成效
大；針對課
低；通常每
期中或期末 程的整體內
學期1-2次
容
小；針對每 高；通常每
一課程單元 單元1-2次
7
實施評量的方式(1/2)
紙筆測驗：一般傳統的課堂測驗。
實作評量：實作評量是從做中學(Learning
by doing)的概念衍申而來的，藉由直接的
現場觀察與評斷，或間接地從學生的作品去
評量學習成效。
卷宗評量(Portfolio assessment)：檔案評量
源自於學生自傳文本的概念，透過檔案歷程
的紀錄來瞭解並協助學生的成長。
8
實施評量的方式(2/2)
電腦化與線上評量：
電腦化與線上的評量活動包括測驗、專題作業、
數位作品等評量方式。
題型除了文字及圖片，還可能包括多媒體影音
及動畫，甚至於操作型態或互動型態的題目。
依受測者的答題狀況，動態選題的測驗方式。
線上評量的方式更提供了在學習過程中，讓同
儕討論、搜尋資料或是觀摩的可能性。
電腦化與線上評量（尤其是測驗）通常可以提
供立即的回饋，對於學生持續的進行學習活動
有很大的幫助。
9
電腦化測驗的策略及系統
雙層次電腦化測驗(Tsai & Chou, 2002)
多目標組合試卷(Hwang, Chu, Yin, &
Lin, 2008)
自動評分機制 (Chiou, Hwang, & Tseng,
2009)
10
電腦化適性測驗(Computerized
Adaptive Testing, CAT)
為了精確且快速地評量學生的某方面的
能力或某種潛在的特質。
與傳統的測驗相比較，電腦化適性測驗
通常只需要更少或甚至一半以下的施測
題目，就能達到相同的測量精準度，因
而大量節省施行測驗的時間。
能夠依照學生不同的能力程度，來提供
個別化測驗方式。
11
古典測驗理論考量的層面
難度(difficulty)
鑑別度(discrimination)
信度(reliability)
會依照受試者樣本不同而有很大的差異，
這些指標很難有一致的標準。
12
試題反應理論(Item Response
Theory, IRT)
IRT依據題目參數(如：難度、鑑別度、
猜測度等) 、受試者能力與其作答成功機
率進行分析及測驗。
Hambleton 和 Swaminathan, (1985)指
出，只要試題符合IRT的模式，則接受不
同試題的受試者其能力是可以互相比較
的。
13
IRT的概念基礎
受測者(examinee)回答試題上的表現：由一
組參數（例如試題的難度） 來學生的能力。
當學生的表現佳（答題正確）時，對於學生
能力的期望就會提高；反之，則降低。
受測者的表現情形與這組潛在特徵間的關係：
透過一個連續遞增函數，試題特徵曲線ICC，
Item Characteristic Curve)，來進行分析。
14
測驗特徵曲線(test characteristic
curve，TCC)(1/2)
把不同能力的受測者得分點連接起來所
構成的曲線，即為整體受測者在某一測
驗試題上的試題特徵曲線。
把各試題的試題特徵曲線加總起來，便
構成測驗特徵曲線(test characteristic
curve，簡寫為TCC)。
15
測驗特徵曲線(test characteristic
curve，TCC)(1/2)
16
三個參數對數形模式(threeparameter logistic model)
試題特徵曲線代表學生某種潛在特徵程
度與該學生可正確回答某一試題的機率。
第i試題的鑑別度參數
學生的能力值
表示某位學生答對任何一道試題的機率
難度參數
猜測度參數(item pseudo-chance parameter)
17
三個參數對數形模式的試題特
徵曲線(Lord, 1980)(1/2)
18
三個參數對數形模式的試題特
徵曲線(Lord, 1980)(2/2)
對任何一道試題對任何一位學生來說，
其能力值愈高，正確回答該試題的機率
就愈大。
對任何一位學生來說，試題愈難作答(試
題難度參數愈高)、愈具有鑑別功能(試題
鑑別度參數愈高)，或愈不容易被猜中試
題(試題猜測度參數愈低)，則該試題被答
對的機率便愈低。
19
電腦適性測驗的流程(1/2)
1. 決定起始點：從難度適中的試題中隨機
抽取、完全隨機抽取，或者依照學生的
背景估算其初步能力估計值(initial
ability estimate)並選擇合適的題目。
2. 挑選適合學生能力的試題：電腦根據目
前已知的資訊或學生的測驗狀況，估算
學生的能力值，並從題庫中挑選出最能
針對其能力水準的試題。
20
電腦適性測驗的流程(2/2)
3. 呈現挑選後的試題給受測者作答。
4. 依學生作答狀況計分，進一步估算其能
力值的範圍。
5. 重複(2)-(3)，直到事先預定的施測題數
已測完，或已達到對其能力估算的預定
測量精確性(即標準誤) 。
21
IRT的電腦化適性測驗的優點
依照學生的個人能力挑選適合的試題來
進行測驗
縮短測驗時間和測驗題數
具有理論依據來有效地量測學生的能力
(Baker, 2001; Baker & Frank, 1992;
Horward, 1990; Lord, 1980)
22
IRT的電腦化適性測驗的缺點
需要事先針對試題進行大量的預試，來獲得
精確的難度資訊，同時其能力值的估算只是
針對同一個面向（例如英文閱讀能力）的整
體能力；若要瞭解多個面向或概念的學習狀
態，需要進行多次測驗。
目前電腦化適性測驗只被少數的大型能力檢
定機構採用。例如基本學力測驗、TOEIC、
GRE、TOEFL等。
23
動態評量
Haywood, Brown及Wingenfeld(1990)指出，
傳統的評量僅止於瞭解學生在某些特殊方面
的表現，而沒有嘗試去改善其表現。
動態評量的目的之一，就是藉由評量的活動
來提供教學性的支持，以改善學習成效
(Allal & Ducrey, 2000; Moore-Brown,
Huerta, Uranga-Hernandez, & Peña, 2006)。
24
電腦化動態評量系統
電腦化動態評量系統是一種互動系統
(Haywood & Lidz, 2007)。
以「測驗-介入-再測驗」的形式進行，也有
人將介入稱為「教學」。
再測驗的部分包含針對目標範圍的評量，重
點放在幫助學生學習以及更有效的使用學習
策略，讓學生能夠在目標任務上有更好的理
解及表現(Moore-Brown, et al., 2006)。
25
動態評量的兩個特徵
提供獨立練習的學習機會 (Bransford,
Delclos, Vye, & Hasselbring, 1987)。
教學和回饋都被建置在評量活動的過程
中(Elliott, 2003)。
26
動態性評量有兩種形式
三明治式(sandwich format)：由前測及
後測中夾著教學與回饋構成。
蛋糕式(cake format)：沒有前測與後測，
學生在一系列的問題中表現出學習遇到
的困難，這時候會立即地提供協助給學
生(Elliott, 2003)。
27
PsyCAL (Psycology of
Computer Assisted Learning)
Buchanan於1998年針對大學心理學課程所發展出一個
網路教學環境，其中有一個形成性評量的設計用以輔助
學習者學習。
主要特徵是「重複作答」與「不提供答案」，這兩者結
合在一起，能激發學習者反覆的記憶(rote
memorization)，更加精熟課程內容。
「不提供答案」策略還配合「即時回饋」的機制，就是
當學生作答發生錯誤時，會有提示性的即時回饋，導引
學生主動找出正確答案。
從PsyCAL應用於大學心理學課程的實證研究也發現到，
PsyCAL可讓學生在練習與主動發現答案的過程中，獲
得更為精熟的學習(Buchanan, 2000)。
28
Self-Assessment自我評量模組
Self-Assessment是Gardner, Sheridan 及 White
(2002)設計的一個網路評量工具。
Self-Assessment的架構是讓在進行完網路學習後，
可自由地以異時異地的方式進入該環境練習教師所
準備的測驗題目。
該系統讓學生可以「重複作答」、「作答完後直接
提供作答參考說明資料」、「發問功能」與「查詢
他人成績」。
Gardner et al.(2002)指出，自我評量模組對於網路
學習成效有顯著的幫助，學生也喜歡以此功能輔助
自己在網路上進行學習。
29
WATA (Web-based Assessment and Test
Analysis System)網路評量與試後分析系統
(1/2)
WATA是彰化師範大學生物學系的研究團隊發展出
的網路評量與試後分析系統。
該系統包含兩個模組，分別為總結性評量模組
(SAM-WATA)，與形成性評量模組(FAM-WATA)。
SAM-WATA主要用以執行總結性評量以了解網路
學習之效益。
FAM-WATA的部份設計理念與PsyCAL相似，除了
「重複作答」與「不提供答案」外，又增加了「發
問功能」、「過關後查詢成績」、「過關後可查詢
個人學習歷程」與「過關動畫」等設計。
30
WATA (Web-based Assessment and Test
Analysis System)網路評量與試後分析系統
(2/2)
「重複做答」設計的具體做法是讓學習者在進行測驗過
程中，若某一試題連續答對三次後，該試題即不再出現
於往後的測驗中，一但發生答錯現象則歸零重新累計。
直到系統題庫的試題都做完為止，該測驗才算完全過關，
這樣的設計與PsyCAL的重複作答方式不同。
「過關動畫」給予學習者正向的回饋，以激發其學習動
機；「過關後查詢成績」、「過關後可查詢個人學習歷
程」的設計，則提供學習者於網路學習環境中一個監控
自我學習的指標。
另外，為引導學習者有更多思考空間，除了在作答後不
告知對錯外，也提供學習者一個發問的介面，讓老師成
為每位學習者的專屬家教老師，適時給予非即時的回饋。
31
電腦化動態評量的相關研究
FAM-WATA
王子華等學者(2002)、 (2004a)、 (2004b)
學習者在FAM-WATA的使用情形與學習成效有顯著
正相關
可以提升職前教師在「生物科教材教法」網路教學
課程中的學習興趣，並對學科知識的學習很有幫助
越能使用WATA模組行學習的學生，其學習成效越
高
Hwang及Chang(2011)
運用FAM-WATA做為學習策略可以有效提升學習者
在真實情境的學習成效
32
電腦化學習困難診斷機制
在電腦化測驗中，提供學生有意義並且個人
化的回饋，已被視為一個重要的議題。
能夠有效地改善學生的學習成效(Hsu,
Hwang, & Chang, 2010; Yeh, Chen, Hung,
& Hwang, 2010)。
過去有多個研究嘗試制訂有效的測驗模型，
來分析學生的學習困難，進而提高其學習效
能(Hwang, 2003, 2007; Chen & Bai,
2009)。
33
傳統的數學課程樹狀結構圖 (許
慶昇、杜淑芬、黃國禎，1998)
這樣的編排僅僅提供給我們教材編排次
序的資訊而已，從其中我們並無法獲知
各概念之間的相關性。
34
概念影響關係圖的概念
在眾多的概念關係中，學習順序對於診
斷學生的問題是最重要的 (許慶昇、杜淑
芬、黃國禎，1998)。釐清這樣的關係，
有助於電腦系統追溯學生學習過程中造
成學習困難的源頭。
若將課程結構重新組織整理，去除章、
節等上層架構，只留下概念部分，並且
找出各概念之間的學習先後次序關係。
35
概念影響關係圖的數學課程範例
(許慶昇、杜淑芬、黃國禎，1998)
Copyright © IDLS Lab of NTUST
36
概念影響關係圖的意義
每個概念﹙如C1﹚代表課程中的一個概
念，概念與概念之間具有方向性的聯結
﹙link﹚，建立起了概念與概念之間的關
聯與先後次序，亦即所謂的概念影響關
係。
例如C4同時受到概念C1與C2的影響，也就
是說：要學習C4這個概念，必須先學習C1與
C2這兩個概念；或是說，C1與C2是學習C4
所必須具備的「先備知識」。
37
概念影響關係圖 (許慶昇、杜淑
芬、黃國禎，1998)
38
學習診斷系統
可以很容易分析出學生在學習過程中的
問題癥結與影響學習成效的部分導因。
透過對每個概念與聯結的剖析，更可進
一步導出補救學習路徑。
結果不但可提供學生做為日後改進學習
的參考依據，更可提供教師或是教學系
統作為教材呈現與教學策略組合的重要
參考資訊。
39
電腦系統中表示概念影響關係
教師可以根據對概念學習次序關係的瞭
解，在概念影響關係表內填入代表兩個
概念是否具有先後影響關係的值：“1”
代表有影響；“0”代表沒有影響。
建立概念影響關係圖之前，必須先建立
概念影響關係表(如下頁所示)。
40
概念影響關係表
C1
C2
C3
C4
父 C5
概 C
6
念 C
7
Ci
C8
C9
C10
NP
C1
0
0
0
0
0
0
0
0
0
0
0
C2
0
0
0
0
0
0
0
0
0
0
0
C3
1
0
0
0
0
0
0
0
0
0
1
C4
1
1
0
0
0
0
0
0
0
0
2
子概念Cj
C5
C6
0
0
1
0
0
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
1
NC
C7
0
0
1
0
0
0
0
0
0
0
1
C8
0
0
0
1
0
0
0
0
0
0
1
C9
0
0
0
0
1
0
0
0
0
0
1
C10
0
0
0
0
0
0
0
1
0
0
1
2
2
2
1
1
0
0
1
0
0
41
概念影響關係表的說明
假設一個課程中共有n個概念，每個概念
以Ci或Cj表示，其中i,j = 1,2,3, …,n。
每一列的表頭Ci代表父概念，而每一欄
的表頭Cj代表子概念。若父概念與子概
念的關係值是1，代表父概念的學習狀態
會影響子概念的學習。
表中NC代表子概念的個數，而NP代表
在父概念的個數。
42
學習困難診斷
為了配合學習困難的診斷需要，必須先
規劃一份試題，透過測驗瞭解學生對課
程中的概念的學習狀況。
假設總共有10個試題，分別為Q1, Q2,
Q3, …, Q10。為了表現每道題目所包含的
概念內涵與各概念在該道題目中的相對
比重關係，在擬訂試題的同時，必須經
由教師的協助，建立了概念分配表。
43
概念分配表
概念Cj
Q1
Q2
Q3
Q4
Q5
試 Q6
題 Q7
Q8
Qi Q9
Q10
Sum
Error
ER(C)
C1
C2
C3
C4
C5
C6
C7
C8
C9
C10
5
0
0
0
0
1
0
0
0
0
6
1
0.16
1
4
0
0
0
0
0
0
0
0
5
0
0
0
2
3
0
0
0
0
0
0
0
5
3
0.6
0
0
1
5
0
0
0
0
0
0
6
1
0.16
0
0
2
0
5
0
0
0
0
0
7
2
0.28
0
0
0
0
0
4
0
0
1
1
6
4
0.66
0
0
0
0
0
1
5
0
0
0
6
6
1
0
0
0
0
0
0
0
3
0
2
5
0
0
0
0
0
0
0
0
0
1
4
0
5
0
0
0
0
0
0
0
0
0
2
0
5
7
0
0
44
概念分配表解說
概念欄與試題列的交叉項eij代表Cj這個概
念在題目Qi中所佔的比重﹙相對於Qi中
的其他概念﹚。
當學生完成測驗之後，系統依以下的步
驟進行學習狀態診斷：
45
學習困難診斷流程1
概念認知程度分析
假設某位學生在該次測驗中答錯Q3、Q6、
Q7，其餘均答對。經由概念分配表可以
求得每個概念的錯誤比率：
代表第r題答錯的題目中，第j個概念的比重值
每個概念答錯的比率
代表整份試題中，第i題的第j個概念的比重值
46
將每個概念答錯的比率(ER值）
標示在概念影響關係圖
47
概念認知程度分析注意事項
(1/2)
若學生答錯了Qi這道題目，並不代表學生對
於包含在Qi中的每一個概念都不懂，很有可
能他只是因為其中的某一個概念不懂或沒學
好，而導致了他答錯Qi這道題目。
因此必須觀察Qi中每一個概念所佔的比重值
(rating value)，必須將導致學生答錯Qi的錯
誤概念加以排序，找出其中的輕重分別。
48
概念認知程度分析注意事項
(2/2)
不能百分之百由ER(Cj)的值來斷定學生對Cj這個
概念的認知或瞭解程度，一個概念的錯誤可能是
因為對另一個概念的認知或瞭解不足所導致的。
要找尋一個臨界值θ，用以代表對錯誤率的容忍
程度。
當ER(Cj) θ時，學生對於Cj這個概念的認知程度已
經到達一個符合要求的水準。
ER(Cj) > θ時，就必須對這個錯誤率加以重視，學
生對於Cj這個概念的認知或瞭解程度尚未到達一個
要求的水準，必須重新學習。
49
學習困難診斷流程2
原始學習路徑分析
由「概念影響關係表」計算出每個概念
的子概念個數NC(Ci)，與父概念個數
NP(Cj)。若NC(Ci) = 0，代表Ci這個概念
無子概念，亦即Ci是個最終概念，因此
可以由Ci往上尋找其父概念，最後求得
一條原始學習路徑。
在實際設計電腦程式時，可以使用矩陣
﹙Matrix﹚或堆疊﹙Stack﹚的技術來完
成。
50
原始學習路徑分析範例
NC(C6) = 0，以C6為起點往上尋找父概念，其方
法為在C6這一欄中找到一個非零值，往左邊對應
到一個父概念C3，再由C3這一欄找到一個非零
值，往左邊對應到一個父概念C1，再由C1這一
欄找一個非零值；在此例中發現找不到非零值，
因此停止尋找。
PATH1﹕C1C3C6
PATH2﹕C1C3C7
PATH3﹕C2C5C9
PATH4﹕C1C4C8C10
PATH5﹕C2C4C8C10
51
學習困難診斷流程3
建立補救學習路徑
對於某個概念Ci，若ER(Ci) θ，表示學
生對於此概念已達到學習目標，故Ci這
個概念將不會被選入補救學習路徑中；
反之，若ER(Ci) >θ，代表學生對於Ci瞭
解的程度尚未到達要求水準，因此Ci將
列為補救學習路徑的一個概念。
52
建立補救學習路徑範例
假設θ值為0.3，代表對於某個概念之錯誤比
率的最大容忍程度為30；因此，可得到補
救學習路徑如下：
PATH1：C3C6
PATH2：C3C7
這是一組建議的補救學習路徑，它明白指出
了學生對於C3、C6、C7這三個概念的認知
程度之不足；同時也可以看出，這個學生最
大的問題是來自C3。
53
學習困難診斷流程4
決定關鍵學習路徑(1/2)
通常補救的學習路徑會不止一條，且學
生對於每條補救的學習路徑的學習成效
與對路徑上的每個概念的認知程度會有
不同的水準。
為了達到最有效率的學習，必須將每條
路徑的學習順序與課程進行的輕重緩急
明確定出。
54
學習困難診斷流程4
決定關鍵學習路徑(2/2)
首先計算每條路徑的權重：
代表第i條路徑中第j個概念的錯誤總比重值
是一個介於0到1的正規化數值
weight( PATHi )
error(C
ij
)
j
sum(C
ij
)
j
代表第i條路徑中第j個概念的總比重值
得到各補救學習路徑的比重值：
weight(PATH1) = 0.64
weight(PATH2) = 0.82
關鍵學習路徑
55
學習困難診斷流程5
提供學習建議(1/2)
最後，系統將依據上述的發現，提供個
人化的學習建議給學生。
在上述的例子中，共有二個補救學習路
徑（PATH1：C3C6及PATH2：
C3C7）；其中關鍵學習路徑為
PATH2。由此可以獲得兩點結論(如下頁
所示)：
56
學習困難診斷流程5
提供學習建議(2/2)
學生對於C6這個概念的認知或瞭解程度不夠，
是導因於學生對於C3這個概念的認知或瞭解
程度不足。
學生對於C7這個概念的認知或瞭解程度不夠，
是導因於學生對於C3這個概念的認知或瞭解
程度不足。
學生對於C6、C7的學習成效差，其根本
原因與問題癥結在於學生對於C3的認知
或瞭解程度不足。
57
概念影響關係應用實例
58
網路問題解決能力分析與評量
培養學生統整與應用知識的能力，才是因應
資訊快速增長的解決之道。
電腦和網路應用於教學不僅只是「學習電
腦」(learning about computer)或「從電腦
學習知識」(learning from computer)，更重
要的是如何有效的培養學生高層次思考和解
決問題的能力，達到「用電腦學習」
(learning with computer)的境界(張基成，
1997)。
59
網路資料搜尋行為分析工具
(Meta-Analyzer)(1/3)
由黃國禎與蔡佩珊(2006) 所開發
60
網路資料搜尋行為分析工具
(Meta-Analyzer)(2/3)
作為學習者在網路搜尋的一個平台，學
習者輸入關鍵詞後，系統會顯示搜尋到
的網頁資訊標題及內容摘要，學習者可
以依標題及內容摘要來決定是否點選瀏
覽。
將有助於解決問題的網頁記錄於個人的
書籤中，以作為教師評分其參考之一。
61
網路資料搜尋行為分析工具
(Meta-Analyzer)(3/3)
系統同時能記錄學生線上搜尋資料之歷
程，協助教學者評量學生解決問題的能
力，及協助教師分析學生遭遇的困難，
提供教學者或研究者進行後續課程改進
或個別補救教學之參考。
62
學生針對Meta-Analyzer所提問
題透過搜尋引擎搜尋資料畫面
63
學生將搜尋後之網頁資料輸入
至答案區畫面
64
Meta-Analyzer 記錄學生答題
與搜尋歷程畫面
中程中在
。都，網
會使路
被用資
記者料
錄所搜
在有尋
資搜的
料尋過
庫歷程
65
網路資料搜尋行為指標(1/5)
1. 變換輸入不同關鍵詞的次數和：例如在搜
尋過程中，使用者換三種關鍵詞來搜尋答
案，該項指標紀錄為3。
2. 第一個關鍵詞的字數和：在搜尋議題時，
使用者下第一個關鍵詞的字數和。例如有
三個搜尋議題，下第一個關鍵詞的字數分
別為10、9、6，則該項指標紀錄為25。
3. 決定欲瀏覽網頁所需時間(秒)：使用者在
每個議題中決定欲瀏覽網頁的時間總和。
66
網路資料搜尋行為指標(2/5)
4. 未被採用的網頁數目：這個指標呈現使用者在
瀏覽網頁與採用網站間的數量關係。例如使用
者瀏覽9個網站，但只採用其中3個，該項指標
紀錄為6。
5. 未被採用的網頁所瀏覽的時間(秒)：這個指標
呈現使用者在瀏覽網頁與採用網站間的時間關
係。例如使用者瀏覽了9個網站，但只採用其中
3個，該項指標記錄6個未採用網站的瀏覽時間。
6. 被採用的網頁數目：這個指標呈現出使用者在
瀏覽網頁與採用網站間的數量關係。例如使用
者採用了3個網頁，該項指標紀錄為3。
67
網路資料搜尋行為指標(3/5)
7. 被採用的網頁所瀏覽的時間(秒)：這個指
標呈現使用者在瀏覽網頁與採用網站間的
時間關係。例如使用者採用了3個網頁，該
項指標記錄這3個採用網站的瀏覽時間。
8. 重複瀏覽已被採用網頁的次數：這個指標
呈現使用者在已經採用的網頁上，再次或
多次瀏覽的次數。
9. 重複瀏覽已被採用網頁的瀏覽時間(秒)：
這個指標呈現使用者在已經採用的網頁上，
再次或多次瀏覽的時間。
68
網路資料搜尋行為指標(4/5)
10.重複瀏覽未被採用網頁的次數(次)：這個
指標呈現使用者在已經未被採用的網頁上，
再次或多次瀏覽的次數。
11.重複瀏覽未被採用網頁的瀏覽時間(秒)：
這個指標呈現使用者在已經未被採用的網
頁上，再次或多次瀏覽的時間。
12.加入書籤的網頁是已被採用的數目：這個
指標呈現書籤內的網站，被採用於作答數
量關係。
69
網路資料搜尋行為指標(5/5)
13.加入書籤的網頁是未被採用的數目：這
個指標呈現書籤內的網站未被採用於作
答數量關係。
14.修改答案的數目：指使用者送出答案後
再返回編修的次數。例如在答完議題一
後，使用者又在新網頁中找的更適合的
資料，返回議題一編修答案。該項指標
系統紀錄為2。
70
Meta-Analyzer 記錄學生答題
與搜尋歷程畫面
71
網路資料搜尋行為分析範例
(1/3)
蔡新德、蔡佩珊、楊子奇、黃國禎(2006)藉由
Meta-Analyzer搜尋歷程，分析探討學習者的在
網路搜尋中下關鍵詞與如何選擇、統整網路資料
的認知情形，瞭解其可能的搜尋認知概念，提供
培養學習者網路搜尋能力相關課程的參考。
黃國禎、郭凡瑞、蔡新德(2009)透過MetaAnalyzer的記錄與分析，探討不同自然科學能力
的學習者在接受不同概念構圖策略教學後，其線
上資料搜尋能力及知識結構表現的差異。
72
網路資料搜尋行為分析範例
(2/3)
龔文章(2009)藉由不同的合作學習策略，觀察學
習者在線上主題探究以及學習成就、自我效能的
改變情形，透過Meta-Analyzer搜尋歷程的觀察
與學習成就測驗來瞭解不同的合作學習策略能否
讓學習者形成有效的學習。
蘇裕丞、蔡文仁、郭凡瑞、黃國禎(2010)透過網
路探究式學習結合高層次提問策略探討國小高年
級學習者在面對問題解決的態度，結合高層次提
問教學策略與合作學習理論，分析是否能提高學
習成效及改善學生面對問題時的態度。
73
網路資料搜尋行為分析範例
(3/3)
Hwang 及Kuo (2011) 透過摘要教學策略，改善
國小高年級學習者進行網路搜尋時，在關鍵詞使
用與資訊選取的能力，並透過Meta-Analyzer的
協助，記錄學習者在線上解決問題的搜尋資訊過
程。結果發現，摘要教學策略對於改善國小五年
級學習者的網路搜尋能力上具有顯著的效果。
謝曜謙、李建億、郭凡瑞及黃國禎(in press) 針
對60位大學觀光休閒產業管理系ㄧ年級學生為研
究對象，探討不同認知風格特質的學生在線上問
題解決能力之差異。
74
Meta-Analyzer系統注意事項
不論在進行何種學科之線上搜尋之前，教師
必須事先建立學生該學科應有的先備知識，
教授該學習單元應有的基礎先備知識後，始
能讓學生透過Meta-Analyzer系統開始進行
網路探究式學習活動。而每一個學習單元皆
包含四個由教師根據學習目標所設計的問題，
學習者必須依照問題順序進行網路資料搜尋、
選擇、分析、摘要及整合資訊等歷程，以適
當解答回應問題。
75
Meta-Analyzer議題選擇畫面
76
Meta-Analyzer資料搜尋畫面
77
擷取與問題相關的資訊
78
將相關資訊貼到回答區
79
將有用網站加入書籤，節省重
複查詢的時間
80
Meta-Analyzer之搜尋歷程檔
81
7.4 電腦化適性診斷
•
•
如何基於知識概念架構來進行適性化診斷?
如何利用THOTH 系統進行學習問題的診斷
與分析?
82
7.4.1 電腦化適性診斷與分析模
式
孔夫子有云：[ 因材施教]
適性學習的目標正是如此。
適性化學習(Adaptive Learning) 的目的:
在於能根據學習者不同的學習能力與學習狀況，
經過分析與診斷來了解其學習問題，
進而動態地提供符合學習需求的診斷建議、學習
內容、與指導策略，
期盼能解決不同學習者的學習問題，給予適切的
指導，以提升每個學生的學習成效。
83
7.4.1 電腦化適性診斷與分析模
式
要根據不同學生的學習問題來提供正確
的導引與建議:
必須要能分析出學生的學習問題到底在哪，
才能對症下藥。
教師或人工來處理，曠日廢時，無法有效分
析與即時提供學生診斷建議。
電腦技術來進行適性化診斷與分析的方
式已經廣泛受到重視
84
圖7-19 適性化學習系統(Adaptive
Learning System, ALS)架構
電腦幫助教來處
理與分析大量與
繁瑣的資料，
且可隨時監督與
即時給予學生回
饋的診斷建議，
以便提升學生的
學習動機與效果。
85
適性化學習系統(ALS)
要分析學生學習問題以提供學習建議與導引:
系統需要具備能分析問題的[ 領域知識模型
(Domain Knowledge Model)]，
透過推論機制來分析學生的學習歷程行為，
才能提供正確的診斷分析與學習導引等等有意義的
建議。
在ALS 系統中，領域知識模型扮演著相當重要
的角色:
第7.2 節的概念影響關係圖( 圖7-5) 便是一種領域知識模型
86
的架構。
7.4.2 領域知識模型
領域知識模型的表示方式:
非僅有一種，
架構根據系統的診斷機制而有不同。
例如:
概念圖(Concept Map) 架構便是其中一種:
概念圖:
康乃爾大學Joseph D. Novak 教授於1965 年在研
究兒童科學概念改變歷程時所提出( 圖7-20)。
87
圖7-20
架構
概念圖(Concept Map)
(cmap.ihmc.us)
88
概念圖
包含四個主要的構成要素( 圖7-21)：
(1) 概念(Concepts)、
(2) 關係(Relationships) 或命題連接(Prepositional
links)、
(3) 階層(Hierarchy) 、
(4) 交叉連接(Cross-links)；
節點:
代表概念，
連結線:
表示概念與概念之間實際的或因果的關係
89
建構概念圖
針對所要學習內容的概念:
先做階層性分類和分群，
並將兩個概念間的關係以連結線連結起來，並於
連結線上標記稱呼( 即使用連結語):
以輔助說明概念與概念間的連結關係，
連結可以是單向、雙向或是無方向的關係，
最後形成一幅網狀結構圖，即概念圖
( 余民寧，民86)
90
建構概念圖
概念圖是將教材或文章中的概念:
逐一抽取出來，
再以一個「核心概念」(Focal Concept) 為主題:
圍繞著此一核心概念，
經由學習者的理解把所有相關概念組織起來:
用以表徵學習者在相關學科上的知識結構之語意網路圖，
且必須以連結語來說明概念與概念之間的關係
( 陳嘉成, 民87)
91
圖7-21 概念圖(Concept Map)
基本架構與關係定義
92
概念圖之教育應用
增進有意義的學習。
評估學習者對學習動機、概念與概念間關係的理解
程度。
教學設計：
訓練：
提供後續資訊與學習的初始概念架構。
呈現工作情境，以及情境與其工作、組織的策略目的、與
訓練目標的關係。
在ALE的應用:
可作為適性學習、評量診斷、分析建議、內容管理、教材
編輯之依據。
93
http://en.wikipedia.org/wiki/Concept_map
7.4.3 概念圖之適性學習應用模
式
利用圖7-21 的概念圖架構表示領域知識時:
根據定義的關係程度可有4 種不同診斷分析結果:
1.
2.
3.
4.
不具關係的概念架構模式
具有橫向關係的概念架構模式
具有階層關係的概念架構模式
具有橫向與階層關係的概念架構模式
94
一、不具關係的概念架構模式
僅概念元素:
概念A, B, C, …
概念間不具關係
A與B間沒有關係
概念間地位平等
例如:
四則運算的”加”、”減”、”乘”、”除”等概念
加
減
圖7-22
乘
除
數學科四則運算之概念元素
95
一、不具關係的概念架構模式
可分析的學習問題與說明方式：
錯誤試題：
對應概念[減]與[除]的試題 。
診斷建議：
發現您在[減]概念(了解程度：0.5)與[除]概念(了解程度：
0.2)考得不好， 請多多加強這兩個概念的學習。
96
二、具有橫向關係的概念架構模式
概念元素間有關係定義:
AB:
概念A與概念B間具有關係定義
例如:
四則運算的”加”、”減”、”乘”、”除”等概念
加乘:
“加”是”乘”的先備概念
“乘”是”加”的進階概念
子概念
加
橫向關係(PR)
先備概念
減
乘
除
進階概念
圖7-23 數學科四則運算之具有
橫向關係連結的概念圖架構
橫向關係(PR)
97
二、具有橫向關係的概念架構
模式
可分析的學習問題與說明方式：
錯誤試題：
對應概念[減]與[除]的試題。
診斷建議：
發現您在[減]概念(了解程度：0.5)與[除]概念(了解程度：
0.2)考得不好，
可能原因是[減]的概念沒學好，因為[減]是[除]概念的先
備概念，所以建議應先加強對[減]概念的學習，對於
[除]概念的學習將有幫助。
98
三、具有階層關係的概念架構模式
概念間具有上下的階層關係:
此為樹狀結構
呈現上層概念與下層概念的關係
概念A包含子概念a1, a2, a3.
例如:
四則運算概念:
包含”加”、”減”、”乘”、”除”
等子概念
圖7-24 數學科四則
運算之具有橫向關係
連結的概念圖架構
99
三、具有階層關係的概念架構
模式
可分析的學習問題與說明方式：
錯誤試題：
對應概念[減]與[除]的試題。
診斷建議：
發現您在[減]概念(了解程度：0.5)與[除]概念(了解程
度：0.2)，
這會造成您在學習[四則運算]統整計算時會有困難，請
多多加強這兩個概念的學習。
100
四、具有橫向與階層關係的概念
架構模式
概念間具有多重關係:
階層關係:
具有上層概念與下層概念的關係
橫向關係(Crosslink):
概念A包含子概念a1, a2, a3.
除階層關係外，概念間具有的關係定義
例如:
四則運算概念:
階層關係:
”加”、”減”、”乘”、”除”等子
概念
橫向關係:
先備關係: “加”是”乘”的”先備概
念”
延伸關係: “分數”是”除”的”延伸學
習概念”
圖7-25 數學科四則
運算之具有橫向與階
層關係的概念元素
101
四、具有橫向與階層關係的概
念架構模式
可分析的學習問題與說明方式：
錯誤試題：
對應概念[減]與[除]的試題。
診斷建議：
發現您在[減]概念(了解程度：0.5)與[除]概念(了解程度：
0.2)，這會造成您在學習[四則運算]統整計算時會有困難，
請多多加強這兩個概念的學習。
可能原因是[減]的概念沒學好，因為[減]是[除]概念的先
備概念，
所以建議應先加強對[減]概念的學習，對於[除]概念與[四
102
則運算]統整計算的學習將有幫助。
概念圖完整性的優缺點
概念圖中:
針對概念元素與彼此關係的定義越是完整，
但當定義的概念圖架構越複雜:
所能分析出來的學習問題與建議就能越明確與清楚。
所要付出的人力與管理成本就越高，
系統計算與處理的時間也就越久。
因此，概念圖架構的複雜程度需在[ 效益] 與
[ 成本] 間取得一個平衡。
103
7.4.4 概念圖管理工具
利用系統工具(THOTH) 來進行學
習問題的診斷與分析之實際操作
104
7.4.4 概念圖管理工具
說明利用THOTH 系統的概念圖管理工具:
建構如同圖7-21 與圖7-25 所表示之學科領域知識
的概念圖架構。
提供離線與線上兩種方法:
離線模式為下載空白概念圖檔(excel 格式)進行概念圖編
輯後再上傳至系統中;
編輯大範圍的概念架構比較方便
依據規定格式在excel 檔中編輯概念圖，會比較麻煩些。
線上模式為直接利用網頁來編輯概念圖。
直接於線上新增與編輯概念圖，比較簡單，
對於大範圍的概念架構則因不易綜觀全貌而不易編輯。
105
編輯概念圖的目的
編輯完概念圖後:
可利用THOTH 系統的[ 連結概念] 功能:
進行學習資源與對應概念間的連結管理，
如同第2.2 節對學習物件(LO)的說明:
LO都要依循學習目標(Learning Objective) 來做規劃，
將LO對應到相關聯學習概念便是要完成此定義需求:
也就是進行如表 7-3 概念分配表的設定處理，以
作為之後的進行學習診斷處理時之分析依據。
106
概念圖管理工具
概念圖編輯:
下載空白概念圖excel檔:
利用系統產生空白的excel檔作編輯
上傳概念圖:
利用Excel 格式作編輯後上傳至系統中
線上新增概念圖:
.xls (only)
直接由線上編輯概念圖
資源-概念連結管理:
利用概念圖來編輯各資源(試題、學習物件)所對應的概
107
念與技能資訊。
一、離線模式-編輯概念圖
Excel格式
108
概念圖EXCEL格式
文件定義區
METADATA定義區
概念圖定義區
109
概念圖EXCEL格式
文件名稱:
可由編輯者自行決定，即在系統中所看到的[資源名稱]。
文件類別:
可以是[概念指標圖(Concept)]或[能力指標圖(Ability)]
3)##START METADATA##和##END METADATA##:
描述檔案結構的詮釋資料(Metadata)範圍。
由系統自動產生，內容不可由編輯者自行修改。
技能指標Map 架構設定規則說
明
技能概念名稱不可使用下列符號(系統保
留):
(),@[]#
若有多個技能概念，需用逗號( , )分開
在技能概念名稱後，需有括號(權重)來標
示
111
若技能概念名稱需要[特殊字元]，用以下
方式撰寫。
112
若下一行的技能在[上一行技能]的[後一個儲存
格]中定義，則為[子技能]。
[階層概念名稱]可用[單獨名稱]。
單獨名稱需包含:
[指標編碼」和「指標名稱」，表示法為:
[指標編碼]指標名稱
[指標編碼][不能重複]，由老師自行決定編碼。
階層概念格式為:
[指標編碼]指標名稱(權重)，
指標編碼、指標名稱、和權重都一定要有
[B1-3-1]生物的生命現象(0.5)
113
階層技能指標定義的表示方式
[(根)主要概念/技能]
[指標編碼]指標名稱(權重)
[後一個儲存格]中的[子概念/技能]
114
先備知識關係和延伸學習關係表示方式
可使用指標名稱或指標編碼來表示:
指標名稱(權重)、
[指標編碼](權重)、
[指標編碼]指標名稱(權重)
例如：
科學方法(0.5)、
[B2-2](0.8)、
[B1-4-2]實驗室器材認識與操作(0.5)
建議使用包含[指標編碼]的命名方式，以避免[指標名稱衝突]
當設定的 Map 中[無相同名稱]時，可使用[單獨名稱](ㄧ般狀況)
指標名稱在有[重複單獨名稱]時，需使用[絕對路徑名稱]:
#國中生物\\孕育生命的世界\\生物圈\\生物的生命現象(0.5)
115
概念/技能指標-關係定義限制
APO: (A Part Of) (部分知識/技能)
PR: (Prerequisite)(先備知識/技能)
其[上層]概念/技能指標不可以和[同ㄧ層]指標或其[下層]的子概念/技能指
標[同名]。
例如:
不可有絕對路徑"#國中生物\\孕育生命的世界\\國中生物"
不可以出現循環(Cycle)定義(互為先備知識)。
例如:
“加”為“乘”的先備知識(PR)，
則“乘”就不能再設定為“加"的先備知識(PR)。
PR 與RR (Reference):
若出現 PR 與RR 混和的循環(Cycle)定義，則會有警告(Warning)產生
例如:
“加”為“乘”的[先備知識(PR)]，“乘”為“計算方法”的[先備知識(PR)]，而
“加”又是“計算方法”的延伸學習概念(RR)。
116
設定概念圖[名稱]、[種類]、與[階層數]
117
下載空白概念圖excel檔
概念圖名稱
概念圖種類
118
上傳概念圖
119
上傳概念圖表格(excel檔)
120
(檔案無誤匯入預覽)
(檔案錯誤檢查列表)
121
成功匯入概念圖
122
二、線上編輯概念圖模式
123
線上新增概念圖
1
2
3
4
(完成概念圖資料新增)
124
1
(編輯概念)
(Root)
4 (按此完成)
(填寫子概念資訊，概念編碼不能重複)
3
2 (新增子概念)
125
增加多個子概念節點
126
建立先備概念(PR)
4 (按此完成)
2
(直接點選先備概念)
1 (編輯先備概念)
(直接新增此概念為[乘]的先備概念)
3 (編輯關係權重值)
127
建立延伸概念(RR)
4 (按此完成)
2
(直接點選先備概念)
(直接新增此概念為
[減]的延伸概念)
1 (編輯延伸概念)
3 (編輯關係權重值)
128
檢視概念圖內容
([乘]的資訊)
129
7.4.5 資源對應概念管理
130
資源對應概念管理
(連結概念)
目的:
設定[學習資源(學習物件、試題)]所對應的[目標
(Learning Objective)]:
所關聯的[學習概念/技能]:
可設定[1個或多個]學習概念/技能
並設定學習資源與關聯概念/技能間的[關聯程度(Weight)]。
131
1
2
3
選取欲對
應概念的
資源
132
設定後[存檔]再[離開]
資源所對應之概念節點
取消
連結
4
選取概念
節點
5
建立[概念]與[資
源]間之連結關係
設定 6
[概念]
與[資源]
間之關
係程度
133
7.4.6 診斷分析模組工具
利用學習物件( 試題) 所對應的概念
元素來針對學生的考試紀錄進行學
習問題的分析與診斷，並提供建議。
7.4.6 診斷分析模組工具
具概念設定的組卷方式
進行考試紀錄的診斷分析之前:
需利用組卷工具來組一份具有概念對應的試卷。
2.5.1 章節所組的試卷:
因為試題尚未對應概念元素，
所組試卷僅能針對學生答題的正確與否來給予分
析，並無法提供學習概念問題的診斷與建議。
136
選取試卷對應之概念圖
1
7 統計試卷試題分佈資訊
2 加入試卷概念範圍
3 設定試題搜尋條件
5
6
加入相關試題
137
存檔後離開
138
7.4.7 老師端之班級管理與診斷
分析系統
•
•
•
班級管理
測驗紀錄之新增
測驗之診斷分析
139
我的班級-管理
新增班級
140
141
測驗紀錄之新增
方法一 測驗成績表
142
點選[新增試卷][下載答案表
格]，跳出下載成績樣版視窗
143
設定成績樣版資訊
144
作答表之Excel檔格式
145
學生資訊透過
Excel測驗表
上傳方式新增
146
測驗紀錄之新增
方法二 線上考試
147
新增考試
下載欲線上測驗的成績
表樣板
成績表學生資料[可填]或[不
填]，但成績先不填後上傳。
上傳可產生一個供線上測驗的
考試資料。
圖7-45
新增可供線上測驗的考試紀錄
148
產生線上考試
提供此[考試網址]與[識別碼]給學生作測驗
表示開啟線上考試功能
學生線上測驗
連結至[考試網址]
輸入[學生帳號]
輸入[識別碼]
測驗後便會於學生帳號
下新增一筆測驗紀錄。
測驗之診斷分析
•
班級之診斷分析
進行班級之全體學生的:
•
•
•
(1) 多人單次測驗診斷分析報告，
(2) 多人多次測驗的綜合報告。
152
•
1.多人單次診斷報告書:
將單次測驗結果依照全班考試狀況作統計
與分析，讓老師快速了解班級學生考試主
要狀況與問題，以提供適當測驗後講解。
測驗資訊與統計
154
學生分數分佈狀況資訊
155
各題答對率分析
156
概念分佈狀況
相關題目數
概念平均分數等級:低
等級:中
等級:低
等級:高
等級:很低
157
學生迷失概念分析
概念圖有先後備知識關聯時可做此分析。
過濾診斷結果數目
概念診斷分析
158
2.多人多次診斷報告書:
讓老師針對班級學生選取多次考試來分析學生
的學習狀態趨勢(圖7-55)，產生多人多次的測
驗綜合分析結果(圖7-56)，讓老師針對狀況趨
勢提供較合適的教學方針與導引。
159
多人多次診斷報告書
選取要綜合分析的測驗記錄
產生多人多次測驗綜合分析結果
歷次測驗高、中、低組的分佈分析結果
基於概念圖選取要檢視的分析結果
基於概念診斷的分析結果
161
學生個人之診斷分析
形式3－單人多次診斷分析
形式4－單人單次測驗記錄分析
162
形式3－單人多次診斷分析：
直接點選任一位學生的帳號資料(圖7-57)，可
檢視此學生的多次測驗紀錄的統整分析結果，
可了解學生的進退步趨勢(圖7-58)，與概念改
變的狀況與問題建議(圖7-59)。
163
單人多次診斷分析
單人多次-測驗記錄趨勢分析
165
單人多次-測驗記錄概念分析
166
形式4－單人單次測驗記錄分析
點選班級裡的任一位學生的帳號資
料中的測驗紀錄，可觀看學生的單
筆測驗之分析結果。
167
單人單次測驗記錄分析
168
四、共享資源庫管理
使用者可分享自己製作的學習資源( 試題、試
卷、學習物件、課程、與概念圖) 給其他使用
者使用，使用者就不用重複製作，可節省人力
物力，也可以增加好的學習資源的使用率。
169
新增共享資源庫
分享資源
選擇欲發佈的資源與對應的共享資源庫
進入[共享資源庫-國小數學]便可看到所發布的共享資源
申請加入共享資源庫
搜尋共享資源庫
申請加入，等待此資源庫的管理者審查。
申請許可後，便可[看到]與[進入]此共享資源庫。
可[使用]別人[分享]的共享資源。
申請管理
可設定組員為[管理者身分]，具管理與分享資源權限
本章結束
174