Transcript 2. - 大学入試センター

潜在ランク理論に基づく
コンピュータアダプティブテスト
○木村
哲夫*,**, 永岡慶三**
*新潟青陵大学看護福祉心理学部, **早稲田大学大学院人間科学研究科
日本テスト学会第9回大会
2011年9月11日
2
CAT for Everyone
MOTTO
&
Happy CAT
3
Outline
1. 本研究の目的
2. CATの根源？
3. CATアルゴリズム
4. LRT－CATアルゴリズムの提案
5. 今後の研究の方向性
4
本研究の目的
潜在ランク理論（latent rank theory, LRT）
に基づくCATアルゴリズムの提案
今後の研究の方向性を示す
本研究において、LRTはニューラルテスト理論（neural
test theory, NTT: Shojima, 2007）のことをさす。
5
CATの根源
Paper-Pencil Test
Computer Assisted Test
Computer Adaptive Test
コンピュータを利用したテスト実施の個別化と効率化
① 受験者の能力に合った問題の出
題
② 時間短縮と測定精度の向上
Adaptive
Test
Self-scoring flexilevel test (Lord, 1971)
Binet’s IQ test (Binet’s & Simon, 1905)
6
Flexilevel Test (Lord,1971)
The middle difficulty item, number 11 in difficulty-order
① ②
①
② ③
③ ④
④
1. A slightly easier item, number 10
in difficulty-order
①
① ②
② ③
③ ④④
1. A slightly harder item, number 12
in difficulty-order
①
① ②
② ③③ ④④
2. A slightly easier item, number 9 in 2. A slightly harder item, number 13
difficulty-order
in difficulty-order
①
①
① ②
② ③③ ④④
① ②
② ③
③ ④
④
3.
3.
・
・
・
10. The easiest item, number 1 in
difficulty-order
① ②
② ③
③ ④
④
・
・
・
10. The hardest item, number 21 in
difficulty-order
①
① ②② ③③ ④④
7
Computerized Implementation of a
Flexilevel Test and Its Comparison with
a Bayesian Computerized Adaptive Test
(DeAyala & Koch,1986)
シミュレーションデータにより、flexilevel CATが、ベイ
ズ推定法に基づくIRT-CATの結果と比較して遜色ないこ
とを示す。
IRTに基づき項目特性を求められたアイテムバンクを用
意しなくてもflexilevel CATは実行可能であり、教室環境
で有効な方法であることを示唆。
8
Binet’s IQ test (Binet’s & Simon,1905)
The First Adaptive Test
9
Stratified adaptive test (Weiss,1973)
10
CAT-Pharmacology (Halktis,1993)
11
LRT－CATアルゴリズムの提案(前提)
LRTは順序尺度上にテストを標準化する理論
項目の特性は項目参照プロフィル(item reference profile,
IRP)で表されるが、これはIRTの場合(項目特性曲線を描
くこと)と似ているところが多い。
受験者の特性を、一義的に能力推定値をランクとしてと
らえるだけでなく（LRTで受験者の潜在ランクを順序尺
度上に推定することは、IRTで潜在能力を連続変数上の
一つの値で推定することと同義である）、ランクメン
バーシッププロファイル(rank membership profile, RMP)
として多義的に表現できる。
12
LRTの項目特性のとらえ方
項目参照プロファイル(IRP)
1.0
0.8
0.8
Probability
Probability
1.0
0.6
0.4
0.2
0.0
2
3
4
Latent Rank
5
1.0
0.6
0.4
0.2
0.0
1
Vg30
Vg03
Probability
Vg01
1
2
3
4
Latent Rank
5
0.8
0.6
0.4
0.2
0.0
1
2
3
4
5
Latent Rank
プレイスメントテストの分析：木村 (2009a)
13
LRTの受験者能力のとらえ方
ランク・メンバーシップ・プロファイル(RMP)
受験者61
受験者43
1.0
1.0
0.8
0.8
0.8
0.6
0.4
0.2
0.0
1
2
3
4
Latent Rank
5
Probability
1.0
Probability
Probability
受験者37
0.6
0.4
0.2
0.0
0.6
0.4
0.2
0.0
1
2
3
4
Latent Rank
5
1
2
3
4
5
Latent Rank
プレイスメントテストの分析：木村 (2009a)
RMPは、受検者や先生にフィードバックすべき教育診断情
報として活用することができる。(植野・荘島, 2010)
14
LRT－CATアルゴリズムの提案
中央のランクの項目を中心に各ランクに所属する項目を
１つずつ５項目選び実施
初期暫定RMPの算出
推定ランク±１の範囲で
暫定RMPとIRPの差分ベクトルの積和平均が
最小となるものを選択し実施
暫定RMPの算出
YES
終了
終了条件を
満たす？
NO
15
LRT－CATアルゴリズムの提案
How to start
中央のランクの項目を中心に各ランクに所属する項目を
１つずつ５項目選び実施
多様なランクに所属する
項目をTestlet として実施
このTestlet の結果を受験
者の初期RMPとする
16
LRT－CATアルゴリズムの提案
How to select the next item
推定ランク±１の範囲で
暫定RMPとIRPの差分ベクトルの積和平均が
最小となるものを選択し実施
IRP
ItemID
R01
Item001
0.27 0.41 0.59 0.70 0.75
Item002
0.42 0.47 0.58 0.72 0.82
Item003
Item004
0.24 0.27 0.36 0.49 0.60
0.28 0.32 0.42 0.56 0.66
Item005
0.50 0.56 0.66 0.75 0.81
･･･
Item200
･･･
R02
･･･
R03
･･･
R04
･･･
R05
･･･
0.73 0.81 0.89 0.94 0.95
17
LRT－CATアルゴリズムの提案
How to select the next item
推定ランク±１の範囲で
暫定RMPとIRPの差分ベクトルの積和平均が
最小となるものを選択し実施
IRP
D01
D02
R05
ItemID
Item001
0.27 0.41 0.59 0.70 0.75
Item001
0.14 0.18
Item002
0.42 0.47 0.58 0.72 0.82
Item002
0.05
Item003
Item003
0.04 0.09 0.13
Item004
0.24 0.27 0.36 0.49 0.60
0.28 0.32 0.42 0.56 0.66
Item004
0.04 0.10 0.13 0.10
Item005
0.50 0.56 0.66 0.75 0.81
Item005
0.06 0.10 0.09 0.06
･･･
･･･ ･･･ ･･･ ･･･
0.08 0.08 0.05 0.01
Item200
･･･
･･･
R04
IRPの差分ベクトル
R01
･･･
R03
D04
ItemID
･･･
R02
D03
･･･
･･･
0.73 0.81 0.89 0.94 0.95
Item200
D01
D02
D03
D04
0.11 0.04
0.11 0.14 0.10
0.11
18
LRT－CATアルゴリズムの提案
How to select the next item
推定ランク±１の範囲で
暫定RMPとIRPの差分ベクトルの積和平均が
最小となるものを選択し実施
IRPの差分ベクトル
① R01~ R04 と
D01~D04 の積和
② R02~ R05 と
D01~D04 の積和
①と②の平均が最
小になるものを次
の項目として選択
ItemID
D01
D02
D03
D04
Item001
0.14 0.18
Item002
0.05
Item003
0.04 0.09 0.13
Item004
0.04 0.10 0.13 0.10
Item005
0.06 0.10 0.09 0.06
･･･
･･･ ･･･ ･･･ ･･･
0.08 0.08 0.05 0.01
Item200
0.11 0.04
0.11 0.14 0.10
0.11
19
LRT－CATアルゴリズムの提案
How to select the next item
推定ランク±１の範囲で
暫定RMPとIRPの差分ベクトルの積和平均が
最小となるものを選択し実施
Van der Linden (1998)の中に出てくるMaximum Expected Posterior Weighted
Information という方法に相当し、おそらく、CATの初期（RMPなだらか）に
は、全般に識別力が高いIRPを持つ項目が選択され、CAT終期（RMPがとがっ
てくる）には、局所的に（受験者の暫定ランクの付近で）急峻なIRPを持つ項目
が選択されると思われる（荘島, personal communication, May 9, 2010）。
20
LRT－CATアルゴリズムの提案
How to end
① 暫定RMPの変化が一定値以下になった場合
② SEが一定以下の値になった場合
③ 実施項目数が一定数に達した場合
これらの条件を組み合わせてどのような条件でCATを終了させるのが最適か
は、シミュレーションによって確認することが可能である。
90～95%以上の受験者が終了条件に達する項目数を割り出し、またシミュレー
ションの結果、90～95%以上が真値とのずれが1ランク以内に収まる項目数を割
り出し、全員にその項目数を受験させるというのが現実的であろう。
21
今後の研究の方向性
LRTに基づき分析した英語テストのアイテムバンク（木
村・永岡, 2010）の一部を使い、LRT-CATを実施する場
合に、何項目で終了させるかについて、シミュレーショ
ンデータから探る。
Moodle上でLRTに基づくCATを実行するモジュール（秋
山・木村・荘島, 2011)により、実際にLRT-CATを実施
し、終了時の測定誤差やRMPの変化がどの程度であった
か確認する。
項目選択条件に改良を加え、時間短縮と測定精度の向上
だけでなく、受験者の自己効力感をそがずに、学習に対
するモチベーションを維持できる工夫をする。
22
今後の研究の方向性
項目選択方法については、シミュレーションによる検討
が必要（今回の方法はIRTで言えば、bパラメータについ
ては大まかに、aパラメータを詳細に吟味したものといえ
る）。
「暫定RMPとIRPの積和」から困難度および情報量を
重視した選択方法、単純に推定ランクとIRP指標βを使
う方法、これらを今回の方法と組み合わせた方法など
と比較する。
今回の方法で、各項目の使用頻度はどうだったのか検討
し、アイテムバンクをどのように拡充するか？
23
引用文献
秋山實・木村哲夫・荘島宏二郎(2011) LRTモデルに基づくCATの開発とシミュレーションに
よる特性解析．日本テスト学会 第9回大会 発表論文抄録集．
Binet, A., & Simon, Th. A. (1905). Méthode nouvelle pour le diagnostic du niveau intellectuel
des anormaux. L'Année Psychologique, 11, 191-244.
DeAyala, R. J. & Koch, W. R. (1986). A Computerized Implementation of a Flexilevel Test and
Its Comparison with a Bayesian Computerized Adaptive Test. (ERIC, ED269437).
Halkitis, P. N. (1993). A computer-adaptive testing algorithm. Rasch Measurement
Transactions 6:4, 245-5.
木村哲夫・永岡慶三（2010）Moodleによる小規模ＣＡＴ構築に向けて１：アイテムバンクの
拡充．JSET26講演論文集, 343-344.
Kimura, T. & Ohnishi, A. (2011). Moodle UCAT beta version: a computer-adaptive test module
based on Rasch model. JALTCALL 2011.
Linacre, J. M. (1987). UCAT: a BASIC computer-adaptive testing program. MESA
Psychometric Laboratory. (ERIC ED 280 895).
Lord, F. M. (1971). The self-scoring flexilevel test. Journal of Educational Measurement, 8,
147-151.
Shojima, K. (2007). Neural test theory. DNC Research Note, 07-02.
Shojima, K. (2008-). Exametrika Ver. 4.3 [Computer software]. Retrieved July 7, 2010, from
http://www.rd.dnc.ac.jp/~shojima/exmk/index.htm
Van der Linden, W. J. (1998). Bayesian item selection criteria for adaptive testing.
Psychometrika, 63, 201-216.
24
ご静聴ありがとうございました。
• 謝辞：
▫ 本研究の一部は、科学研究費補助金基盤研究(C)(課題番号：
22520590）を利用して行われました。
▫ データ分析に関して、大学入試センター研究開発部の荘島
宏二郎准教授より多くの助言をいただきました。ここに心
より感謝申し上げます。
木村哲夫([email protected])