Transcript 入試とプレイスメントテストのデータ処理TRP 言語

言語テストにおける段階評価の実際：
入試とプレイスメントテストのデータ処理
日本言語テスト学会第13回全国研究大会
２００９年９月７日
新潟青陵大学
木村哲夫
2
発表の概要
段階評価とは？
なぜ段階評価なのか？
入試における段階評価
プレイスメントテストにおける段階評価
3
段階評価とは？
能力を順序尺度上（潜在ランク）で評価する評価
ニューラルテスト理論(neural test theory:NTT)：自己組織
化マップ(self-organizing map, SOM)や生成トポグラフィッ
クマッピング(generative topographic mapping, GTM)のメ
カニズムを利用したノンパラメトリック・テスト理論
(Shojima, 2008)
古典的テスト理論（CTT)
間隔尺度
連続的
項目応答理論（IRT)
間隔尺度
連続的
ニューラルテスト理論（NTT)
順序尺度
段階的
4
なぜ段階評価か？：NTTの利点
テストはそもそも連続的に学力
①測定方法論的側 を評価できるほど信頼性が高い
測定道具ではなく、5～10段階
面
（解像度の問題） くらいにランク付けることがせ
いぜいである。
荘島(2008)
5
体重と体重計
• 現象（連続）
• 測定（高解像度）
3
荘島(2008)より引用
4
1
2
Weight
6
能力とテスト
• 現象（連続？）
• 測定（低信頼性・低解像度）
4
3
荘島(2008)より引用
2
1
Ability
7
なぜ段階評価か？：NTTの利点
連続尺度の負の側面
②教育社会学的側
面
•生徒たちは、日々、一点でも高
い得点をとるよう動機付けられ
ている。
•不安定な連続尺度の乱高下に一
喜一憂させるべきではない 。
順序尺度の正の側面
•段階評価は、連続尺度上での評
価よりも頑健
•継続して努力しないと上位ラン
クに進めない。
荘島(2008)
8
なぜ段階評価か？：NTTの利点
指導要録、通知票、調査書、
③教育現場の評価体 作品・レポート・実技テスト、
学力の文章表現など、教育現場
制の側面
で行われている評価体制は、順
序尺度に帰着する。
松宮・荘島(2008)
9
なぜ段階評価か？：NTTの利点
段階評価を導入すれことにより、
段階評価により区別される各能
力段階（潜在ランク）の特徴を、
Can-Do Chartとの関連で示すこ
④品質管理・アカウ
とが、連続尺度のもとで検討す
ンタビリティの側面 るよりも容易に行える。
テストから作成されたCan-Do
Chartはテストの説明資料・学力
達成への道標になる。
松宮・荘島(2009)
Shoujima(2009)
10
Continuous academic
ability evaluation scale
based on IRT or CTT
It is difficult to explain the
relationship between scores and
abilities because individual
abilities also change continuously
Graded evaluation
↓
Accountability
↓
Qualification test
For Qualifying Tests
Ordinal academic ability
evaluation scale based on
Neural Test Theory
Because the individual abilities also
change in stages, it is easy to explain
the relationship between scores and
abilities. This increases the test’s
accountability.
Shoujima(2009)より引用
11
項目分析手法とソフトウエア
項目分析手法
ソフトウエア
CTT
古典的テスト理論
TDAP (大友・中村・秋山)
IRT
1PLM(Rasch Model)
EasyEstimation，Easy
EstTheta (熊谷)
NTT
ニューラルテスト理論
neutet(橋本)
exametrica(荘島)
GNT
exametrica(荘島)
段階ニューラルテスト理論
※段階ニューラルテスト(graded neural test, GNT)モデル：多値の
順序データに対応するためのNTTの拡張モデル
12
入試データを段階評価にしたら
設問の種類
解答方法 項目数
配点
小計
会話応答
多肢選択
5
2
10
文法語彙
多肢選択
12
2
24
語句並び替え作文
多肢選択
4
4
16
長文内語句穴埋
多肢選択
10
2
20
長文読解
多肢選択
8
2
16
長文読解
正誤判断
14
1
14
合
53
計
100
•会話応答はリスニングではなくテキストを読む形式。
•多肢選択は作文を除き4択、作文は選択肢の語句を並び替え、2番目
と5番目を回答（片方正解は0点）。
•長文内語句穴埋と長文読解は、それぞれ2種類の文章からなる。
13
入試データを段階評価にしたら
ヒストグラム
60
50
40
頻 30
度
20
人 10
）
0
0
10
20
30
40
50
60
70
80
90
100
48.5
0.68
49
42
10.69
-0.075
0.014
19
79
249
(
基本統計量
平均
標準誤差
中央値
最頻値
標準偏差
尖度
歪度
最小
最大
標本数
データ区間(得点）
14
入試データを段階評価にしたら
通常の評価方法
素点をもとに、平均値と標準偏差
を調整、または中央値補正により、
他の試験科目とのバランスを取り
処理。
①すべての項目を2値データNTT
により処理。
②下位テスト(設問のタイプ)ごと
段階評価にした場合 に2値データNTTにより処理し、
その潜在ランクを段階NTT(GNT)
により、順序尺度として処理。
→今回は①により処理
15
入試データを段階評価にしたら
潜在ランク数(Q)を
いくつに分析すべき
か？
多い方が合否ボーダーを切りや
すいが、項目数と受験者数から、
分析の限界(弱順序配列を満たす
こと）がある。
素点合計と潜在ランクの相関（スピアマンの順位相関係数）
Q=10 Q=11 Q=12 Q=13 Q=14 Q=15 Q=16 Q=17 Q=18 Q=19
0.82 0.82 0.83 0.82 0.83 0.82 0.83 0.82 0.83 0.82
テスト適合度はランク数を増やしても大きく変わらないが、 RMPに基
づくテスト適合度はランク数を増やすにつれて下がる。今回はQ=10と
した場合の段階評価について、素点合計との差を見ることにする。
16
入試データを段階評価にしたら
順位相関0.82という 約67％の順位は一致しているが、
33％は順位が異なり、合否の判
ことは？
定が変わる。
ある学科で40人程度を入学させようとする場合
通常の評価方法
換算点順位37位まで44人合格
段階評価にした場合 潜在ランク10～８まで47人合格
17
入試データを段階評価にしたら
通常
NTT
通常
NTT
通常
NTT
通常
NTT
通常
NTT
1
2
2
2
5
6
7
7
10
10
12
12
14
14
17
17
22
22
22
22
22
29
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
29
32
32
37
37
45
45
55
17
37
45
14
17
28
32
37
37
37
37
45
51
55
10
10
10
10
10
10
10
10
9
9
9
8
8
8
8
8
8
8
8
8
8
8
88
93
96
22
51
51
55
62
67
67
73
73
73
73
73
82
88
93
112
29
32
55
8
8
8
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
7
6
6
6
62
62
73
73
88
101
101
101
101
7
32
45
62
67
67
73
82
82
82
88
101
112
6
6
6
6
6
6
6
6
6
5
5
5
5
5
5
5
5
5
5
5
5
5
112
117
118
135
55
55
55
62
73
93
101
112
118
118
124
130
136
17
37
51
67
82
5
5
5
5
4
4
4
4
4
4
4
4
4
4
4
4
4
3
3
3
3
3
18
入試データを段階評価にしたら
通常
NTT
通常
NTT
通常
NTT
45
10
55
8
32
6
45
10
88
8
7
5
55
10
93
8
32
5
45
9
96
8
17
3
45
8
22
7
37
3
51
8
29
6
19
入試データを段階評価にしたら
各項目の配点は恣意的に決められる。
通常の評価方法 識別力が高低にかかわらず、あらかじ
め 決められた配点によって重みづけら
れてしまう。
各項目がIRPによって重みづけられる。
段階評価(NTT)
の場合
識別力が高い項目に正答すればするほ
ど潜在ランクが高く 、誤答すればする
ほど潜在ランクが 低く推定される。
識別力が小さい項目に、いくら正答し
ようとも誤答しようとも、潜在ランク
の推定に影響を与えない。
20
入試データを段階評価にしたら
原因①：IRPが平坦な(識別
力が低い)項目がいくつか
あるため
文法語彙第10問のIRP
1.0
0.8
0.6
確
率 0.4
能力の低い受験生がたまた
ま正解しても、能力の高い
受験生がうっかり不正解し
ても潜在ランクの推定には
影響を与えない。
0.2
0.0
1 2 3 4 5 6 7 8 9 10
潜在ランク
21
入試データを段階評価にしたら
(10) Compared to Christmas in Western counties, in Japan it is very
much ( 15 ) oriented.
(A) commerce
(C) commercially
(B) commercial
(D) commercialized
段階評価の処理（NTT）
通常の処理（正解数）
26%
Top(55-79)
62%
39%
Middle(42-54)
38%
Bottom(19-41)
0%
A
44%
B
C(正解)
D
43%
32%
Bottom(1-3)
100%
57%
43%
Middle(4-6)
44%
50%
30%
Top (8-10)
0%
A
47%
50%
B
C(正解)
100%
D
22
入試データを段階評価にしたら
原因②：IRPが単調増加し
ない(識別力に問題がる)項
目がいくつかあるため
長文穴埋め第７問のIRP
1.0
0.8
0.6
確
率 0.4
中程度の能力の受験者には
魅力的に見える選択肢だ
が、低い能力の受験者は文
脈に関係なく自分の知って
いる語句の選択肢を選ん
で、偶然正解したのではな
いか？
0.2
0.0
1 2 3 4 5 6 7 8 9 10
潜在ランク
23
入試データを段階評価にしたら
What Vermont lacks in size, it makes up for in beauty. It is known as
the Green Mountain State. The name comes from the Green Mountains,
( which ) divide the state up and down the center. ( 32 ), the name
Vermont comes from the French "verd mont," meaning green mountain.
32
(A) As a result
(B) Finally
26%
63%
Middle(42-54)
25%
57%
Bottom(19-41)
25%
A
50%
B
Top (8-10)
C
D(正解)
24%
Bottom(1-3)
100%
63%
36%
Middle(4-6)
49%
0%
(D) In fact
段階評価の処理（NTT）
通常の処理（正解数）
Top(55-79)
(C) However
43%
15%
66%
0%
A
50%
B
C
D(正解)
100%
24
入試データを段階評価にしたら
恣意的な配点による素点に基づく通常の処理よりも、項
目のIRPによる重みづけによる段階評価による入試は
① 合否ボーダーラインを検討しやすいのではないか？
② テスト得点のみに頼った入試からの脱却につながるの
ではないか？
③ より優秀な学生を獲得できる可能性が高いのでは？
④ IRPやTRPを出題者にフィードバックすることで、次
年度問題作成において質の向上につながるのでは？
25
英語プレイスメントテスト作成の流れ
項目選択のための予備テスト
項
目
分
析
CTT：点双列相関係数(P.BIS)
IRT： 1PLMによる項目分析(ZL値)
NTT：項目参照プロファイル(IRP)
misfit の除去
Misfit除去の基準
Misfit Person：ZL ＜－1.96
Misfit Item：P.BIS＜0.25
プレイスメントテスト完成
26
予備テストの項目数と受験者数
受験者数 項目数 準1級
文法語彙問題(vg)
会話問題(dlg)
説明文問題(mlg)
222
157
119
80
47
35
25
12
---
2級
準2級
3級
20
15
15
20
10
10
15
10
10
2級
準2級
3級
10
7
7
13
2
5
7
4
7
misfit
の除去
受験者数 項目数 準1級
文法語彙問題(vg)
会話問題(dlg)
説明文問題(mlg)
193
142
112
32
13
19
2
0
---
27
2段階モデルによる英語プレイスメント
テストの分析
① 2008 疑似クラス分け(N=75)
② 2009 N短大のクラス分け(N=125)
NTT(Q=10)により下位
テストの潜在ランク
(Rvg, Rdlg, Rmlg)を求め
S 潜在ランク(Rvg, Rdlg, Rmlg)
U の単純和(SUM)をもとに
M ５クラス分け
G
T
N
潜在ランク(Rvg, Rdlg, Rmlg)
を項目としてGNT(Q=5)
により５クラス分け
• NTT分析は予備テストで得られたIRPを固定し、①はneutet、②はexametrikaを使
LRT-SOMモデルにより、潜在ランクの目標分布を指定せずに行った。
• GNTの分析はexametrikaを使いLRT-SOMモデルにより、 潜在ランクの目標分布を
一様分布として行った。
28
SUMによるクラス分けと
GNTによるクラス分けの相関
受験者数
① 2008
② 2009
75
125
第1段
NTT
ﾗﾝｸ数
10
第2段
GNT
ﾗﾝｸ数
5
10
5
0.95
10
10
0.92
順位
相関係数
0.93
•①のGNTをQ=10とした場合は、弱順序配列を満たさなかった
•順位相関係数はスピアマンの順位相関係数
29
下位テストのテスト参照プロファイル(TRP)
① 2008 (N=75)
20
得点
得点
25
15
10
5
0
Vg
1 2 3 4 5 6 7 8 9 10
潜在ランク
12
10
8
6
4
2
0
Dlg
15
得点
30
10
5
0
1 2 3 4 5 6 7 8 9 10
潜在ランク
Mlg
1 2 3 4 5 6 7 8 9 10
潜在ランク
Vg
1 2 3 4 5 6 7 8 9 10
潜在ランク
12
10
8
6
4
2
0
Dlg
15
得点
30
25
20
15
10
5
0
得点
得点
② 2009(N=125)
10
5
0
1 2 3 4 5 6 7 8 9 10
潜在ランク
Mlg
1 2 3 4 5 6 7 8 9 10
潜在ランク
30
GNTのテスト参照プロファイル(TRP)
② 2008(N=125)
14
14
12
12
10
10
8
8
得点
得点
① 2008 (N=75)
6
4
6
4
2
2
0
1
2
3
4
潜在ランク
5
0
1
2
3
4
潜在ランク
5
31
下位テストの相対潜在ランク分布(LRD)と
相対ランク・メンバーシップ分布(RMD)
① 2008 (N=75)
0.4
0.3
0.2
0.1
0.5
相対LRD
0.4
相対RMD
相対度数
相対度数
0.5
相対LRD
0.3
0.2
0.1
0.0
Vg
2 3 4 5 6 7 8 9 10
0.3
0.2
0.0
1
Dlg
潜在ランク
相対RMD
0.1
0.0
1
相対LRD
0.4
相対RMD
相対度数
0.5
2 3 4 5 6 7 8 9 10
1
Mlg
潜在ランク
2 3 4 5 6 7 8 9 10
潜在ランク
② 2009(N=125)
0.3
0.2
0.1
0.3
0.2
1
2 3 4 5 6 7 8 9 10
潜在ランク
相対RMD
0.3
0.2
0.1
0.0
0.0
1
Dlg
相対LRD
0.4
相対RMD
0.1
0.0
0.5
相対LRD
0.4
相対RMD
相対度数
相対度数
0.4
Vg
0.5
相対LRD
相対度数
0.5
2 3 4 5 6 7 8 9 10
潜在ランク
1
Mlg
2 3 4 5 6 7 8 9 10
潜在ランク
32
GNTの相対潜在ランク分布(LRD)と
相対ランク・メンバーシップ分布(RMD)
② 2009(N=125)
0.30
0.30
0.24
0.24
0.18
相対LRD
相対RMD
0.12
相対度数
相対度数
① 2008 (N=75)
0.18
0.06
0.06
0.00
0.00
1
2
3
4
潜在ランク
5
相対LRD
相対RMD
0.12
1
2
3
4
潜在ランク
5
33
GNTの項目参照プロファイル(IRP)
① 2008 (N=75)
② 2009(N=125)
5.0
5.0
4.0
4.0
3.0
RVg
RDlg
RMlg
2.0
1.0
0.0
1
2
3
4
LATENT RANK
5
3.0
RVg
RDlg
RMlg
2.0
1.0
0.0
1
2
3
4
LATENT RANK
5
34
GNTの境界カテゴリ参照プロファイル(BCRP)
① 2008 (N=75)
1.0
1.0
RVg
0.8
1
1.0
RDlg
0.8
1
0.8
RMlg
1
0.6
2
0.6
2
0.6
2
0.4
3
0.4
3
0.4
3
4
0.2
5
0.0
4
0.2
5
0.0
1
2
3
4
5
4
0.2
5
0.0
1
2
3
4
5
1
2
3
4
5
② 2008(N=125)
1.0
1.0
RVg
0.8
1
0.8
1.0
RDlg
1
0.6
2
0.6
2
0.4
3
0.4
3
4
0.2
5
0.0
4
0.2
5
0.0
1
2
3
4
5
1
2
3
4
5
0.8
RMlg
1
0.6
2
0.4
3
4
0.2
5
0.0
1
2
3
4
5
35
GNTの項目カテゴリ参照プロファイル(ICRP)
① 2008 (N=75)
1.0
1.0
RVg
0.8
1
1.0
RDlg
0.8
1
RMlg
0.8
1
0.6
2
0.6
2
0.6
2
0.4
3
0.4
3
0.4
3
4
0.2
5
0.0
4
0.2
5
0.0
1
2
3
4
5
4
0.2
5
0.0
1
2
3
4
5
1
2
3
4
5
① 2008 (N=125)
1.0
1.0
RVg
0.8
1
1.0
RDlg
0.8
1
RMlg
0.8
1
0.6
2
0.6
2
0.6
2
0.4
3
0.4
3
0.4
3
4
0.2
5
0.0
4
0.2
5
0.0
1
2
3
4
5
4
0.2
5
0.0
1
2
3
4
5
1
2
3
4
5
36
2段階モデルによる英語プレイスメント
テストの分析（まとめ）
NTTとGNTの2段階で分析することで、クラス(能
力）の境界を解釈・設定しやすくなる。
予備テストで識別力の高い項目を用意した場合
SUMでもGNTでもほぼ同様のクラス分けができる。
SUMとGNTによるクラス分けで異なる結果が出るの
は、GNTは下位テストの識別力の差を考慮するため
であろう。
GNTで一様分布を指定することで、より均等なクラ
ス分けが実現する。
37
2段階モデルによる英語プレイスメント
テストの分析（今後に向けて）
下位テストに読解問題を加える(GNTによる分析）
英語基礎力の構成概念の妥当性の検討
各下位テストに項目数を増やし(等化）アイテムバ
ンクを構築・公開：学校(教員)間での共有
各下位テストをMoodle-based CATにする
潜在ランクを何らかのCan-D0-Chartへ対応づける
38
ご静聴ありがとうございました。
本英語プレイスメントテスト実施ご希望の方、
本研究についてご質問のある方は、
[email protected]
あてにご連絡ください。