Transcript Q - 大学入試センター

ニューラルテスト理論
荘島宏二郎
大学入試センター 研究開発部
[email protected]
導入
母数の推定 モデルの
柔軟性
パラメトリック
簡単
柔軟でない
IRTモデル
ノンパラメトリック
簡単でない
柔軟
IRTモデル
• 計算が簡単で，推定も簡単なモデルがいい
• 自己組織化マップ(SOM)のメカニズムを応用したモ
デルを提案
導入
• パラメトリックIRTモデル
– メリット：推定が簡単
– デメリット：モデルが柔軟じゃない
• ノンパラメトリックIRTモデル
– メリット：モデルが柔軟
– デメリット：推定が困難
• 計算が簡単で，柔軟なモデルがいい
• 自己組織化マップ(SOM)のメカニズムを応用
したモデルを提案
Self-Organizing Map (SOM)
is
has
likes to
Swim
Fly
Run
Hunt
Feather
Mane
Hooves
Hair
Four legs
Two legs
Big
Medium
Small
Dove
Hen
Duck
Goos
e
Owl
Hawk
Eagle
Fox
Dog
Wolf
Cat
Tiger
Lion
Horse
Zebra
Cow
1 0 0 1 0 0 0 0 1 0 0 1 0
1 0 0 1 0 0 0 0 1 0 0 0 0
1 0 0 1 0 0 0 0 1 0 0 1 1
1 0 0 1 0 0 0 0 1 0 0 1 1
1
1
0
0
0
0
1
0
0
0
0
0
0
0
1
1
1
1
0
0
0
0
0
0
0
0
0
0
0
0
0
1
1
1
1
1
1
1
1
0
0
0
0
0
0
0
0
0
0
0
0
1
1
1
1
1
1
1
1
1
0
0
0
1
1
1
1
1
1
1
1
1
0
0
0
0
0
0
0
0
0
1
1
1
0
0
0
0
0
1
0
0
1
1
1
0
1
1
1
0
0
0
0
0
0
0
0
0
1
1
1
1
0
1
1
1
1
0
0
0
0
0
0
0
1
1
0
1
1
1
1
0
1
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
SOMのメカニズム
目的
• 通常のSOMは，2次元マップを用いる
• 1次元や3次元で用いることもできるが，ほと
んど用いられない
• 1次元SOMをニューラルテスト理論として実
現する
• SOMそのままの実装では，テスト理論として
うまくいかないことも多いので工夫が必要
ニューラルテスト理論のメカニズム
Response
1
0
Test Length or
Number of Items
0
1
0
1
0
0
1
0
1
0
1
0
1
0
Latent Rank or Latent Order
0
1
Notation
•
•
•
•
項目数 n
標本サイズ N
潜在ランクノード r1,・・・,rQ
各ノード rq の参照ベクトル vq 初期値
– vq =[q/Q ・・・ q/Q]’ (n×1) (q=1,・・・,Q)
• 反応ベクトル
– ui =[1 0 1 ・・・ 1]’ (n×1) (i=1,・・・,N)
競合学習(Competition Learning)
• 勝者ノード(winner node)
– rw: w=arg minq∈Q {d(vq,ui)}
– 多くの場合，dはユークリッド距離 ||vq-ui||
• 参照ベクトルの更新
– vq(t +1)=vq(t)+ hqw(t)(ui - vq(t))
22/2σ2}2}
αt exp{-(r
– hqw(t|α,σ2)=αt exp{-||v
q-r
w)/2σ
q-v
w||
tt
• αt=α1-(t-1)α1/T
• σt=σ1-(t-1)(σ1-0.5)/T
• (α1,σ1,T)=(1/Q,Q,100)
Analysis
• World History
– n=36
– N=2,049
FREQUENCY
150
125
100
75
50
25
0
0
5
10 15 20 25 30 35
SCORE
Item Reference Profile
Latent Rank or Latent Order
PROBABILITY
2
4
6
8
LATENT RANK
10
PROBABILITY
2
Item 9
1
0.8
0.6
0.4
0.2
4
6
8
LATENT RANK
2
4
6
8
LATENT RANK
10
4
6
8
LATENT RANK
2
4
6
8
LATENT RANK
2
2
4
6
8
LATENT RANK
10
4
6
8
LATENT RANK
10
Item 8
1
0.8
0.6
0.4
0.2
10
2
Item 11
1
0.8
0.6
0.4
0.2
Item 4
1
0.8
0.6
0.4
0.2
10
Item 7
1
0.8
0.6
0.4
0.2
10
Item 10
1
0.8
0.6
0.4
0.2
PROBABILITY
2
Item 6
1
0.8
0.6
0.4
0.2
10
10
PROBABILITY
4
6
8
LATENT RANK
4
6
8
LATENT RANK
PROBABILITY
2
Item 3
1
0.8
0.6
0.4
0.2
PROBABILITY
10
Item 5
1
0.8
0.6
0.4
0.2
2
PROBABILITY
4
6
8
LATENT RANK
PROBABILITY
PROBABILITY
2
Item 2
1
0.8
0.6
0.4
0.2
PROBABILITY
Item 1
1
0.8
0.6
0.4
0.2
PROBABILITY
PROBABILITY
IRP of Items 1-12
4
6
8
LATENT RANK
10
Item 12
1
0.8
0.6
0.4
0.2
2
4
6
8
LATENT RANK
10
PROBABILITY
2
4
6
8
LATENT RANK
10
PROBABILITY
2
Item 21
1
0.8
0.6
0.4
0.2
4
6
8
LATENT RANK
2
4
6
8
LATENT RANK
10
4
6
8
LATENT RANK
2
4
6
8
LATENT RANK
2
2
4
6
8
LATENT RANK
10
4
6
8
LATENT RANK
10
Item 20
1
0.8
0.6
0.4
0.2
10
2
Item 23
1
0.8
0.6
0.4
0.2
Item 16
1
0.8
0.6
0.4
0.2
10
Item 19
1
0.8
0.6
0.4
0.2
10
Item 22
1
0.8
0.6
0.4
0.2
PROBABILITY
2
Item 18
1
0.8
0.6
0.4
0.2
10
10
PROBABILITY
4
6
8
LATENT RANK
4
6
8
LATENT RANK
PROBABILITY
2
Item 15
1
0.8
0.6
0.4
0.2
PROBABILITY
10
Item 17
1
0.8
0.6
0.4
0.2
2
PROBABILITY
4
6
8
LATENT RANK
PROBABILITY
PROBABILITY
2
Item 14
1
0.8
0.6
0.4
0.2
PROBABILITY
Item 13
1
0.8
0.6
0.4
0.2
PROBABILITY
PROBABILITY
IRP of Items 13-24
4
6
8
LATENT RANK
10
Item 24
1
0.8
0.6
0.4
0.2
2
4
6
8
LATENT RANK
10
PROBABILITY
2
4
6
8
LATENT RANK
10
PROBABILITY
2
Item 33
1
0.8
0.6
0.4
0.2
4
6
8
LATENT RANK
2
4
6
8
LATENT RANK
10
4
6
8
LATENT RANK
2
4
6
8
LATENT RANK
2
2
4
6
8
LATENT RANK
10
4
6
8
LATENT RANK
10
Item 32
1
0.8
0.6
0.4
0.2
10
2
Item 35
1
0.8
0.6
0.4
0.2
Item 28
1
0.8
0.6
0.4
0.2
10
Item 31
1
0.8
0.6
0.4
0.2
10
Item 34
1
0.8
0.6
0.4
0.2
PROBABILITY
2
Item 30
1
0.8
0.6
0.4
0.2
10
10
PROBABILITY
4
6
8
LATENT RANK
4
6
8
LATENT RANK
PROBABILITY
2
Item 27
1
0.8
0.6
0.4
0.2
PROBABILITY
10
Item 29
1
0.8
0.6
0.4
0.2
2
PROBABILITY
4
6
8
LATENT RANK
PROBABILITY
PROBABILITY
2
Item 26
1
0.8
0.6
0.4
0.2
PROBABILITY
Item 25
1
0.8
0.6
0.4
0.2
PROBABILITY
PROBABILITY
IRP of Items 25-36
4
6
8
LATENT RANK
10
Item 36
1
0.8
0.6
0.4
0.2
2
4
6
8
LATENT RANK
10
Latent Rank Estimation
• 勝者ノードの決め方と同じ
• rw: w=arg minq∈Q {d(vq,ui)}
– 多くの場合，dはユークリッド距離 ||vq-ui||
10
8
2
4
6
8
LATENT RANK
10
FREQUENCY
Test Reference Profile
LATENT RANK
SCORE
35
30
25
20
15
10
5
6
4
2
300
250
200
150
0
100
50
2
4
6
8
LATENT RANK
10
Latent Rank Distribution
5
10
15 20 25
SCORE
30
35
Scatter Plot of
Scores and Latent Ranks
PROBABILITY
1
2
3
4
LATENT RANK
5
PROBABILITY
1
Item 9
1
0.8
0.6
0.4
0.2
2
3
4
LATENT RANK
1
2
3
4
LATENT RANK
5
2
3
4
LATENT RANK
1
2
3
4
LATENT RANK
1
1
2
3
4
LATENT RANK
5
2
3
4
LATENT RANK
5
Item 8
1
0.8
0.6
0.4
0.2
5
1
Item 11
1
0.8
0.6
0.4
0.2
Item 4
1
0.8
0.6
0.4
0.2
5
Item 7
1
0.8
0.6
0.4
0.2
5
Item 10
1
0.8
0.6
0.4
0.2
PROBABILITY
1
Item 6
1
0.8
0.6
0.4
0.2
5
5
PROBABILITY
2
3
4
LATENT RANK
2
3
4
LATENT RANK
PROBABILITY
1
Item 3
1
0.8
0.6
0.4
0.2
PROBABILITY
5
Item 5
1
0.8
0.6
0.4
0.2
1
PROBABILITY
2
3
4
LATENT RANK
PROBABILITY
PROBABILITY
1
Item 2
1
0.8
0.6
0.4
0.2
PROBABILITY
Item 1
1
0.8
0.6
0.4
0.2
PROBABILITY
PROBABILITY
IRP of Items 1-12 (Q=5)
2
3
4
LATENT RANK
5
Item 12
1
0.8
0.6
0.4
0.2
1
2
3
4
LATENT RANK
5
5
4
1
2
2 4
3 6
48
LATENT
LATENT RANK
RANK
10
5
FREQUENCY
Test Reference Profile
300
500
250
400
200
300
150
200
100
LATENT RANK
SCORE
(Q=5)
35
35
30
30
25
25
20
20
15
15
10
10
55
3
2
1
0
100
50
1
2
2 4
36
48
LATENT
LATENT RANK
RANK
10
5
Latent Rank Distribution
5
10
15 20
SCORE
25
30
35
Scatter Plot of
Scores and Latent Ranks
PROBABILITY
2
4
6
8
LATENT RANK
10
PROBABILITY
2
Item 9
1
0.8
0.6
0.4
0.2
4
6
8
LATENT RANK
2
4
6
8
LATENT RANK
10
4
6
8
LATENT RANK
2
4
6
8
LATENT RANK
2
2
4
6
8
LATENT RANK
10
4
6
8
LATENT RANK
10
Item 8
1
0.8
0.6
0.4
0.2
10
2
Item 11
1
0.8
0.6
0.4
0.2
Item 4
1
0.8
0.6
0.4
0.2
10
Item 7
1
0.8
0.6
0.4
0.2
10
Item 10
1
0.8
0.6
0.4
0.2
PROBABILITY
2
Item 6
1
0.8
0.6
0.4
0.2
10
10
PROBABILITY
4
6
8
LATENT RANK
4
6
8
LATENT RANK
PROBABILITY
2
Item 3
1
0.8
0.6
0.4
0.2
PROBABILITY
10
Item 5
1
0.8
0.6
0.4
0.2
2
PROBABILITY
4
6
8
LATENT RANK
PROBABILITY
PROBABILITY
2
Item 2
1
0.8
0.6
0.4
0.2
PROBABILITY
Item 1
1
0.8
0.6
0.4
0.2
PROBABILITY
PROBABILITY
Monotonically Increasing IRP of Items 1-12
4
6
8
LATENT RANK
10
Item 12
1
0.8
0.6
0.4
0.2
2
4
6
8
LATENT RANK
10
10
2
4
6
8
LATENT RANK
Test Reference Profile
FREQUENCY
8
10
400
350
300
250
200
150
100
50
LATENT RANK
SCORE
Monotonically
Increasing NTT
35
30
25
20
15
10
5
6
4
2
0
2
4
6
8
LATENT RANK
10
Latent Rank Distribution
5
10
15 20 25
SCORE
30
35
Scatter Plot of
Scores and Latent Ranks
1
1 1
1 2 2 2 3
3 2
2
2 2 1 3
2
0 2
0 0 3 3 1 1
0
1
3
0
0 0 0 1
3 3
0
2
4
6
8 10
LATENT RANK
Item 9
0
1
2
3
1
2
0
3
1
2
0
3
2
4
LATENT
1 1
2 2
0 0
3 3
3
2
2
2
3
2
1 1
2
1
3
3
0 3
0 0 1
0 1
0
6
8 10
RANK
1 1 1
2
1
3
0
2 2 3
2 1
1
2
1 2 1 3 2
2
0 0
0 3
3 1
2 2
3
0 0 0 1
0 3
3 3 3 0
0
2
4
6
8 10
LATENT RANK
1
0.8
0.6
0.4
0.2
0
1
0.8
0.6
0.4
0.2
0
Item 10
0 0 0 0 0 1 1
1 1 1 1 1 0 2
2 2 2 2 2 2 0
3 3 3 3 3 3 3
1
0
10
PROBABILITY
3
2
Item 7
PROBABILITY
PROBABILITY
PROBABILITY
1
0.8
0.6
0.4
0.2
0
Item 6
3
1
0
2
3
2
1 1
0 0
10
2
3
1
0
0 0 0 0 0 1
1 2
1 1 1 1 1 0 2 1
2
2 2 2 2 2 3 0
0
3 3
3
3
3
3
3
2
4
6
8
LATENT RANK
3
2
3 2
1
0 1
0
10
PROBABILITY
1
0.8
0.6
0.4
0.2
0
Item 5
1
0.8
0.6
0.4
0.2
0
3
2
Item 4
1
0.8
0.6
1 1 1 1 2
1 1
0.4 0
0 1
0 0
2 2 1
0
0.2 2 2 2 2 2
0
3 3
3 0
0
0 3 3 3 3 3
2
4
6
8
LATENT RANK
Item 8
1
0.8
0.6 0 0 0 0 0
1 1
0.4
1
1 1 1 1 1 0 2 2
0.2
0 0
2
3
2 2
3 2
0 3
3 2
3 2
3 3 3
2
4
6
8
LATENT RANK
Item 11
3
2
3 2
1
0 1
0
2
4
6
8 10
LATENT RANK
2
1
3
0
0 0 0 0
1 1 1 2
1 1 1 1 0
1
0
0
2
2
2 2 2 2 2
0
3
3 3 3 3 3 3 3
2
4
6
8
LATENT RANK
2
3
1
0
3
2
1
0
10
3
2 2
3
1
0 1
0
10
Item 12
2
1
3
0
2
3
1
0
10
PROBABILITY
1
0.8
0.6
0.4
0.2
0
1
2
0
3
3
PROBABILITY
2
3
1
0
10
2 2
1 1 2
2 2
1
3
1 1 1
0 2
2
0
3 1
3
3
0 0 0 0 0
3 3 3
2
4
6
8
LATENT RANK
Item 3
1
0.8
2
0.6 0 1 2
1
1 2
2
0.4 1
1
2
1
0 0 1
0.2
3
0
2
2 3 3
1 3
0 3 3 0
2 3 0 0
0 3
2
4
6
8
LATENT RANK
PROBABILITY
2
1
3
0
PROBABILITY
Item 2
1
0.8
0.6
0.4
0.2
0
PROBABILITY
Item 1
1
0.8
0.6
1 1
0.4 0
0 1
0 1 1 1
1
1 2
2 2 2
0
2
0.2 2 2 2
0 0
0 3
3 3 3
0
0 3 3 3 3
2
4
6
8
LATENT RANK
PROBABILITY
PROBABILITY
NTT for Polytomous Response
1
0.8
0.6
0.4
0.2
0
1
0
2
3
1
0
2
3
2
1
0
2
3
3
1
2
0
3
2
1
3
0
2
1
3
0
2
1
3
0
2
1
3
0
3
2
2
1
0 1
0
4
6
8 10
LATENT RANK
10
2
8
6
4
LATENT RANK
Test Reference Profile
FREQUENCY
8
10
LATENT RANK
SCORE
NTT for
Polytomous Response
35
30
25
20
15
10
5
300
250
200
150
100
50
6
4
2
0
2
4
6
8
LATENT RANK
10
Latent Reference Distribution
5
10
15 20 25
SCORE
30
35
Scatter Plot of
Score and Latent Order
Neural Test Theoryの特徴
• 高次元多様体を非線形に順序付け，1次元
の配列に写像する
– 計算が簡単
– 多値を表現できる（多次元も）
– 欠測の表現も簡単
– いろいろなやり方でIRSを表現できる
– 被験者をランク付ける
– 現象の表現力は高いが，柔軟すぎてモデルとし
て使うには工夫が必要
課題
• IRTにおける項目情報量やモデルフィットに対
応する概念を充実していく必要がある
• わずかだが毎回解が異なる
– 経験的に収束基準を定めていく必要がある