Transcript 識別力指標 識別力指標 困難度指標

新潟大学 熊谷龍一


NTTにおいても，項目の特徴を記述するような指標
が欲しい．
2パラメタ・ロジスティック・モデルで言えば，識別力・
困難度パラメタのようなもの．

項目参照プロファイルを項目特性曲線に見立てて…
1.0
Pj ( 6 )
正
答 0.5
確
率
Pj (1 )
0.0
θ1
θ2
θ3
θ4
θ5
θ6
潜在特性ランク
θ7
θ8
θ9
θ10
順序尺度



識別力指標
困難度指標
安定性指標
1.0
正
答 0.5
確
率
0.0
θ1
θ2
θ3
θ4
θ5
θ6
潜在特性ランク
θ7
θ8
θ9
θ10
 「１ランク上位の潜在特性ランクとの
正答確率差の最大値」
1.0
正
答 0.5
確
率
P6   P5   0.65  0.18  0.47
0.0
θ1
θ2
θ3
θ4
θ5
θ6
潜在特性ランク
θ7
θ8
θ9
θ10
1.0
正
答 0.5
確
率
特性値上で表現！
0.0
θ1
θ2
θ3
θ4
θ5
θ6
潜在特性ランク
θ7
θ8
θ9
θ10
 「正答確率が50％を超えた潜在特
性ランクの位置（1ランク下位の正答
確率が50％未満）」
1.0
正
答 0.5
確
率
0.0
θ1
θ2
θ3
θ4
θ5
θ6
潜在特性ランク
θ7
θ8
θ9
 6 [0.65]
θ10
1.0
正
答 0.5
確
率
0.0
θ1
θ2
θ3
θ4
θ5
θ6
θ7
θ8
θ9
θ10
潜在特性ランク
1.0
正
答 0.5
確
率
0.0
θ1
θ2
θ3
θ4
θ5
θ6
潜在特性ランク
θ7
θ8
θ9
θ10
1.0
正
答 0.5
確
率
0.0
θ1
θ2
θ3
θ4
θ5
θ6
潜在特性ランク
θ7
θ8
θ9
θ10
1.0
正
答 0.5
確
率
0.0
θ1
θ2
θ3
θ4
θ5
θ6
潜在特性ランク
θ7
θ8
θ9
θ10
 「1ランク上位の潜在特性ランクとの
正答確率差が負になったものにお
ける正答確率の総和」
,
,
,
1.0
正
答 0.5
確
率
P6   P5 
P8   P7 
P3   P 2 
P9   P8 
-1.61
0.0
θ1
θ2
θ3
θ4
θ5
θ6
潜在特性ランク
θ7
θ8
θ9
θ10
Pj ( q )
そのものを項目母数と見なし，局所独立
の仮定を置けば，IRTの時と全く同じ計算で，母
数の推定ができる．（周辺最尤推定法，E-Mア
ルゴリズム）
 P ( ) 1  P ( )
N
L
n
uij
j
i 1 j 1
i
j
i
(1uij )
f i | π

NTTで使用しているSOMでは，同じデータであっても，
計算を実行するたびに，若干結果が異なる．
→周辺最尤推定法で解けば，常に同じ値．

2パラメタ・ロジスティック・モデルの元でシミュレーショ
ンデータを発生
識別力
困難度
item1
item2
item3
item4
item5
item6
item7
item8
item9
item10
item11
item12
item13
item14
item15
item16
0.78
0.62
0.51
0.66
0.53
0.57
0.72
0.76
0.61
0.64
0.76
1.28
0.83
0.70
1.01
0.71
-2.81
-1.33
-1.11
-0.41
-0.28
-0.25
-0.23
-0.04
0.03
0.03
0.07
0.21
0.26
0.80
1.07
1.16
N＝5000の場合
item001
1.0
item002
1.0
item003
1.0
0.5
0.5
0.5
0.5
0.0
0.0
0.0
0.0
θ1
θ3
θ5
θ7
θ9
item005
1.0
θ1
θ3
θ5
θ7
θ9
θ1
item006
1.0
θ3
θ5
θ7
θ1
θ9
item007
1.0
0.5
0.5
0.5
0.0
0.0
0.0
0.0
θ3
θ5
θ7
θ9
item009
1.0
θ1
θ3
θ5
θ7
θ9
θ1
item010
1.0
θ3
θ5
θ7
item011
1.0
θ1
θ9
0.5
0.5
0.5
0.0
0.0
0.0
0.0
θ1
θ3
θ5
θ7
θ9
item013
1.0
θ1
θ3
θ5
θ7
θ9
θ1
item014
1.0
θ3
θ5
θ7
item015
1.0
θ1
θ9
0.5
0.5
0.5
0.0
0.0
0.0
0.0
θ1
θ3
θ5
θ7
θ9
θ1
θ3
θ5
θ7
θ9
θ1
θ3
θ5
θ7
θ9
θ7
θ9
θ3
θ5
θ7
θ9
θ3
θ5
θ7
θ9
θ7
θ9
item016
1.0
0.5
θ5
item012
1.0
0.5
θ3
item008
1.0
0.5
θ1
item004
1.0
θ1
θ3
θ5
項目番号
item001
item002
item003
item004
item005
item006
item007
item008
item009
item010
item011
item012
item013
item014
item015
item016
識別
0.13
0.16
0.11
0.20
0.16
0.11
0.19
0.12
0.15
0.15
0.11
0.16
0.12
0.21
0.27
0.16
離散変数型IRT
困難度
安定性
R01(0.80)
0.00
R02(0.55)
0.00
R02(0.50)
0.00
R04(0.55)
0.00
R05(0.51)
0.00
R06(0.60)
0.00
R05(0.51)
0.00
R06(0.57)
0.00
R06(0.58)
0.00
R06(0.51)
0.00
R06(0.53)
0.00
R06(0.52)
0.00
R07(0.57)
0.00
R09(0.55)
0.00
R10(0.77)
0.00
R09(0.52)
0.00
識別
0.03
0.12
0.33
0.27
0.11
0.13
0.14
0.18
0.12
0.13
0.13
0.20
0.23
0.17
0.34
0.18
NTT
困難度
R01(0.89)
R02(0.50)
R02(0.53)
R04(0.62)
R05(0.56)
R06(0.64)
R05(0.56)
R06(0.66)
R06(0.59)
R07(0.60)
R06(0.56)
R07(0.66)
R07(0.59)
R09(0.64)
R10(0.80)
R09(0.60)
安定性
0.00
0.00
-0.18
-0.07
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
-0.01
-0.08
0.00

シミュレーションデータ生成に使用した識別力母数と
「識別力指標」の相関
離散変数型IRT .31
NTT
.23

困難度母数と「困難度指標」におけるスピアマンの順
位相関係数
離散変数型IRT .96
NTT
.96
1000
900
800
700
600
度 500
数
400
300
200
100
0
離散変数型IRT
NTT
θ1 θ2 θ3 θ4 θ5 θ6 θ7 θ8 θ9 θ10
潜在特性ランク

常に5000名ものデータ数を用意できる訳ではない..．

N=200（その他の条件はN=5000と同じ）
item001
1.0
item002
1.0
item003
1.0
0.5
0.5
0.5
0.5
0.0
0.0
0.0
0.0
θ1
θ3
θ5
θ7
θ9
item005
1.0
θ1
θ3
θ5
θ7
θ9
item006
1.0
θ1
θ3
θ5
θ7
θ9
item007
1.0
θ1
0.5
0.5
0.5
0.0
0.0
0.0
0.0
θ3
θ5
θ7
θ9
item009
1.0
θ1
θ3
θ5
θ7
θ9
item010
1.0
θ1
θ3
θ5
θ7
θ9
item011
1.0
θ1
0.5
0.5
0.5
0.0
0.0
0.0
0.0
θ1
θ3
θ5
θ7
θ9
item013
1.0
θ1
θ3
θ5
θ7
θ9
item014
1.0
θ1
θ3
θ5
θ7
θ9
item015
1.0
θ1
0.5
0.5
0.5
0.0
0.0
0.0
0.0
θ1
θ3
θ5
θ7
θ9
θ1
θ3
θ5
θ7
θ9
θ1
θ3
θ5
θ7
θ9
θ7
θ9
θ3
θ5
θ7
θ9
θ3
θ5
θ7
θ9
θ7
θ9
item016
1.0
0.5
θ5
item012
1.0
0.5
θ3
item008
1.0
0.5
θ1
item004
1.0
θ1
θ3
θ5
項目番号
item001
item002
item003
item004
item005
item006
item007
item008
item009
item010
item011
item012
item013
item014
item015
item016
識別
0.25
0.30
0.69
0.79
0.76
0.46
0.39
0.68
0.53
0.60
0.56
0.62
1.00
0.34
0.53
0.36
離散変数型IRT
困難度
安定性
R01(0.75)
-0.22
R02(0.54)
-0.48
R02(0.57)
-0.62
R04(0.71)
-0.71
R02(0.74)
-1.31
R05(0.50)
-0.97
R03(0.73)
-0.92
R06(0.75)
-0.93
R05(0.82)
-0.95
R03(0.83)
-0.89
R04(0.66)
-0.60
R07(0.98)
-0.51
R06(1.00)
-0.95
R09(0.66)
-0.53
R08(0.73)
-0.60
R09(0.70)
-0.37
識別
0.03
0.15
0.12
0.19
0.13
0.09
0.07
0.14
0.21
0.21
0.18
0.14
0.26
0.19
0.19
0.13
NTT
困難度
R01(0.91)
R02(0.58)
R02(0.52)
R04(0.63)
R03(0.55)
R06(0.56)
R03(0.53)
R07(0.58)
R05(0.65)
R03(0.50)
R04(0.56)
R07(0.60)
R06(0.54)
R09(0.52)
R09(0.60)
R10(0.54)
安定性
-0.01
-0.05
-0.01
-0.04
-0.01
0.00
0.00
-0.02
-0.07
-0.17
-0.10
0.00
-0.02
-0.03
0.00
-0.02

シミュレーションデータ生成に使用した識別力母数と
「識別力指標」の相関
離散変数型IRT .05
NTT
.10

困難度母数と「困難度指標」におけるスピアマンの順
位相関係数
離散変数型IRT .88
NTT
.86
40
35
30
離散変数型IRT
NTT
25
度 20
数
15
10
5
0
θ1 θ2 θ3 θ4 θ5 θ6 θ7 θ8 θ9 θ10
潜在特性ランク

受験者数に比べてランク数が多すぎた？

ランク数を5として分析
item005
項目番号
item001
item002
item003
item004
item005
item006
item007
item008
item009
item010
item011
item012
item013
item014
item015
item016
識別
0.08
0.31
0.32
0.30
0.30
0.32
0.42
0.28
0.83
0.47
0.22
0.38
0.66
0.44
0.35
0.23
離散変数型IRT
困難度
安定性
R01(0.86 )
-0.03
R02(0.76 )
-0.01
R01(0.61 )
-0.11
R02(0.52 )
0.00
R03(0.71 )
-0.14
R04(0.69 )
-0.03
R02(0.51 )
-0.21
R04(0.62 )
-0.03
R03(0.87 )
-0.46
R02(0.53 )
-0.19
R03(0.51 )
0.00
R04(0.62 )
0.00
R04(0.97 )
-0.13
R05(0.78 )
0.00
R05(0.76 )
0.00
R05(0.56 )
0.00
1.0
正
答 0.5
確
率
0.0
θ1
θ2
θ3
θ4
θ5
潜在特性ランク
item009
1.0
正
答 0.5
確
率
0.0
θ1
θ2
θ3
潜在特性ランク
θ4
θ5

各種指標について
◦ 識別力指標：識別力母数と相関無し
◦ 困難度指標：困難度母数と高い相関
◦ 安定性指標：項目母数の推定が上手くいったかどうかにも使
用できた

周辺最尤推定法による母数推定について
◦ 受験者数が少なくなると，ランクに割り当てられる人数が少な
くなり，適切に母数推定ができない？
http://irtanalysis.main.jp/