Transcript ニューラルテスト理論に おけるDIF指標の提案 新潟大学全学教育機構

ニューラルテスト理論に
おけるDIF指標の提案
新潟大学全学教育機構
熊谷 龍一
ＤＩＦ（特異項目機能）について
「テストが測定しようとしている特性・能力が
等しいにもかかわらず、所属する下位集
団によって正答率が異なってしまう」
（例：知能検査での男女差）
ＤＩＦ（特異項目機能）について
DIF検出の方法
Lordのχ2法
Thissen他のデザイン行列による方法
BILOG-MGのDIFコマンド
Mantel-Haenszel法
SIBTEST …など
ＤＩＦ（特異項目機能）について
⇒ IRTの文脈では
「項目パラメタの不変性が下位集団で
正
成立していない」
答 0.5
確
率
(渡辺・野口, 1999)
1.0
集団１
集団２
0.0
-4.0
-3.0
-2.0
-1.0
0.0
1.0
潜在特性尺度値
2.0
3.0
4.0
ＮＴＴで表現すると…
1.0
Probability
0.8
0.6
0.4
group1
group2
0.2
0.0
1
2
3
4
5
6
7
潜在ランク
8
9
10
本発表で提案する方法
IRTの枠組みで提案されてきた熊
谷・山口・小林（2005）および熊谷
（2007）を，ニューラルテスト理論に
応用する
DIF指標の計算方法
１．データ行列の分解
Thissen, Steinberg, & Wainer(1993)に
よるデザイン行列の作成。
１．データ行列の分解
item
１ ２ ３ ４ ５ ６ …
Ｇｒｏｕｐ１
Ｇｒｏｕｐ２
Ｎ
１．データ行列の分解
item
１ ２ ４ ５ ６ …
Ｎ ３’ ３*
欠
測
値
Ｇｒｏｕｐ１
Ｇｒｏｕｐ２
欠
測
値
２．項目参照プロファイルの推定
１．で作成したデータファイルに対して，
項目参照プロファイル（IRP）を推定す
る。
２．項目参照プロファイルの推定
item
１ ２ ４ ５ ６ …
Ｎ ３’ ３*
欠
測
値
Ｇｒｏｕｐ１
Ｇｒｏｕｐ２
欠
測
値
DIFを検討したい
項目については，
2つのIRPが推定
される（３’と３*）。
２．項目参照プロファイルの推定
1.0
Probability
0.8
0.6
0.4
group1
group2
0.2
0.0
1
2
3
4
5
6
7
潜在ランク
8
9
10
２．項目参照プロファイルの推定
潜在ランク分布（latent rank distribution, LRD）
0.14
0.12
0.10
0.08
0.06
0.04
0.02
0.00
相対LRD
1
2
3
4
5
6
潜在ランク
7
8
9
10
３．DIF指標の計算
Q

K   P1 q  P2 q  gq
q 1

Q ・・・潜在ランク数
P1q， P2 q ・・・集団１および集団2として推定した項
gq
目参照プロファイルでの潜在ランクq
における項目正答確率
・・・潜在ランクqにおける相対LRD（もしくは相
対RMD）
1.0
Probability
0.8
正答確率差
0.6
0.4
group1
group2
0.2
正答確率差の期待値
0.0
1
0.2
0.1
0.1
0.0
2
3
4
5
6
7
潜在ランク
8
9
10
相対LRD
1
2
3
4
5
6
潜在ランク
7
8
9
10
指標の性能検討
シミュレーションデータによる
Mantel-Haenszel法（以下M-H法）
との比較検討
シミュレーションデータの作成
乱数による項目母数設定
（識別力：対数正規乱数，困難度：標準正規乱数）
15項目
1000名
被験者母数θ
50項目
50項目
2母数ロジスティック・モデル
（IRT）における正答確率と一
様乱数との比較による０－１
データの作成
標準正規乱数
1000名
２セット作成
（100項目分のDIF項目）
結果
ｒ = 0.92
25.0
α：共通オッズ比
の推定値
|-2.35*ln(α)|
20.0
15.0
10.0
5.0
0.0
0.00
0.20
0.40
0.60
indexK
0.80
1.00
結果
3.00
Δ=|-2.35*ln(α)|
2.50
Roussos and Stout (1996)
によるLarge or C-level
DIF基準 ΔMH≧1.5
2.00
1.50
1.00
0.50
0.00
0.00
0.05
0.10
0.15
indexK
0.20
0.25
0.30
指標Kの特徴
1.0
 正答率差の期待値として０～１の値で表
Probability
0.8
現され，解釈が容易である。
0.6
0.4
 実際にIRPを描くことで，どの集団のどの
group1
0.2
カテゴリにおいてDIFの影響が大きいの
group2
0.0
かを検討することができる。
1
2
3
4
5
6
7
潜在ランク
8
9
10
 3母集団以上のDIF検出に拡張が可能。
課題
計算量の多さ
→専用のソフトウェアの開発
Suspect
item（DIFを検討する項目）と
Matching item（DIFが生じていない
項目）の切り分け
→purificationの確立