Transcript 項目参照プロファイル
1 / 18 段階数2の場合の ニューラルテスト理論による 項目分析 ○橋本 貴充，荘島 宏二郎 （大学入試センター） 2 / 18 本発表の構成 • ニューラルテスト理論と は？ – 概略 – 項目参照プロファイルの 例 – ランク・メンバーシップ・ プロファイルの例 • 目的 • 方法 – データ – 分析のパラメタ • 結果 – 項目参照プロファイルの 2次元プロット – 「高」群に属する確率の 度数分布 • 今後の課題 • 引用文献 3 / 18 本発表の構成 • ニューラルテスト理論と は？ – 概略 – 項目参照プロファイルの 例 – ランク・メンバーシップ・ プロファイルの例 • 目的 • 方法 – データ – 分析のパラメタ • 結果 – 項目参照プロファイルの 2次元プロット – 「高」群に属する確率の 度数分布 • 今後の課題 • 引用文献 4 / 18 ニューラルテスト理論の概略 • 受験者の能力を、連続的なものではなく、順序関係 のある少数の段階（潜在ランク）に分かれるものと仮 定。 – テストは連続的に評価するほど信頼性が高くない • それぞれの潜在ランクの受験者が項目に正答する 確率（項目参照プロファイル）を、自己組織化マップ （Kohonen, 1995）を参考とした計算方法で推定。 • 受験者がそれぞれの潜在ランクに属する確率（ラン ク・メンバーシップ・プロファイル）は、最尤法やベイ ズ法で推定。 • 詳しくは「neural test theory」で検索してください。 項目参照プロファイルの例 熊谷（2007）がIRP指標を提案 困難度の高い項目 困難度の低い項目 識別力の低い項目 識別力の高い項目 5 / 18 ランク・メンバーシップ・プロファイルの例 0 1 0.6 0.4 0.2 0 1 0.6 0.4 0.2 1 0.8 0.6 0.4 0.2 0 0.8 0.6 0.4 0.2 10 10 PROBABILITY 0.2 1 0.2 Examinee 9 0.8 0.6 0.4 0.2 10 10 Examinee 10 0.8 0.6 0.4 0.2 0 2 4 6 8 LATENT RANK 10 2 4 6 8 LATENT RANK Examinee 14 1 0.8 0.6 0.4 0.2 0 2 4 6 8 LATENT RANK 0.2 1 0.2 1 0.4 2 4 6 8 LATENT RANK 0 Examinee 13 0.6 0 0.4 10 Examinee 5 0.8 10 0.8 受験者7と10は，同じランク10でも 0.6 所属確率が異なる 0 2 4 6 8 LATENT RANK 0.4 2 4 6 8 LATENT RANK Examinee 8 0.4 1 0.6 0 2 4 6 8 LATENT RANK Examinee 12 0 2 4 6 8 LATENT RANK 0.6 10 PROBABILITY Examinee 11 0.8 1 0.8 10 0 2 4 6 8 LATENT RANK PROBABILITY PROBABILITY Examinee 7 0.8 10 0.2 2 4 6 8 LATENT RANK 0 2 4 6 8 LATENT RANK 0.4 10 PROBABILITY Examinee 6 0.6 0 2 4 6 8 LATENT RANK PROBABILITY PROBABILITY 10 0.8 1 0.2 0 2 4 6 8 LATENT RANK 1 0.4 0.8 Examinee 4 PROBABILITY 0.2 0.6 1 PROBABILITY 0.4 0.8 Examinee 3 PROBABILITY 0.6 1 PROBABILITY 0.8 Examinee 2 PROBABILITY 1 PROBABILITY Examinee 1 PROBABILITY PROBABILITY 1 6 / 18 10 Examinee 15 0.8 0.6 0.4 0.2 0 2 4 6 8 LATENT RANK 10 2 4 6 8 LATENT RANK 受験者12は，難しい項目に正答できたわりに，易しい項目にも誤答したため二峰性のRMPとなった 10 7 / 18 目的 • Shojima (2008) は、潜在ランクの数を3以上20以 下にするのが現実的としている。 – 20より大きくしても、テストにそこまで高い解像度があると は考えられない。 – プレイスメント・テストでは、受験者を3段階くらいに分けた い。 • 項目を分析する場合には、受験者を「低群」「高群」 の2段階に分けると理解しやすい。 • ニューラルテスト理論を、潜在ランクの数を2としたと きに、項目分析に利用する例を示す。 8 / 18 本発表の構成 • ニューラルテスト理論と は？ – 概略 – 項目参照プロファイルの 例 – ランク・メンバーシップ・ プロファイルの例 • 目的 • 方法 – データ – 分析のパラメタ • 結果 – 項目参照プロファイルの 2次元プロット – 「高」群に属する確率の 度数分布 • 今後の課題 • 引用文献 9 / 18 データ • 2母数ロジスティックモデルの項目反応理論に従っ て人工的に作成。 • 母数も乱数を使って発生 • 800人×25項目 – – – – 識別力の低い項目が多いテスト（困難度は中程度） 識別力の高い項目が多いテスト（困難度は中程度） 易しい項目が多いテスト（識別力は中程度） 難しい項目が多いテスト（識別力は中程度） 10 / 18 分析のパラメタ • 潜在ランク数は2 • 学習のための反復回数は500 • 勝者ランク決定のための距離の計算方法は 最尤法（事前情報なし） 11 / 18 本発表の構成 • ニューラルテスト理論と は？ – 概略 – 項目参照プロファイルの 例 – ランク・メンバーシップ・ プロファイルの例 • 目的 • 方法 – データ – 分析のパラメタ • 結果 – 項目参照プロファイルの 2次元プロット – 「高」群に属する確率の 度数分布 • 今後の課題 • 引用文献 12 / 18 項目参照プロファイルの2次元プロット 誰でもできる項目 1.000 0.750 高 群 正 0.500 答 確 率 0.250 0.000 識別力の高い項目 難しい項目 0.000 0.200 0.400 0.600 低群正答確率 0.800 13 / 18 1 1 0.8 0.8 高群正答確率 高群正答確率 さまざまなIRPの2次元プロット 0.6 0.4 0.2 0.6 0.4 0.2 0 0 0 0.2 0.4 0.6 0.8 低群正答確率 1 0 0.4 0.6 0.8 低群正答確率 1 識別力高 1 1 0.8 0.8 高群正答確率 高群正答確率 識別力低 0.2 0.6 0.4 0.2 0.6 0.4 0.2 0 0 0 0.2 0.4 0.6 0.8 低群正答確率 1 困難度低 低群:高群＝0.45:0.55 0 0.2 0.4 0.6 0.8 低群正答確率 1 困難度高 低群:高群＝0.60:0.40 14 / 18 RMPにおける「高」群に属する確率の 推定値の度数分布 識別力低 識別力高 全体的に両極に分かれる傾向 困難度低 困難度高 15 / 18 本発表の構成 • ニューラルテスト理論と は？ – 概略 – 項目参照プロファイルの 例 – ランク・メンバーシップ・ プロファイルの例 • 目的 • 方法 – データ – 分析のパラメタ • 結果 – 項目参照プロファイルの 2次元プロット – 「高」群に属する確率の 度数分布 • 今後の課題 • 引用文献 16 / 18 今後の課題 • 今回は潜在ランク数を2とした場合の項目分 析の方法について1つの例を示した。 • 他のケースについても検討する必要。 – 受験者数 – 項目数 • 実データへの適用 17 / 18 本発表の構成 • ニューラルテスト理論と は？ – 概略 – 項目参照プロファイルの 例 – ランク・メンバーシップ・ プロファイルの例 • 目的 • 方法 – データ – 分析のパラメタ • 結果 – 項目参照プロファイルの 2次元プロット – 「高」群に属する確率の 度数分布 • 今後の課題 • 引用文献 18 / 18 引用文献 • Kohonen, T. (1995). Self-organizing maps. Springer. • 熊谷 龍一 (2007). ニューラルテスト理論を離散変 数型IRTと見なしたときの項目特徴を示す指標につ いて. 第1回ワークショップ「ニューラルテスト理論」. 於 大学入試センター • Shojima, K. (2008). Neural test theory: A latent rank theory for analyzing test data. 大学入試セン ター研究開発部リサーチノートRN-08-01.