Transcript Psych. Rev

確信度評定：方法論の吟味と
社会認知研究への応用
東京工業大学・日本学術振興会
村山 航
日本心理学会第72回大会WS
「記憶のモニタリングとコントロール」
確信度評定とは


ハイデルベルグとボンとでどちらの人口が多いと
思いますか
この単語は先ほどのリストにありましたか？
１．まずこれらの問題に２択で答えてもらう
２．その上で，答えに対する自身の程度を「５０％」
から「１００％」の間で答えてもらう。
※ 言語的に，「まったく自信がない」から「非常
に自信がある」という形式もある。
確信度評定の位置づけ
Contents



確信度評定の意義
確信度評定研究が明らかにしたこと
確信度評定の方法論的落とし穴と利用可能性
Contents



確信度評定の意義
確信度評定研究が明らかにしたこと
確信度評定の方法論的落とし穴と利用可能性
１．意思決定の根幹

期待・価値と並んで人間の意思決定に影響を与え
る根源的要因


「不確実性下の意思決定」
ニューロエコノミクスの隆盛で再注目
確信度評定のメカニズムを知る
＝ 人間の意思決定メカニズムを知る
確信度が高くて確実な選択肢を選ぶ
確信度の二面性
情報を得るために確信度の低い選択
肢を選ぶ
Learning rate
Uncertainty bonus
２．Awareness を知る手段

背景：「無意識の認知プロセス」研究の増加

意識の有無を確信度評定を用いて調べる

Kolb & Braun (1995, Nature): 視覚弁別課題．ター
ゲットが見えるドット (unpaired dots) とターゲットが
（ほぼ）みえないドット (paired dots) の２種類を比較
Adopted from Kolb & Braun (1995)
確信度とともに
正答率も上昇
しかし，トータルのパ
フォーマンスは同じ
確信度と正答率
は無関係
無意識の知覚
プロセスの存在
近年の方法論の進展


確信度評定は意図的な歪曲に弱い
Post-decision wagering (Persaud et al., 2006, Nat. Neurosci.)
近年における方法論の進展


確信度評定は意図的な歪曲に弱い
Post-decision wagering (Persaud et al., 2006, Nat. Neurosci.)
High wager
２値判断
判断に対する
wagering（賭け）
意図的な歪曲を「お金への動機」で除去
あっていたら１ポンドget
違っていたら１ポンドlose
Low wager
あっていたら50ペンスget
違っていたら50ペンスlose
Persaud et al. (2006) の blindsight subject G. Y. に対す
る視覚弁別課題の結果
correct
incorrect
Total
High wager
67
23
90
Low wager
74
36
110
Total
141
59
200
全体的な正答率は高い
しかし，High wager でも Low
wager でも正答率に変化がない
結論：G. Y. はこの課題を
awareness なしでこなしている
まとめ

確信度評定研究の意義


人間の意思決定のメカニズムを考える上で不可欠
人間のAwarenessを調べるのに重要なツール
Contents



確信度評定の意義
確信度評定研究が明らかにしたこと
確信度評定の方法論的落とし穴と利用可能性
一言でいうと
人間の確信度評定は不正確
１．Overconfidence Phenomenon
確信度評定を一定の区間ごとに区切り，その区間ご
とに実際の正答率をプロットすると，正答率よりも確
信度の方が高くなる現象
1
Proportion of correct

0.9
0.8
0.7
0.6
0.5
0.5
0.6
0.7
0.8
Confidence
0.9
1
Overconfidence の説明モデル

Probabilistic mental model: Gigerenzer et al. (1991,
Psych. Rev.)

Poisson race model: Merkle & Van Zandt (2006,
Psych. Rev.)

Bayesian model (Moore & Healy, 2008, Psych. Rev.)
確信度は，記憶痕跡の強さを直接評価しているのでは
なく，活性化された手がかりや情報，事前の信念などと
いった状況証拠から，間接的に推論されたもの。
２．目撃証言と確信度評定の関係

Wells & Murray (1984) のレビュー：確信度評定と
正再認のpoint-biserial correlation は平均0.07(!)
理由
確信度評定はさまざまな状況要因に影響を
受ける： e.g. 知覚的流暢性 (Koriat et al., 2002;
Leboe & Whittlesea, 2002)
「目撃証言」につきまとう独特のプレッシャー
まとめと今後の展望

人間の確信度評定は不確実

確信度評定は，そのときに活性化している状況要因
に影響を受けやすい
確信度評定は人間
の意思決定を導く
重要な要因
人間の確信度評定
は不正確
適応的意味は？
(e.g., Marsh, Todd, & Gigerenzer, 2004)
Contents



確信度評定の意義
確信度評定研究が明らかにしたこと
確信度評定の方法論的落とし穴と利用可能性
確信度評定の方法論としての難しさ

確信度の「正確さ」の指標によって，得られる結果
が変わってくる (e.g., Olsson, 2000)

選択をしていない選択肢には確信度評定をしてい
ないので，データ構造が複雑。そのため，アーティ
ファクトに気づきにくい
例１：Post-decision wagering の問題点

Persaud らが想定している optimal strategy
High wager

correct incorrect
103
17
Total
120
Low wager
19
61
80
Total
122
78
200
Clifford et al. (2007, TICS) の批判


Optimal strategyは「すべてをhigh wagerにする」では？
Incorrect のとき low wager にするのは一見合理的だが，
それならばもう１つの選択肢（正答）を選ぶべきである
この課題はawarenessの有無と，
optimal strategyの気づきの有無が交絡
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
1
回帰直線？ (Erev,
1994)
0.9
Proportion of correct
Proportion of correct
例２：Overconfidence現象の問題点
＝ Overconfidence
は
0.8
判断時の誤差による回
0.7
帰効果（artifact）
0.6
0.5
0.5
0.6
0.7
0.8
0.9
1
Confidence
Overconfidence
研究
では，測定の誤差をで
きる限り減らす必要性
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Confidence
確信度評定の方法論としての利用可能性

方法論的に扱うのが難しいが，うまく使うと方法
論として非常に優れた側面


確信度評定による測定の精度の向上（張, 2007)
識別できなかったモデルの識別
Murayama (in prep)：感情誤帰属手続きへの適用

感情誤帰属手続き (affect misattribution
procedure; AMP)



Payne et al. (2005, JPSP) による開発
潜在的な態度を測定する尺度：社会認知測度
高い信頼性 (Payne et al., 2005) と予測的妥当性
(Payne et al., 2008, C&E)
基本的な手続き
Prime
Target
p (“like”| target prime)
– p (“like” | no prime) Judgment of the “target”
Primeに対する
潜在的態度
Like -> Left key
Dislike -> Right key
問題点

意図的な反応の修正が入ってしまう：「この文字は『好
き』だけど，その前の写真の影響を受けているかもしれ
ない．だから『嫌い』を選ぼう」
自動的な判断過程と
統制的（意図的）な修正
過程を分離する必要性
研究の目的

AMPにおける自動処理・統制処理を分離するた
めのモデルを提案し，その妥当性を検討する
モデルの提案




“好き”“嫌い”の判断には信号検出モデルを仮定
一定の確率（R）で被験者がプライムの影響に気づき反
応を修正する
反応の修正量をBとする
Negative prime条件をベースラインとする
no prime
positive
prime
negative prime
閾値の修
正量 (B)
d’2
d’1
嫌い
閾値 (c)
好き
モデル式
プライムの影響に
気づいた場合
閾値の修正
（向きが逆）
プライムの影響に
気づかない場合
ネガティブプライムへの反応をbaseline
としたときの，それぞれのd’（潜在態度）
no prime 条件では意
図的な修正はなし
問題点と確信度評定による解決
パラメータ推定


R, B, c, d’1, d’2の 5 つ
方程式（データ）は３つ
解が求まらない！
ターゲット判断に確信度評定を用いる （５件法）
ことで，方程式（自由度）が増え，解が求まる
※ モデルとデータから得られる予測値の二乗誤差が
最小になるように準Newton法でパラメータを推定
確信度評定による自由度の増大
“1”
“2”
“3”
Distractor
嫌い
自由度
増大！
３件法の場合
Target
C1
C2
好き
増加するパラメータ：c2
増えた方程式：p (<c2|target), p (<c2|distractor)
先行研究

確信度評定によってモデルの自由度を増大させ
るアイディア自体は他の研究にも内在


信号検出モデル（自由度０）における正規性の前提の
検証 (Green & Swets, 1966)
Andrew Yonelinas による二重過程信号検出モデル
(for a review, Yonelinas & Parks, 2007, PB)


社会認知研究では応用がない → 本研究
他のモデル・論争にも適用可能？

回想-熟知性の独立性に関する論争 (e.g., Joordens &
Merikle, 1993)
実験１




目的：提案した手続きを適用し，意味のある解が
得られるかを検討する
被験者：北米の大学生26名
プライム刺激：ポジティブ写真，ネガティブ写真３
２枚ずつ (IAPSより, 覚醒を統制）
ターゲット刺激：中国語刺激
75ms
125ms
100ms
Like-dislike judgment
Confidence judgment
1000ms
75ms
125ms
100ms
Like-dislike judgment
Confidence judgment
実験１：結果
6
5
ターゲットの
ポジティブ度
判断の平均値
positive prime
neutral prime
negative prime
4
3
2
1
プライムの主効果が有意（先行研究の再現）
ROC曲線と推定値
1
1
0.8
0.8
0.6
0.6
0.4
0.4
0.2
0.2
0
0
0
0.2
0.4
0.6
0.8
1
Positive prime/negative prime
R = 0.10
B = 1.51
d’1= 0.84
d’2= 0.37
0
0.2
0.4
0.6
0.8
1
No prime/negative prime
実験２




目的：AMPを２回繰り返すことで，プライムへの気
づきが増大するかを検討する
被験者：北米の大学生54名
ターゲット呈示後，すぐにポジティブ度判断（６件
法）
１週間後に２回目のAMP実験をする
実験２：結果

２回目のポジ
ティブ度判断
6
5
ターゲットの
ポジティブ度
判断の平均値
4
3
2
1
実験１の結果を再現
positive prime
neutral prime
negative prime
ROC曲線と推定値
1
1
0.8
0.8
0.6
0.6
0.4
0.4
0.2
0.2
0
0
0
0.2
0.4
0.6
0.8
1
Positive prime/negative prime
(Time 2)
R = 0.08
B
=
1.57
Time 1
d’1= 0.77
d’2= 0.35
0
0.2
0.4
0.6
0.8
1
No prime/negative prime
(Time 2)
R = 0.20
B
=
1.51
Time 2
d’1= 1.11
d’2= 0.52
実験３



目的：明示的に統制処理を高める教示を行うこと
で，Rの推定値が上昇するかを検討する
被験者：北米の大学生14名
試行開始前に「ポジティブ度判断が写真によって
影響を受けないように」と強く教示
Please try your absolute best not to let the reallife images bias your judgment of the drawings!
実験３：結果
6
5
ターゲットの
ポジティブ度
判断の平均値
positive prime
neutral prime
negative prime
4
3
2
1
教示の効果が見られた ⇒ 潜在的態度の変容？
ROC曲線と推定値
1
1
0.8
0.8
0.6
0.6
0.4
0.4
0.2
0.2
0
0
0
0.2
0.4
0.6
0.8
1
Positive prime/negative prime
R = 0.66
B = 0.74
d’1= 0.90
d’2= 0.44
0
0.2
0.4
0.6
0.8
1
No prime/negative prime
ポジティブ度評定に群間差がない
のは，潜在的態度 (d’) が変化し
たのではなく，Rの上昇によるもの
まとめ


確信度評定は，方法論上のさまざまな落とし穴
がある。
しかし，うまく使えば，通常の方法論では解決で
きない問題を解決する鍵になる．
ご静聴ありがとうございました
資料請求・質問などは以下へ
村山 航
[email protected]
他モデルとの比較

他モデルとの比較

Payne et al. (personal communication)：AMPに過
程分離手続きを適用するモデルを開発中
情報をフルに使っていない（no prime条
件の結果を使わず）
R の過程が生じたときに被験者が何をし
ているかがわかりにくい
条件数が増える（inclusion, exclusion,
and baseline conditions)
今後の展望

動物における確信度測定方法の整備


確信度という概念の系統発生的な起源
脳における認知プロセスの解明に寄与
１．確信度そのものをエンコードする部位の発見 (e.g.,
Kepecs et al., in press, Nature)

確信度のモデル化の方法


これまでは基本的にパラメータそのもの
ベイズモデルのパラメータ分散という視点 (Daw et al., 2006, Nature)
確信度と２値反応（正誤）の関係指標

Point-biserial correlationの問題：実際の正誤を
そのまま０-１の値として扱ってしまう
完璧に予測できているように見えても…
Proportion correct
1
0.8
ここが
誤差に
0.6
0.4
0.2
0
0
0.2
0.4
0.6
0.8
1
Confidence
Point-biserial correlation could be as small as 0.30 (!)
確信度と２値反応（正誤）の関係指標

Point-biserial correlationの問題：実際の正誤をそ
のまま０-１の値として扱ってしまう

こうした問題を回避した指標

Calibration: 確信度と実際の正答「率」のズレの平均．
Proportion correct
1
0.8
0.6
0.4
完全に予測できた場合
の直線（仮想）
ここだけが
誤差に
実際の正答「率」
0.2
0
0
0.2
0.4
0.6
0.8
1
Confidence
Calibration could involve less errors
確信度と２値反応（正誤）の関係指標

Point-biserial correlationの問題：実際の正誤をそ
のまま０-１の値として扱ってしまう

こうした問題を回避した指標


Calibration: 確信度と実際の正答「率」のズレの平均．
biserial-correlation: ２値反応の背後に正規分布を仮定．
Proportion correct
1
0.8
0.6
閾値
0.4
0.2
0
0
0.2
0.4
0.6
0.8
1
Confidence
Biserial correlation has less errors
確信度と２値反応（正誤）の関係指標

Point-biserial correlationの問題：実際の正誤をそ
のまま０-１の値として扱ってしまう

こうした問題を回避した指標



Calibration: 確信度と実際の正答「率」のズレの平均．
biserial-correlation: ２値反応の背後に正規分布を仮定．
γ係数 (Kruskal, 1958)：順位をもとにした相関 (Nelson, 1984)．
Olsson (2000) のメタ分析： Calibration 指標を使うと，
確信度を使うことで目撃証言の精度は上がっている
精度をあげたいならそれに見合っ
た指標を使う必要性