「わかりやすいパターン認識」
Download
Report
Transcript 「わかりやすいパターン認識」
「わかりやすいパターン認識」
第5章:特徴の評価とベイズ誤り確率
5・3:ベイズ誤り確率とは
男女の性別判定問題
• 男女の特徴の違いには様々な物がある。
• それらの特徴を用いても男女の判別が正
しく行われ事は難しい。
例)男女の身長の平均は男性のほうが高い
が、必ず男性が女性より高いとは限らない
→特徴そのものの不完全さ
2クラス問題の定式化
1=男、 2 =女、特徴ベクトル x ( x1, x2 ,・・・, xd )
P (1 ) P ( 2 ) 1
P (1 | x ) P ( 2 | x ) 1
p ( x ) P (1 ) p ( x | 1 ) P ( 2 ) p ( x | 2 )
ベイズの定理より
P ( x | 1 )
P (1 | x )
P (1 )
p( x)
P( x | 2 )
P ( 2 | x )
P ( 2 )
p( x)
誤り確率
• 入力 x に対する誤り確率は Pe (x)
P( 2 | x) x 1と判定したとき
Pe ( x)
P(1 | x) x 2と判定したとき
• 起こりうる全ての x に対する誤り確率 Pe
Pe Pe ( x) p ( x)dx
ベイズ決定則
• Pe を最小にするには以下の判定方法を取る
P(1 | x) P( 2 | x) x 1
P( 2 | x) P(1 | x) x 2
• これは事後確率 P(i | x) を最大にするi を
結果として出力する。
→ベイズ決定則
ベイズ誤り確率
• Pe (x) の最小値を eB (x)で表す。
eB ( x) min Pe ( x)
→条件付ベイズ誤り確率
min{P(1 | x), P(2 | x)}
• 同様に Pe の最小値を eb で表す。
eb min Pe
→ベイズ誤り確率
eB ( x) p ( x)dx
min{P(1 | x), P( 2 | x)} p ( x)dx
多クラスの場合
ベイズ決定則
※以下のどちらでもよい
P( k | x) P( i | x) (i k ) x k
max{P(1 | x)} P( k | x) i 1,・・・,c
x k
ベイズ誤り確率
eB min{1 P(i | x)}p( x)dx
i
識別関数
• ベイズ決定則の式より P(i | x)が識別関数
として使用できる。
gi ( x) P(i | x) (i 1,・・・, c)
→ベイズ識別関数
Coffee break:エントロピー(1)
• エントロピー:不確定度(曖昧さ)
x の観測前のエントロピー
c
H 0 i 1 P( i ) log P( i )
x の観測後のエントロピー
c
H ( x) i 1 P( i | x) log P( i | x)
x によってもたらされる情報量 I (x)
I ( x) H 0 H ( x)
I I ( x) p ( x)dx
Coffee break:エントロピー(2)
•
を観測することにより確率の偏りが出来、
これがエントロピーの減少つまり情報と
なって現れる。
• ベイズの定理は事前確率を事後確率に変
換する式だと考えることが出来る。
p( x | i )
P( i | x)
P( i )
p ( x)