Transcript Document
ベイジアンネットワーク概説
第3章 ベイジアンネットワークモデルの
数学的基礎
3.5 情報量基準を用いた構造学習
岩崎唯史
3.5.1 情報量基準
現象を説明する複数のモデルがあった場合、
どのモデルがよいか/選択すべきか?
→ 情報量基準を基に選択
(1) 期待対数尤度からのアプローチ
例:AIC、TIC、CAIC
(2) 予測分布からのベイズアプローチ
例:BIC、MDL、ABIC
3.5.1 情報量基準: 最大対数尤度利用 (1)
■ AIC (Akaike information criterion):
データとの適合度
(モデルのあてはめ誤差)
パラメータ数多のペナルティ
(モデルの複雑さ)
AIC m 2 l m ( m | X ) 2 k m
m:モデル
(3.8)
m のパラメータ
l m ( m | X :データ
)
ときの最大対
X を所与した
数尤度
k m:パラメータ数
※2は対数尤度比検定との兼ね合いから
最適なモデルとは → AICを最小にするモデル
(尤度大、パラメータ数少)
3.5.1 情報量基準: 最大対数尤度利用 (2)
■ TIC (Takeuchi information criterion):
パラメータ数多のペナルティ
をAICより精密に評価
TIC
m
2 l m ( m | X ) tr { J
1
R}
(3.9)
2
J E
l ( | X )
t m
m m
l ( | X ) l ( | X ) t
m
R E m
m
m
※ J=Rのとき tr{J-1R}=km となりAICに一致
3.5.1 情報量基準: 最大対数尤度利用 (3)
-問題点-
AIC、TICは漸近的一致性(データ数N→∞で推
定値 m/θ→真の値 m*/θ*)が欠如
■ CAIC (consistent Akaike information criterion):
CAIC
m
2 l m ( m | X ) k m (log N 1) (3.10)
パラメータ数多のペナルティ
はデータ数Nに依存
3.5.1 情報量基準: ベイズ的アプローチ (1)
ーベイズ的アプローチによる情報量基準ー
•最大対数尤度を介さない
•モデルの集合(ありうるモデルの集まり)を考える
モデルmに対し、(モデルの集合上の)事前分布
p(m)が与えられた場合の事後分布
p (m | X )
p (m ) p ( X | m )
m'
p (m ' ) p ( X | m ' )
予測分布: p ( X | m )
パラメータの重み
(事前分布)
p ( X | m , m ) p ( m ) d m
m
→ -E[log p(m|X)]最小のモデルを選択
3.5.1 情報量基準: ベイズ的アプローチ (2)
■ BIC (Bayesian information criterion):
BIC
m
2 l m ( m | X ) k m (log N )
(3.11)
• 情報理論的アプローチからのMDL
(minimum description length)基準に一致
[事前分布(条件付確率)の積極的解釈]
• 漸近的一致性をもつ
3.5.2 数値例 (1)
癌転移
p ( X 2 1 | X 1 1) 0 . 8
1
p ( X 2 1 | X 1 0 ) 0 .2
p ( X 1 1) 0 . 8
p ( X 3 1 | X 1 1) 0 . 8
p ( X 3 1 | X 1 0 ) 0 .2
血清中のカルシ
2
ウム量の増加
3 脳腫瘍
p ( X 5 1 | X 3 1) 0 . 8
p ( X 4 1 | X 2 1, X 3 1) 0 . 8
p ( X 5 1 | X 3 0 ) 0 .2
p ( X 4 1 | X 2 0 , X 3 1) 0 . 6
p ( X 4 1 | X 2 1, X 3 0 ) 0 . 6
4
p ( X 4 1 | X 2 0 , X 3 0 ) 0 .2
昏睡状態
5
激しい頭痛
図3.1 ベイジアンネットワークの因果モデル例
3.5.2 数値例 (2)
図3.1+表3.1でN'ijk=1(事前分布に一様分布)を仮定
5
l m ( m | X )
対数尤度:
5
パラメータ数:
km
qi
1
N
i 1
q
i
ijk
log
10
ijk 25 . 76
j 1 k 0
11
i 1
N 20
データ数:
AIC
m
CAIC
2 l m ( m | X ) 2 k m 73 . 53
m
2 l m ( m | X ) k m (log N 1) 76 . 84
BIC ( MDL ) m 2 l m ( m | X ) k m (log N ) 65 . 84
3.5.3 ベイジアンネットワークの予測分布 (1)
モデルの予測分布が解析的に求まれば、高精
度のモデルを選択可能な情報量基準を作成す
ることができる
■ 事前分布p(Θ|Bs)が一様分布であるとしたと
きの予測分布
p ( X | Bs )
p ( X , | Bs ) p ( | Bs ) d
n
qi
i 1
j 1
( ri 1)!
( N ij ri
(3.12)
ri 1
1)!
k 0
N ijk !
(3.13)
3.5.3 ベイジアンネットワークの予測分布 (2)
■ 事前分布p(Θ|Bs)がディレクレ分布である
としたときの予測分布
qi
n
p ( X | Bs )
i 1
j 1
ri 1
N ' ijk
k 0
ri 1
N '
ijk
k 0
n
qi
N ' ij
N '
i 1
j 1
( ) ( 1)!
N 'ijk 1
ij
N ij
ri 1
N '
ijk
N ijk
k 0
ri 1
N ' ijk N ijk
k 0
ri 1
k 0
N ' ijk N ijk
N ' ijk
(3.14)
→ 式(3.14) = 式(3.13)
3.5.4 数値例
図3.1+表3.1でN'ijk=1(事前分布に一様分布)を
仮定した場合の予測分布
5
p ( X | Bs )
i 1
1
( 20 1)!
4 . 85 10
qi
j 1
1
1
( N ij
6! 14 !
1)!
N ijk ! k 0
1
( 3 1)!
0! 3!
29
データ数が少ない場合、観測されない変数の
パターンが出現(Nijk=0)し、計算が困難な場合
がある