Transcript 第9回

論理生命学第９回：
ベイズ推定のためのサンプリング法
渡辺一帆
内容
確率分布からのサンプリング
事後分布p(w|x)に関する期待値計算
マルコフ連鎖モンテカルロ法
事後分布からのサンプルを生成
復習：ベイズ推定
 ベイズ推定における予測
学習データ:
x  {x1,...,xn }
尤度関数: p(x | w) 
学習モデル: p( x | w)
パラメータ:
w
n
 p(x | w)
i 1
i
事前分布： p0 (w)
予測分布：
事後分布：
p(x | w) p0 (w)
p(w | x) 
Z
p( x | x)   p( x | w) p(w | x)dw
事後分布に関する期待値計算
まずは確率分布からのサンプルを使った期待値計算の仕方を見ていく
モンテカルロ法
 擬似乱数を用いた積分の数値的近似法
g(w) の p(w) に関する期待値
 g(w) p(w)dw の計算
p(w) に従う標本（サンプル） w(i ) iN1
を用いると
1 N
(i )
g
(
w
)   g (w) p(w)dw ( N  ) （大数の法則）

N i1
例）
1 ( x2  y 2  1, x  0, y  0)
g ( x, y)  
0 (otherwise)
1 (0  x  1, 0  y  1)
p( x, y)  
0 (otherwise) [0 1]上の一様乱数
1 .
.
0
. .
.
.
.
.. . . .
1
(円内のサンプル数)

  g ( x, y) p( x, y)dxdy 
(全サンプルの数)
4
☆一様分布、正規分布など、基本的な確率分布についてはサンプリング法がある
重点サンプリング（１）
 サンプリングしやすい分布を使った期待値の計算
 g(w) p(w)dw の計算
サンプリングしやすい分布 q(w)
w 
(i ) N
i 1
(i )
1 N
(i ) p(w )
g (w ) (i )

N i1
q(w ) importance weight
p(w)
  g(w)
q(w)dw
q(w)
( N  )
  g (w) p(w)dw
 qとpは近いことが必要（精度を得るには）
を生成
重点サンプリング（２）
 pとqの規格化定数はわからなくてもよい
~
p(w)
p(w) 
Zp
~(w)
q
q(w) 
Zq
とすると
~
Zp 1 ~
1 N ~
p(w)
  p(w)dw   ~ q(w)dw   ri
N i 1
Zq Zq
q (w)
よって
~
Zq
p(w)
g
(
w
)
p
(
w
)
dw

g
(
w
)
q(w)dw


~
Zp N
q (w)
 ~r g (w
(i )

i 1
i
N
 ~r
i 1
i
)
(i )
~
p
(
w
)
~
ri  ~ (i )
q (w )
とおいた。
メトロポリス法（１）
 
 サンプル w(i )
N
i 1
, w(i ) ~ p(w) を生成する方法
マルコフ連鎖： w(i 1) の生成確率が一つ前のサンプル
w(i )
にのみ依存する
メトロポリス法
○サンプル点の候補を生成
w ~ q(w | w(i ) )
○ p(w) 
○p(w) 
提案分布：
（平均
p(w(i ) ) なら w(i1)  w
(i )
p(w )
w(i )
☆比がわかればOK
の正規分布など）
（受理）
p(w)
p(w(i ) )
確率 1 r で
なら、確率 r 
q(w | w)  q(w | w)
で
w(i1)  w
w(i1)  w(i )
、
メトロポリス法（２）

i   で w(i ) の従う分布は p(w) に収束
∵ メトロポリス法は詳細釣り合いの条件を満たす
 (w  w)  q(w | w) min{1, p(w) / p(w)}
（ w  w へ遷移する確率）とする。
詳細釣り合いの条件
p(w) (w  w)  p(w) (w  w)
p(w) が不変になる条件
w  w, w  w への移動する割合が等しい
☆サンプル列が収束するわけではない
メトロポリス法（３）
サンプリングの例
w2

p(w1, w2 )  exp 100w w  w  w
2
1
2
2
2
1
2
2

 log p(w)
の変化
はじめの方は捨てる
w1
w(1) w( 2) w(3)

w 
(i ) N
i 1
繰り返し回数
のうちはじめの方は捨てる (初期値の影響を除くため）
 さらに何個かおきのサンプルだけ残す（サンプルどうしが独立になるように）
メトロポリス・ヘイスティングス法

q(w | w)  q(w | w)
のとき
p(w)q(w(i ) | w)
r
p(w(i ) )q(w | w(i ) )
とすれば同じ
メトロポリス・ヘイスティングス法
○サンプル点の候補を生成
q(w | w)  q(w | w)
w ~ q(w | w(i ) )
○
でもよい
p(w)q(w(i ) | w)  p(w(i ) )q(w | w(i ) ) なら w(i1)  w
○ それ以外なら確率
確率
r
で
1 r で
w(i1)  w 、
w(i1)  w(i )
（受理）
ギブスサンプリング
w\i ： w の wi 以外の変数
 条件付き分布
p(wi | w\i ) からはサンプルしやすい場合
ギブスサンプリング
１．wを初期化
２．
i  1,2,...,N について、
w1(i1) ~ p(w1 | w2(i) , w3(i) ,...,wd(i) )
w2(i1) ~ p(w2 | w1(i1) , w3(i) ,...,wd(i) )

wd(i1) ~ p(wd | w1(i1) , w2(i1) ,...,wd(i11) )
○メトロポリス・ヘイスティングス法の一つとみなせる。
周辺尤度の計算
n
1
 事後分布 p(w | x)  p0 (w) p( xi | w)
Z
i 1
からのサンプリングができても
n
Z  p(x)   p0 (w) p( xi | w)dw
i 1
の計算はさらに工夫が必要
 簡単な方法
w 
(l ) N
l 1
1 N

N l 1
~ p(w | x)
として、
1
n
 p(x | w
i 1
i
(l )
)
を計算し逆数をとる
まとめ
モンテカルロ法による期待値計算
重点サンプリング
マルコフ連鎖モンテカルロ法
事後分布からのサンプルを得る手法
メトロポリス法
メトロポリス・ヘイスティングス法
ギブスサンプリング法
演習
混合ニ項分布（ x{0, 1, 2,...,N} N は既知） w  {a, r1, r2}
(1)
( 2)
N x
N x y
x
N x y
p( x, y | w)    ar1 (1  r1 )
(1  a)r2 (1  r2 )
x
について、データ x  {x1, x2 ,...,xn } 及び、隠れ変数 y  {y1, y2 ,...,yn}

 
が与えられたときのパラメータ
n

w の条件付分布
p(w | y, x)  p0 (w) p( xi , yi | w)
n
を nk   y
i 1
i 1
(k )
i
及び  k  1
nk
n
y
i 1
(k )
i
i
x
（k=1,2）を用いて表せ。
p0 (w)  p0 (a) p0 (r1 ) p0 (r2 )
1
1
1
p0 (a) 
p0 (r1 ) 
p0 (r2 ) 
a(1 a)
r1 (1  r1 )
r2 (1  r2 )
ただし、事前分布を
☆上の条件付分布は事後分布
p(y, w | x)
とする。
からのギブスサンプリングで必要