Transcript 数理言語

数理言語情報論 第9回
2009年12月2日
数理言語情報学研究室 講師 二宮 崇
1
今日の講義の予定
EMアルゴリズム
 教科書

北研二(著) 辻井潤一(編) 言語と計算4 確率的言
語モデル 東大出版会
 C. D. Manning & Hinrich Schütze
“FOUNDATIONS OF STATISTICAL
NATURAL LANGUAGE PROCESSING” MIT
Press, 1999
 Christopher M. Bishop “PATTERN
RECOGNITION AND MACHINE
LEARNING” Springer, 2006

2
PCFG
CFGの書換規則の適
用確率をパラメータ
化した文法
 構文木の確率は、適
用された書換規則の
パラメータの積
 各パラメータは
0.0≦θ≦1.0

簡単なCFGの例
パラメータ
S → SUBJ VP1
θS → SUBJ
VP1
S → SUBJ V
θS → SUBJ
V
SUBJ → NP が
θSUBJ → NP
VP1 → OBJ1 V
θVP1 → OBJ1
OBJ1 → NP を
θOBJ1 → NP を
NP → S NP
θNP → S
V → 送った
θV → 送った
V → 読んだ
θV → 読んだ
NP → 香織
θNP → 香織
NP → 恵
θNP → 恵
NP → 電子メール
θNP → 電子メール
NP → プレゼント
θNP → プレゼント
NP → 香織 NP1
θNP → 香織 NP1
NP → 恵 NP1
θNP → 恵
NP1
NP1 → と NP
θNP1 → と
NP
が
V
NP
3
構文木の確率
文 s = “香織が恵が送った電子メールを読んだ”
S
構文木 t
VP1
SUBJ
簡単なCFGの例
パラメータ
S → SUBJ VP1
θS → SUBJ
VP1
S → SUBJ V
θS → SUBJ
V
SUBJ → NP が
θSUBJ → NP
VP1 → OBJ1 V
θVP1 → OBJ1
OBJ1 → NP を
θOBJ1 → NP を
NP → S NP
θNP → S
V → 送った
θV → 送った
V → 読んだ
θV → 読んだ
NP → 香織
θNP → 香織
NP → 恵
θNP → 恵
NP → 電子メール
θNP → 電子メール
NP → プレゼント
θNP → プレゼント
NP → 香織 NP1
θNP → 香織 NP1
NP → 恵 NP1
θNP → 恵
NP1
NP1 → と NP
θNP1 → と
NP
NP
OBJ1
が
香織
NP
が
V
S
SUBJ
NP
NP
が
V
を
読んだ
NP
V
電子メール
送った
恵
P(t) = θS → SUBJ VP1 × θSUBJ → NP が × θNP → 香織 ×
θVP1 → OBJ1 V × θOBJ1 → NP を × θNP → S NP ×
θS → SUBJ V × θSUBJ → NP が × θNP → 恵×
θV → 送った× θNP → 電子メール × θV → 読んだ
4
PCFG

パラメータ推定 (estimation)

単純な数え上げ (教師付学習)
 C( A   ; t)
 
C( A   ; t)
 

tTreebank
A
tTreebank

最尤法 (教師無学習)
~
  arg max 



C ( r ;t )

r
ただし
sText tT ( s ) rP
デコーディング (decoding)
~
t  arg max p(t )
tT ( s )



A
 1.0
C(r;t): 書換規則rが構文
木t中に出現する回数
T(s): 文sに対して、フル
パージングで得られる全
構文木集合
今回の内容は

EMアルゴリズム (expectationmaximization algorithm)

不完全データ（欠損や曖昧性のあるデータ）
に対する有名な学習法
 PCFGの教師無学習
 削除補間法(deleted
interporation)のパラメータ推定
6
PCFGのEMアルゴリズム
1.
2.
θ(0) := 適当な値
[Eステップ] θ(i)を用いて各構文木の確率を計
算。文sに対する各構文木の相対確率を計算。
p(t )   (r )C ( r ;t )
(i )
p(t | s) 
rP
3.
[Mステップ] θ(i+1)を求める
 A(i1) 
p(t )
 p(u)
uT ( s )
  p(t | s)C ( A   ; s, t )
   p(t | s)C ( A   ; s, t )
sText tT ( s )
sText tT ( s )
4.
2.に戻る
7
PCFGのEMアルゴリズム

[Eステップ]各構文木の文sに対する確率



仮のパラメータθ(i)を用いて全解探索した結果の各々の構文木の確率を計算。
文sに対するそれぞれの構文木の相対確率p(t|s)を計算
[Mステップ]パラメータ更新


書換規則の適用回数の期待値を計算
単純な数え上げと同じ方法でパラメータを求める
s1
parse
p(t|s1)=p(t)/Z1 =
s2
0.1
0.3
0.6
Zi 
parse
p(t|s2)=p(t)/Z 2=
s3
C’(r;t) = 0.6×C(r; t)
1.0
 p(t )
tT ( si )
parse
p(t|s3)=p(t)/Z3 =
0.21
0.16
0.51
0.05
0.07
...
...
...
8
補間法でのEMアルゴリズム

1.
2.
3.
4.
トライグラム補間のEMアルゴリズム
データを訓練データDtとヘルドアウトデータDh（と評価データ）に分割
訓練データで p(wn;Dt), p(wn|wn-1;Dt), p(wn|wn-1,wn-2;Dt)を頻度から計算。
λ(0)←適当な値
[Eステップ] 各パラメータの貢献度を計算
1(i ) p( wn | wn 1 , wn  2 ; Dt )
 n,1  (i )
1 p( wn | wn 1 , wn  2 ; Dt )  (2i ) p( wn | wn 1 ; Dt )  (3i ) p( wn ; Dt )
 n, 2
(2i ) p( wn | wn 1 ; Dt )
 (i )
1 p( wn | wn 1 , wn  2 ; Dt )  (2i ) p( wn | wn 1 ; Dt )  (3i ) p( wn ; Dt )
(3i ) p( wn ; Dt )
 n ,3  (i )
1 p( wn | wn 1 , wn 2 ; Dt )  (2i ) p( wn | wn 1 ; Dt )  (3i ) p( wn ; Dt )
5.
[Mステップ] パラメータ更新

( i 1)
1
5.
1 |Dh |
1 |Dh |
1 |Dh |
( i 1)
( i 1)

 n,1 , 2 
 n, 2 , 3 
 n,3



| Dh | n1
| Dh | n1
| Dh | n1
4.に戻る
9
EMアルゴリズムの疑問
問題によってパラメータの更新式が違うけ
ど、この更新式はどうやって出てきたの？
 この更新式が正しい保証は？

10
EMアルゴリズムの全体像
~
  arg maxl ( )

問題変形
[Eステップ] p(y | x ; θ)
を計算
 (i 1)  arg maxQ( (i ) , )

個々の問題に応じ
て決まるQ関数の
極値を解析的に求
める
[Mステップ]
 (i 1)  arg maxQ( (i ) , )

によりパラメータ更新
個々の問題によって決
まるパラメータ更新式
11
問題設定


実際に観測されたデータx1,...,xNが存在
それぞれのデータは隠れ状態y1,...,yMのいずれかから
生成されたと仮定


隠れ状態の集合はデータ毎に変わっても良い
パラメータ集合θによりp(x, y)が計算される
x1
y1
y2
y3
p(x1, y1) p(x1, y2) p(x1, y3)
x2
y4
p(x2, y4)
x3
y5
y6
y7
y8
y9
p(x3, y5) p(x3, y6) p(x3, y7) p(x3, y8) p(x3, y9)
..
..
..
12
EMアルゴリズム

問題: 実際に観測されたデータx1,...,xNが存在して、それに
対して、対数尤度を最大化するパラメータを求める
N
~
  arg maxl ( )  arg max  log p( xi ; )



i 1
問題チェンジ: パラメータをθからθ’にした時の対数尤度
の差を最大化することを繰り返せば極大値が求まる
N
arg max  log p( xi ; )  log p( xi ; )

i 1
argmaxを求めているが、ようは正の値になればより尤度の高いパラメータ
が得られることに注意
13
Q関数の導出 (1)

問題: 実際に観測されたデータx1,...,xNが存在して、それに
対して、対数尤度を最大化するパラメータを求める
N
~
  arg maxl ( )  arg max  log p( xi ; )



i 1
問題チェンジ: パラメータをθからθ’にした時の対数尤度
の差を最大化することを繰り返せば極大値が求まる
N
arg max  log p( xi ; )  log p( xi ; )

i 1
argmaxを求めているが、ようは正の値になればより尤度の高いパラメータ
が得られることに注意
14
Q関数の導出 (2)

個々の事象の対数尤度の差
log p ( xi ; )  log p ( xi ; )  log
p( xi ; )
p ( xi ; )
p( xi ; )
p ( xi ; )
y
 p ( xi , y; ) p( y | xi ; ) 
  p ( y | xi ; ) log


p
(
x
,
y
;

)
p
(
y
|
x
;

)
y
i
i


p( xi , y; )
p ( y | xi ; )
  p ( y | xi ; ) log
  p ( y | xi ; ) log
p ( xi , y; )
p ( y | xi ; )
y
y
  p ( y | xi ; ) log
ジェンセンの不等式より、常に≧0
15
Q関数の導出 (3)

個々の事象の対数尤度の差
p( xi , y; )
p ( y | xi ; )
  p ( y | xi ; ) log
p ( xi , y; )
p ( y | xi ; )
y
y
p ( xi , y; )
  p( y | xi ; ) log
p ( xi , y; )
y
  p ( y | xi ; ) log p ( xi , y; )   p( y | xi ; ) log p( xi , y; )
log p ( xi ; )  log p ( xi ; )   p ( y | xi ; ) log
y
y
ここをQ関数とみなす
Q( , )   p( y | xi ; ) log p( xi , y; )
y
すると、ここは、
Q( , )
16
Q関数の導出 (4)

まとめ

対数尤度の差は次のようにおける
log p( xi ; )  log p( xi ; )  Q( , ' )  Q( , )
ただし Q( , ) 
 p( y | x ; ) log p( x , y; )
i
i
y

より良いパラメータθ’を見つけるためには、




Q(θ, θ’)-Q(θ, θ)≧0となれば良いが、
効率を考えると、対数尤度の差が最大になるほうが良い
Q(θ, θ)はθ’に関わりなく一定なので、対数尤度の最大化するには、
Q(θ, θ’)を最大化すれば良い
θ’ = θとおくと(古いパラメータと同じにすると)Q関数の差は0にな
る⇒argmaxをとれば、常にQ(θ, θ’)-Q(θ, θ) ≧0
17
EMアルゴリズム: Q関数の最大
化

次のパラメータ更新を繰り返すアルゴリズ
ム
 (i 1)  arg maxQ( (i ) , )

ただし、
Q( , )   p( y | xi ; ) log p( xi , y; )
y
全ての観測データx1, x2, ..., xnに対しては、
N
Q( , )   p( y | xi ; ) log p( xi , y; )
i 1
y
とすればよい
しかし、まだ問題は解けていない！
argmax Qをどうやって求めるか？？
18
休憩: Q関数の直感的な意味 (1)

Q関数 Q( , )   p( y | xi ; ) log p( xi , y; )
y

(古いパラメータθで計算した隠れ状態の相対確
率)× (新しいパラメータθ’によるxiとyの同時確
率の対数)
p( y1 | xi ; )
y1
log p( xi , y1; )
xi
p( y2 | xi ; )
y2
log p( xi , y2 ; )
...
p( y3 | xi ; )
y3
log p( xi , y3 ; )
19
休憩: Q関数の直感的な意味 (2)

そもそもなぜ直接θを最大化しないのか？
N
l ( )  log  p ( xi , y; )
i 1
y
N
  log  p ( xi , y; )
i 1
 ????
y
logの中に和があると、微分するのが難しい…
⇒パラメータ更新式にすれば、実はこのsumをlogの外に
だすことができるのであった
20
休憩: ジェンセンの不等式
ジェンセンの不等式
 凸関数 f(x) は区間 I 上の実数値関数
 p1,p2,...,pnはp1+p2+...+pn=1を満たす非負の実数
 任意のx1,x2,...,xn∈ I に対し次の不等式が成り立つ
p1 f ( x1 )  p2 f ( x2 )   pn f ( xn )  f ( p1x1  p2 x2   pn xn )

f(x)=－log(x)、xi=qi /piとおくと

pi
qi 
i pi log q   log i pi p    log i qi  0
i
i 

21
EMアルゴリズムの全体像
~
  arg maxl ( )

問題変形
[Eステップ] p(y | x ; θ)
を計算
 (i 1)  arg maxQ( (i ) , )

個々の問題に応じ
て決まるQ関数の
極値を解析的に求
める
[Mステップ]
 (i 1)  arg maxQ( (i ) , )

によりパラメータ更新
個々の問題によって決
まるパラメータ更新式
22
EMアルゴリズム(一般) 1/3





パラメータ: θ
入力: x
隠れ状態: y
観測データ: X={x1, x2, …, xn}
対数尤度: log pθ(X)
n
n
log pθ ( X )   log pθ (x i )  
i 1
n
 q(y
i 1 y i Y ( x i )
i
| x i ) log pθ (x i )

 q(y
i
| x i )log pθ (x i , y i )  log pθ (y i | x i )

 q(y
i
| x i )log pθ (x i , y i )  log q (y i | x i )  log pθ (y i | x i )  log q (y i | x i )
i 1 y i Y ( x i )
n
i 1 y i Y ( x i )

pθ (x i , y i )
pθ (y i | x i ) 
q
(
y
|
x
)
log

log


i
i 
q
(
y
|
x
)
q
(
y
|
x
)
i 1 y i Y ( x i )
i
i
i
i 

n
n
p (x , y )
p (y | x )
   q(y i | x i ) log θ i i    q(y i | x i ) log θ i i
q(y i | x i ) i 1 y i Y ( xi )
q(y i | x i )
i 1 y i Y ( x i )
n

23
EMアルゴリズム(一般) 2/3





パラメータ: θ
入力: x
隠れ状態: y
観測データ: X={x1, x2, …, xn}
対数尤度: log pθ(X)
n
L ( q , θ)  
 q( yi | xi ) log
i 1 yi Y ( xi )
n
KL(q || p)  
pθ ( xi , yi )
q( yi | xi )
 q( yi | xi ) log
i 1 yi Y ( xi )
ポイント!
前ページのように式を展開するよりも
ここに
log pθ (xi , yi )  log pθ (yi | xi )  log pθ (xi )
を代入して等式が成り立つことを確認
するほうがわかりやすい
pθ ( yi | xi )
0
q( yi | xi )
とおくと
log pθ ( X )  L(q, θ)  KL(q || p)
 L(q, θ)
24
EMアルゴリズム(一般) 3/3

Eステップ
q (t 1) (y i | xi )  arg max L(q(y i | xi ), θ(t ) )  arg min KL(q(y i | xi ) || pθ( t ) (y i | xi ))  pθ( t ) (y i | xi )
q ( y i |x i )
q ( y i |x i )
パラメータが固定されているので、pθ(X) は変わらない
→ Lを最大化 ⇔ KLを最小化

Mステップ
θ
( t 1)
 arg max L(q
θ
( t 1)
n
, θ)  arg max
θ
q
i 1 y i Y ( xi )
( t 1)
(y i | xi ) log pθ (xi , y i )
Q関数
隠れ状態の確率とパラメータを交互に動かして、Lを
最大化
25
例: 混合モデルのパラメータ更新
式導出

混合モデル (mixture model)
観測データx1,..,xNに対し、それらを生成する複
数の隠れ状態y1,...,yMを仮定
 いずれかの隠れ状態がλj (=p(yj) )の確率で選択
され、その隠れ状態から観測データxがp(x | yj)
の確率で生成されたと考える

M
p( x)    j p( x | y j )　ただし　j 1
M

j 1
j
1
26
例: 混合モデルのパラメータ更新
式導出

混合モデル (mixture model)
M
p( x)    j p( x | y j )　ただし　j 1

M

j 1
j
1
Q関数
N
M
Q( ,  )   p( y j | xi ;  ) logp( xi , y j ;  )
i 1 j 1
27
例: 混合モデルのパラメータ更新
式導出

Q関数を最大化するλ’を見つける⇒ラグラ
ンジュの未定乗数法
(i 1)  arg maxQ((i ) ,  )

N
M
Q( ,  )   p( y j | xi ;  ) logp( xi , y j ;  )
i 1 j 1
28
ラグランジュの未定乗数法

ラグランジュの未定乗数法
arg max f (θ)ただし g1 (θ)  0,..., g m (θ)  0
θ

L(θ)  f (θ)  1 g1 (θ)  ...  m g m (θ)
L
L
L
 0,
 0,...,
0
1
 2
 n

ラグランジュ関数
M

L( ,  )  Q( ,  )      j  1
 j 1

29
例: 混合モデルのパラメータ更新
式導出

ラグランジュ関数を偏微分
M

L( ,  )  Q( ,  )      j  1
 j 1

L( ,  )
 j
を解いてみよう！
30
例: 混合モデルのパラメータ更新
式導出

ラグランジュ関数を偏微分
L( ,  )
 j
 p( y j | xi ;  )
 log p( xi , y j ;  ) 

log p( xi , y j ;  )  p( y j | xi ;  )
  



 j
 j

i 1 j 1 

N M 
 log p( xi , y j ;  ) 

   p( y j | xi ;  )


 j

i 1 j 1 

N M 
p( xi , y j ;  ) 
1

   p( y j | xi ;  )



 j
p( xi , y j ;  )

i 1 j 1 

N
1
p( xi | y j ;  )  
  p( y j | xi ;  )
 j p( xi | y j ;  )
i 1
N
1
  p( y j | xi ;  )    0
 j
i 1
N
M
31
例: 混合モデルのパラメータ更新
式導出
 j 
1
p( y


i 1
M

j 1
N
j
j
| xi ;  )
 1であるから
N
M
1
p( y


j 1 i 1
p ( y j | xi ) 
p( xi , y j )
p( xi )

j
p ( xi , y j )
M

j 1
j
N
1  1より


| xi ;  ) 
 N
i 1
 j p( xi | y j )
M
 p( x , y )  
i
1
j 1
j
p ( xi | y j )
したがって
1

j 
N
N

i 1
 j p( xi | y j )
M

j 1
j
p ( xi | y j )
32
PCFGのパラメータ更新式導出

PCFGのQ関数
N
Q( , )  
 p(t | s ; ) log p(s , t; )
i 1 tT ( si )
N
i
i

C ( r ;t ) 
    p(t | si ; ) log   r

i 1 tT ( si ) 
rP

N


    p(t | si ; ) C (r ; t ) log r 
i 1 tT ( si ) 
rP

33
PCFGのパラメータ更新式導出

PCFGのQ関数


Q( , )     p(t | si ; ) C (r; t ) log r 
i 1 tT ( si ) 
rP

N

ラグランジュ関数
L( ,  )  Q( , ) 

AVN
A
(1  A )

34
PCFGのパラメータ更新式導出

ラグランジュ関数をパラメータで偏微分
L( ,  )
 A  
 p (t | si ; )
 log r 
  
C (r ; t ) log r  p(t | si ; ) C (r ; t )
  A

 A   
i 1 tT ( si ) 
rP
  A   rP
N

 log r 
    p (t | si ; ) C (r ; t )
  A
 A   
i 1 tT ( si ) 
rP

N

1 
    p (t | si ; )C ( A   ; t )
  A  0


i 1 tT ( si ) 
A  


N
35
PCFGのパラメータ更新式導出

パラメータ更新式
 A  
1 N

p (t | si ; )C ( A β; t )


  i 1 tT ( si )
  
 1であるから、
A 
N
  

 p(t | si ; )C ( A β; t )
i 1 tT ( si ) 
よって
書換規則の適
用回数の期待
値になってい
ることに注意
N
 A   
  p(t | s ; )C ( A β; t )
i 1 tT ( si )
i
N
   p(t | s ; )C ( A β; t )
i 1 tT ( si )
i
36
PCFGに対するEMアルゴリズム
の問題点

s
構文木が多すぎて現実的な時間で各構文木
の相対確率を計算できない！(文長に対し
て指数爆発的に増加。簡単に数百億ぐらい
になる。)
parse
...
p(t)/Z =
0.21
0.06
0.001
0.05
0.07
数百億続く！
→CKYテーブルを展開することなく期待値が計算で
きればよい (内側外側アルゴリズム)
37
まとめ
EMアルゴリズム
 次回は、12/9(水) 16:30～ 前向き後ろ向きア
ルゴリズム、内側外側アルゴリズム
 講義資料


http://www.r.dl.itc.u-tokyo.ac.jp/~ninomi/mistH21w/cl/
38