Transcript 独立成分分析

独立成分分析
５ アルゴリズムの安定性と効率
２００７/１０/２４
名雪 勲
独立成分分析の
学習アルゴリズムの性質(1/4)

前章で導いた式
Wt  t {I ( yt ) y }Wt
T
t
の性質について説明する。
まずは記号の意味について復習する。
ｎ個の独立な成分を持つ記号Stが時間tに発生す
るものとして、これが線形に混ざったxt=Astが
各時間t=1,2,・・・に観測される。
独立成分分析の
学習アルゴリズムの性質(2/4)
この時y=Wxのxから元のsを復元したい。
W  A1 がわかっていればいいが、わからないの
で、時間tでのWの候補をWtとしてyt=Wtxtを観
測するたびに、これをWt+1=Wt+ΔWtに変えてい
く学習アルゴリズムの話だった。
ここで、ηｔは学習の大きさを示す係数、Iは単位行
列、φ(y)は成分がφi(yi)というベクトルのことで、
φiはとりあえず適当な非線形関数であった。
独立成分分析の
学習アルゴリズムの性質(3/4)
stは確率的に発生する平均０の信号である。よって
xtもytも確率信号である。だから先ほどの学習ア
ルゴリズムの式も確率変数で駆動される確率差
分方程式ということになる。
するとWtは過去に出たs1・・・snによって決まる。つま
りWtが時間と共にどこへ収束するかは不確定で
はないか？という疑問がでる。
独立成分分析の
学習アルゴリズムの性質(4/4)
しかし、stは１回ごとにランダムに決まるといっても
方程式を解くことはΔWを足していくことなので、st
またはytをtに関して加えることになる。
すると大数の法則などによりWtは右辺をstについて
平均化したものに近づいていく。
この話を厳密にすると確率近似法の話になる。
確率近似法による収束の話(1/3)
係数ηtを1/tのオーダーで小さくしていくと収束が
確率１で保証されている。ηtが小さい定数だと
微小変動は残るが一応、平均化した方程式
Wt  t E[I ( yt ) y ]Wt
T
t
の解に近づいていく。
ここでEは確率変数ytについての期待値。
確率近似法による収束の話(2/3)
差分方程式より微分方程式の方が解析が楽なの
で、tを連続時間として
dWt
 t E[I  ( yt ) ytT ]Wt
（５－３）
dt
として議論する。
この方程式が収束すると仮定するとdWt/dt=0と
なる。このとき答えは右辺が０、つまりy=Wxと
して
確率近似法による収束の話(3/3)
I   ( y) y T
を満たすWが答えとして出る。
成分で書くと
E[φi(yi)yi]=1 、 E[φi(yi)yj]=0 , i≠j
である。
しかし、元の信号siが復元できたとしてもそのス
ケールはわからない。そこでこのアルゴリズム
では仮に信号のスケールが決まる。よって元の
信号を正しく分離するWはこの学習の方程式の
平衡状態になっている。
平衡状態の安定性
先ほどの解が平衡状態に収束するかどうかは、平
衡状態の安定性にかかっている。
そこで平均化した微分方程式で平衡状態の安定性
を調べると、条件付ではあるが、正解が安定平
衡点に収束することが微分方程式の議論により
証明できた。
まとめ
今までの話をまとめるとICAで元の信号源の信号を
復元するのに復元行列Wを学習で求めるのが
（５－３）式である。
いずれにしてもφi(yi)というn個の関数を選ばなくて
はならない。この時、安定性を満たすようにφiを
選べば正しい解が得られるが、満たしていなけ
れば分離はうまくいかない。