Transcript 独立成分分析

独立成分分析
１．問題は何か：例：解法：全体の見通し
2007/10/１７ 名雪 勲
独立成分分析とは？

例
会議室の３箇所にマイクを仕掛けたとする。そこへ
３人の人が来て会話をし始めた。
後で録音したものを聞くと３人の声が同時に混ざっ
ていて聞き取りにくい。これをそれぞれ３人の話
を別々に分離して聞きたい。
独立成分分析の数理的表現(1/5)
独立な信号を発生する情報源がｎ個あったとし
て、これをs ,・・・,s 、まとめてｎ次元の縦ベクトル
s  (s1,, sn )T
とする。
 信号は離散時間ｔ＝１，２，３、・・・に出るものとし、
時間ｔのｎ個の信号をまとめてs(t)と書く。

1
n
T
独立成分分析の数理的表現(2/5)
これらの信号が線形に混ざってしまったものがｎ
箇所から観測されたとして、観測値をx ,・・・,x
とする。
ベクトルにまとめてx=(x ,・・・,x ) T である。
混ざり方の係数をAijとすれば
1
1
xi   j 1 Aij s j
n
となる。
n
n
独立成分分析の数理的表現(3/5)
A=(A )というｎ×ｎ行列を考えれば、これを
x=As
と書くと簡単である。行列Aは一応時間ｔにはよらな
いとすれば、
x(t)=As(t)
がt=1,2,・・・で観測される。
ここでx(1),x(2),・・・を観測してs(1),s(2),・・・を復元
しようというのが問題である。
ij
独立成分分析の数理的表現(4/5)
Aもわからず、s(t)もわからない。ただx(t)だけが
利用できる問題をblind source separationという。
この問題を解く手掛かりは信号s1、・・・ｓ２は確率
的に発生するものとして、ｓ１、・・・ｓｎは全て互い
に独立とする。
つまりｓの確率密度関数をr(s)とすると、各成分が
独立ならこれは
r(s)=r1(s1)r2(s2)・・・rn(sn)
という積の形をしている。
独立成分分析の数理的表現(5/5)

観測値ｘ（ｔ）は混合物だから、x1(t),・・・,xn(t)の
分布は独立になっていない。その中に含まれる
独立な成分を探すので独立成分分析という。
独立成分分析の具体的解法（1/3)
フランスのHeraultとJuttenによる解法を紹介す
る。
y(t)=Wx(t)
1
とおく。W= A ならうまくいくが、Aがわからないの
で適当にWを選んでその結果、y(t)の各成分
y1(t),・・・,yn(t)が独立になっているかを見ていく。
W(t)の変化分を
ΔW(t)=W(t+1)-W(t)
とする。

独立成分分析の具体的解法（2/3)
y(t)を見るごとに
3
ΔWij(t)=-η{yi(t)} yj(t)
のように変える。ηは小さい正の定数とする。
ここで各siの平均値を０とすると期待値は
E[si]=0
定数ηが小さければ
Wij(t)= ⊿Wij (t)
t
はどこかへ収束してその周りで微小振動する。
独立成分分析の具体的解法（3/3)
収束先では⊿Wijは収束点の周りでふらつくので
E[Wij ]  E[ y y ]  0
3
i i
となりWの収束先ではyiとyjがすべて独立となる。
独立と相関
これまでの話ではyiとyjの相関がないことからyiとyj
は独立としている。
独立しているならば相関はないが、相関がないか
らといって独立と言ってもいいのだろうか？
そこで相関と独立の関係について例を挙げて検証
してみる。
相関と独立の例(1/5)
例
s1とs２が独立で区間[-1,1]上の一様分布とする。
確率密度関数r(s)は図のようにs1-s2平面の正方形上に一
様に分布する。

s1
s2
相関と独立の例(2/5)
s1とs2を混ぜ合わせて
1
x1 
(s1  s2 )
2
1
x2 
(s1  s2 )
2
とするとx1とx2の相関は
1
E[ x1x2 ]  E[s12  s22 ]  0
2
相関と独立の例(3/5)
しかしxの分布は図のように正方形を45°回転したものです。
x2
A
x1
相関と独立の例(4/5)
この場合は観測したxのうちx1の値が大きく、 2 に近いとするとxは
角Aの近くにあるので、X2の方は０に近いことがわかる。
よってX1を知ることでX2の情報が得られるので独立ではない。
ここでまとめると、
y=Wx
で観測信号xから元の独立信号の候補yを求めるとすると、Wが
A1 になるように調整していくものだった。
様々な不定性を取り除くと正しいWは求められることになっている。
ここでJuttenとHeraultは勘で
⊿Wij  yi3 y j
とおいた。
相関と独立の例(5/5)
データx(1)とx(2)を見ながらこれをy(t)=W(t)x(t)に変換し、このyを
使ってW(t)を⊿Wだけ変えていくことにした。
これを後に多くの人が
⊿wij  ( yi )
のように一般化したり、式の理論的根拠を求めてよりよいアルゴリズ
ムを作ろうと努力してきた。
独立成分分析は主成分分析に代わる新しい信号分析の手法として
脚光を浴びている。この分野を学ぶには確率・統計、情報理論が
かかわってくる。