Transcript PCAからICAへ？

1
PCAからICAへ？
狩野裕＋清水昌平
（大阪大学人間科学部）
日本行動計量学会：東京大学 平成12年10月
2
ICAとは (1)
• Independent Component Analysis
(独立成分分析)
• Jutten-Herault(1991)：２つの音声を分離
• 情報検索によると
日本 海外
ICA：PCA＝1：8（日本）
ICA：PCA＝1：4（海外） ICA
23 2877
PCA
日本行動計量学会：東京大学 平成12年10月
176 11514
3
ICAとは (2)
• 成分が独立な多次元信号sを線型混合した
観測値 v から，s を再生するための方法
v(t )  A s(t )
(t  1,2,)
 s(t )  [s1 (t ),, sn (t )]T
 v(t )  [v1 (t ),, vm (t )]T
 A : m  n 混合行列
• v からAを推定し，ｓ を再生する
日本行動計量学会：東京大学 平成12年10月
4
BSS と ICA
独立
• BSS
– Blind Source Separation
v(t )  A s(t )
音源S１

(t  1,2,)
音源Sn
aij
 s(t )  [s1 (t ),, sn (t )]T
 v(t )  [v1 (t ),, vm (t )]T
 A : m  n 混合行列
観測V1
日本行動計量学会：東京大学 平成12年10月

観測Vm
5
カクテルパーティー効果
周りの雑音に関係なく、会話できる。
♪
♪
♪
日本行動計量学会：東京大学 平成12年10月
6
カクテルパーティー効果とICA
• 音源の物理的な位置・音響
路の差異などの特性が違う
• 観測される信号の重なり方
が左右の耳で違う
• その違いから，ふたつの
信号を復元する
• ICAでは独立性を利用
障害物
音源1
日本行動計量学会：東京大学 平成12年10月
音源2
左
耳
人間
右
耳
7
実際のカクテルパーティー効果は
• 選択的注意
– ある情報を選択的に自覚した意識状態
• 話のコンテックスト
• 欠落音の補完
– 音の冗長性を利用
– 断片情報から全体を復元
日本行動計量学会：東京大学 平成12年10月
8
ICAの仮定
• 正規分布に従う独立成分は高々１つ
– ｓ が正規分布だと分離不可能
– 非正規性に依拠する方法
• m≧n
– 観測変数の次元の方が大きい
– そうでないモデルもある
• 混合行列 A は full column rank
• その他
– E(s) = 0, V(s) = In， モーメント存在の条件
これらの下で A を一意に決定できる
日本行動計量学会：東京大学 平成12年10月
9
主成分の回転
V (v)  V ( As)  AAT
AATから Aを決定することはでき ない（回転の自由度）
• PCA．．．．分散の大きな成分を抽出
• ICA．．．．非正規性を最大にする成分を抽出
• ICAは高次統計量を用いた因子回転の一種
• なぜ，独立成分の抽出と非正規性最大化が
対応するのか？
日本行動計量学会：東京大学 平成12年10月
観測変数を球状化by PCA
10
非独
正立
max kurt(wT Mv)  max kurt(wT MAs) 規 成
w: w 1
w: w 1
性分
m
最
の
T
4
 max kurt(z s)  max  zi kurt(si )
z: z 1
z: z 1
大抽
i 1
化出
kurt(s1 )  ...  kurt(sm )とすると
と
T
最大化はz  [1,0,...,0] で達せられる．即ち
V (Mv)  MAAT M T  I n
尖度の最大化
max kurt(wT Mv)  s1
w: w 1
日本行動計量学会：東京大学 平成12年10月
11
独立成分の抽出と射影追跡
• 尖度の最大化 => 非正規独立成分の同定

4
4
max{kurt(s1 ), kurt(s2 )}  2max
kurt
(
z
s

z
1 1
2 s2 )
2
z1  z2 1
• 独立成分の和は非正規性を小さくする
• この同値性が独立成分抽出と非正規性
最大化を結ぶ
• ICAとPP（射影追跡）を結ぶ
日本行動計量学会：東京大学 平成12年10月

12
射影追跡（PP）
• データの興味深さ・面白さ
（interestingness）を表す軸（超平面 wTv）を
同定
• Interestingness を非正規性として捉える
• Freedman の指標・Hallの指標が有名
• 岩崎（1991）を参照
日本行動計量学会：東京大学 平成12年10月
13
ICAのプロセス
• ICAでは，非正規性の尺度を定めると，
それを最大化する wTMv によって独立
成分を同定することができる
• ２番目の独立成分は，ｓ を取り除いてから
同プロセスを繰り返す
Mx  ws1  MAs  MAe1s1  MA[0, s2 ,..., sm ]T
日本行動計量学会：東京大学 平成12年10月
14
非正規性の尺度
• 尖度や高次キュムラント
– 外れ値に弱い
• Entropy 最小化
• Mutual Information 最小化
• PPで提案されている非正規性の尺度
日本行動計量学会：東京大学 平成12年10月
15
Entropy 最小化
y  wT Mv
 w  1
pdf of y ..... f ( y)
z～N (0,1)

entropy of y ..... H ( y)   f ( y) log f ( y)dy
negentropyof y ..... J ( y)  H ( z)  H ( y)
max J ( y)
w
日本行動計量学会：東京大学 平成12年10月
 0
16
Negentropy の近似
Jones  Sibson(1987)
1
1
3 2
2
J ( y) 
E[ y ]  kurt( y)
12
48
Hyvarinen(1998)

J ( y) 

p
k E[G ( y)]  E[G (z)]
2
i
i
i 1
日本行動計量学会：東京大学 平成12年10月
i
17
Mutual Information 最小化
y  WMv, W  O(m)
Mutual Information :


I (y ) 
H ( yi )  H (y)    f (y) log

i 1

m

 const


m
f (y )
i 1 i i
f (y )
m
J (y )
i
i 1
min I (y)
W
日本行動計量学会：東京大学 平成12年10月


dy  0


18
Noisy ICA (IFA)
• 測定に誤差が伴う場合
v(t )  A s(t )  u(t )
(t  1,2,)
 s(t )  [s1 (t ),, sn (t )]T
 v(t )  [v1 (t ),, vm (t )]T
 u(t )  [u1 (t ),, um (t )]T
 A : m  n 混合行列
日本行動計量学会：東京大学 平成12年10月
19
セミパラメトリックモデル
• Amari-Cardoso(1997), 川鍋-村田(2000)
v(t )  A s(t )  u(t )
(t  1,2,)
 si (t )～ i (si )
 u(t )～N (0, )

m
 (s )ds
f (v | A, , i )  N (v | As, )
i
i 1
日本行動計量学会：東京大学 平成12年10月
i
20
モデル間の関係
noisy モデル
v = As+u
非正規データ
高次統計量
正規データ
２次統計量
noisy ICA
IFA
FA
noise-free モデル
PP
v = As
noise-free ICA
川鍋-村田(1999)より
日本行動計量学会：東京大学 平成12年10月
PCA
21
ICA と PP
• 両者とも観測変数の線型結合の中で
非正規性を最大にするものを探す
• ICAにおける指標とPPにおける指標は
相互乗入れ可能と思われる
• データが独立な信号（潜在変数）の線型和
ならば，ICAやPPは独立成分を同定．そう
でない場合は，興味ある軸を同定
• ICAはPPの一つの特徴づけ
日本行動計量学会：東京大学 平成12年10月
22
例１．一様分布
PPがICAになる場合
V2
S2
S1
V1
球状化した観測変数の分布
ICA or PPによって変換した
変数の分布
日本行動計量学会：東京大学 平成12年10月
23
例２．混合正規分布
PPがICAにならない場合
V2
S2
V1
球状化した観測変数の分布
S1
ICA or PPによって変換した
変数の分布
  b b2 0  
 b b2 0  
  a 
 a  
   2 N   , 

1N  ,     2 N  ,  
1N  , 


2
2
  0   0 2b  
 0  0 2b  
 a 
 a  
 日本行動計量学会：東京大学




 平成12年10月

24
応用
• BSS
• 脳磁図・脳電図の分析
• いままでPCAないしはFAで分析していた
対象をICAで分析してみたという例が多い
• 社会科学への応用は今から
日本行動計量学会：東京大学 平成12年10月
25
まとめ
• (noise-free or noisy) ICAは軸の変換である
– PCAは分散が大きくなるよう軸を変換
– ICAは独立成分を同定するよう軸を変換
• 独立成分同定 ⇔ 非正規性最大化
– ICA ⇔ PP
– ICA・PPは独立成分が隠れているとそれを同定
• FAとの関連では，ICAは新しい直交回転解を
与える
– 独立性が一番大きくなるように回転
日本行動計量学会：東京大学 平成12年10月
26
PCAからICAへ？
• PCAとICAはまったく異なり，一方が他方を
凌駕するというものではない
– 目的によって使い分ける
– 分散最大化 vs 非正規性最大化（独立成分の同定）
– ２次統計量 vs 高次統計量
• 方法論の研究に関しては，ICAが“燃えている”
• ICAの社会科学での適用可能性は未知
日本行動計量学会：東京大学 平成12年10月