Transcript x,y - 井手剛の研究紹介

Tokyo Research Laboratory
相関行列の
群論的一般化について
IBM東京基礎研究所
井手 剛
| 2005/11/09 | IBIS 2005
© Copyright IBM Corporation 2005
Tokyo Research Laboratory
要約： 非線形相関を認識するために、共分散（相関係数）の定義を一般化する。
その土台となるのが二つの理論的性質。
共分散
二つの理論的属性
2体の交差キュムラント
( x  x )( y  y)
ここで
    p( x, y)dxdy
C4v群のB2既約表現
パターン認識への新
しいアプローチ
Page 2
| 2005/11/09 | IBIS 2005
一般化
• 交差キュムラントの1次結合
から、C4v群の既約表現となる
ものを作る。
• それを一般化相関係数とし
て採用。
ご利益
1.
非線形相関を有限個の自然なパターンに分類できる
2.
それぞれの相関の度合いを定量的に記述できる
© Copyright IBM Corporation 2005
Tokyo Research Laboratory
背景の説明： 例えば、ある機械の不調を解析したい時
──非線形に絡み合う多変量系の相関を定量的に記述するのは簡単ではない
状態A
 例えば2変数 x、y を持つ多変量系において、
状態AとBを定量的に比較するためにはどうす
べきだろう？
y
x
各データ

通常の相関係数では殆ど差は出ない

相関のあり方がほぼわかっていれば、それを捉え
られるようなカーネル関数を工夫できるが．．．
• 必然的に定義はアドホック
• パラメターの決め方にかなりの任意性
y
状態B
x
Page 3
| 2005/11/09 | IBIS 2005
アドホックな仕方ではなく、
非線形相関をとらえる
普遍的な枠組みが欲しい。
© Copyright IBM Corporation 2005
Tokyo Research Laboratory
最低次の交差キュムラントとしての共分散（1/3）： 多変量系の相関を表す特徴量
として、キュムラントに注目する。キュムラントは便利な性質を持っている。
n 変数系の振舞いを、その
確率密度関数 p で記述
p(x)  p( x1, x2 ,...,xn )
2次のキュムラントは
分散-共分散行列の
要素と一致する
•高次の交差キュムラント
が、共分散の一般化にな
ることを示唆
Page 4
| 2005/11/09 | IBIS 2005
•p の特徴量としてキュムラントを採用
•それらを出発点にして共分散の一般
化を考える
正規分布について3次
以上のキュムラントは
すべてゼロである
•高次の交差キュムラント
を考えることは、必然的に
正規分布モデルの拡張に
なっている
独立な変数対を含
む交差キュムラン
トはゼロになる
•実データの多様性をある
程度吸収してくれる
•ノイズに比較的頑強
© Copyright IBM Corporation 2005
Tokyo Research Laboratory
最低次の交差キュムラントとしての共分散（2/3）： 多変数キュムラントの定義。
具体的な計算はモーメントを介して行うことができる。
キュムラント母関数の定義
具体的にはモーメントを用いて計算できる
キュムラントの定義
引数s についての展開
係数がキュムラント。
（平均をゼロにした場合の関係＝以下同じ）
※多変数キュムラントを下記の記号で表す
xi1 a1 xi2 a2 xik ak
Page 5
c

| 2005/11/09 | IBIS 2005
（ xi1 について a1次、 xi2についてa2 次、… のキュムラント）
© Copyright IBM Corporation 2005
Tokyo Research Laboratory
最低次の交差キュムラントとしての共分散（3/3）： 高次の交差キュムラントは無限
種類ありえるが、「2体」のものに限定。
キュムラント母関数の展開式において
下記の項だけに注目
一般化共分散の候補として、2体の
キュムラント（の組合わせ）を考える
この近似の意味：「疎相関」の近似
•変数の絡み合いが比較的弱い時は、2体のキュムラントだけで相関
を十分な精度で記述できる。
•そうでないときにも、2体の交差キュムラントは、正規分布に対する
最低次の補正項になっている。
Page 6
| 2005/11/09 | IBIS 2005
© Copyright IBM Corporation 2005
Tokyo Research Laboratory
数学的準備。共分散の幾何学的性質を調べるために、位置固有状態で張られる
ヒルベルト空間を準備する。ディラック記法を用いるのが あとあと便利。
位置固有状態の定義
a
r   
b 
位置固有状態の全体で張られるヒルベルト空間
xˆ r  a r
の時
H  r | r  D
など。
位置演算子
状態 p の定義：
y
ただし
x
r   
 y
D
p(r)  r p
 
状態ベクトル x y
x
は(x,y)についての周辺分布
の定義
r x  y  x  y
x  y
についてのモーメントの表記
x y   drx y p(r)
を
p x  y
と表す。
D
p(r) の定義域 D
Page 7
p   dr r p(r)
| 2005/11/09 | IBIS 2005
© Copyright IBM Corporation 2005
Tokyo Research Laboratory
C4v群の既約表現としての共分散 (1/3) ：普通の共分散は、＜p | xy＞と書ける。
そこで、状態 | xy＞ の幾何学的性質を調べたい。
xとyの入れ替えに
対称、など
状態ベクトル |xy＞の持つ意味深
な対称性を「きちんと」記述したい
状態ベクトルにどういう操作を施す
かを、モレなくダブリなく選ぶ必要
対称操作が群をなすように決める
のがひとつの自然な方法
どういう群がよい？
•xyの2次元平面で定義される対称操作を含む
最も一般的なものは
C4vという群
•xとyの入れ替えのような操作を含む
Page 8
| 2005/11/09 | IBIS 2005
© Copyright IBM Corporation 2005
Tokyo Research Laboratory
C4v群の既約表現としての共分散 (2/3) ： C4v群の定義。「モレなくダブりなく」の条
件は、群の公理により自動的に保証される。
z
 C4v群は８つの対称操作を含む
C4 ： z軸周りの90度回転
 C43： z軸周りの270度回転
 C2 ： z軸周りの180度回転
  x ： zx面に対する鏡映
  y : yz面に対する鏡映
   : ξz面に対する鏡映
   : ζz面に対する鏡映
 I ：何もしない

 上記8つの操作は群をなす。すなわち群の公理を
満たしている


Page 9
（1）閉包（積演算に対し閉じている）、（2）結合律、
（3）単位元の存在、(4)逆元の存在
いわば「閉じた小宇宙」をなしている
• 「モレなくダブりなく」の条件を満たしている
| 2005/11/09 | IBIS 2005

y

45 o
45 o
x
Hの元に対するC4vの演算子の
作用は、位置固有状態を介し
て定義される
g f   drg r f (r)
  dr r f ( g 1r)
© Copyright IBM Corporation 2005
Tokyo Research Laboratory
C4v群の既約表現としての共分散 (3/3) ： 状態ベクトル|xy＞は、C4v群のB2表現
となっている。これは共分散の自然な一般化の方法を示唆する。
 群論の帰結： 「不変部分空間」の存在


既約な不変部分空間は互いに重なりがない
異なる既約表現に属する基底同士の内積は、ゼロになる
パターンの認識を既約表現の探索と
して実行できる可能性を示唆
 状態ベクトル |xy＞ のC4v群の群元に対する反応
 I xy  C xy   xy   xy  xy
2


C4 xy  C43 xy   x xy   y xy   xy


• すなわち|xy＞は1次元表現を張っている
指標を調べることによりB2表現の基底であることがわかる
モーメントとキュムラントの関係を考えて、右の定理を得る
通常の共分散は、C4v
群のB2表現を張る
•他の既約表現を見つければ共分散を
自然に一般化できることを示唆
Page 10
| 2005/11/09 | IBIS 2005
© Copyright IBM Corporation 2005
Tokyo Research Laboratory
一般化共分散の定義 ─ C4v的に対称化された2体交差キュムラントとして定義
 4次までの2体キュムラントの一次結合から、 C4vの既約表
現にしたがって変換するものを作る

5つの一般化共分散を作ることができる

キュムラントの次数が上がるにつれ、複雑な図形に対応するが、
逆に、ノイズに敏感になるので、4次まででやめておく
注意点
•数係数には任意性がある
•スケール不変性を保証するため
に、x、yなどはあらかじめ分散1に
規格化することが望ましい
Page 11
| 2005/11/09 | IBIS 2005
© Copyright IBM Corporation 2005
Tokyo Research Laboratory
実験（1/2） ： 解析的に解ける模型で一般化共分散を計算してみる。このモデルの
軌道（トラジェクトリ）はリサジュー図形としてよく知られている。
 強く相関した時系列対のモデル →



時刻 t については一様分布を仮定
明らかに、平均はゼロ
分散も計算可能で、1となる
 このモデルでは厳密に一般化相関行列が計算できる


p(x,y)によるx,yの積分が、単に時刻 t についての積分になる。
基本公式は sin at  0 など
1 / 2
が特別な有理数の時に
のみ相関が非ゼロとなる
• 半端な値だと、無限時間後に
は軌道がxy面を埋め尽くすので、
事実上無相関になるということ
y
x
Page 12
| 2005/11/09 | IBIS 2005
© Copyright IBM Corporation 2005
Tokyo Research Laboratory
実験（2/2）： 通常の相関係数（B2）では非線形性を記述できないが、一般化相関
係数は非線形相関を定量的にとらえている。
• 逆相関なので通常の相関
係数はマイナス1
• 通常の相関係数がゼロに
なる代表的な例
• A1が非線形相関の存在
をとらえている
Page 13
| 2005/11/09 | IBIS 2005
• 通常の相関係数はゼロだ
が、E1とE2が非線形相関
の存在をとらえている
• 通常の相関係数はゼロだ
が、A2が非線形相関の存
在をとらえている
© Copyright IBM Corporation 2005
Tokyo Research Laboratory
まとめ
 二つの理論的性質を足場にして、共分散概念を拡張することを試みた


1．（通常の）共分散は2体の交差キュムラントである
2．（通常の）共分散はC4v群のB2既約表現である
 特に、有限群の既約表現を相関パターンの分類に使うことができることを示した

機械学習の分野では、おそらく斬新な手法だと思われる
 一般化相関係数を定義し、解析的に解ける模型で実験を行った


Page 14
xy空間内での相関パターンの感受性にはそれぞれ特色がある
• A1相関係数は、原点対称の非線形相関を主にとらえる
• A2相関係数は卍型のようなパターンに反応しやすい
• E1、E2相関係数は、左右非対称な分布を主にとらえる
• B2相関係数は線形相関に敏感に反応する
これらの性質を、異常検知等の応用に使うことができる
| 2005/11/09 | IBIS 2005
© Copyright IBM Corporation 2005