Transcript wakisaka4
分かりやすいパターン認識
発表日:5月23日
担当:脇坂恭志郎
第6章 特徴空間の変換
6.4 線形判別
[3] 線形判別法と空間変換
線形判別法
線形判別法とは
→空間の線形変形によりクラス内分散・クラス間分散比
~ 次元部分空間法を求める方法。
を最大にする d
~
→識別を考慮した特長空間の変換法。変換には( d , d )
行列のAを用いる。
変換行列Aは A A1 A2 の二段階に分割可能。
空間変換 ①
W は対称行列なので A1t W A1 I d を満たすd次正方行列 A1 が
存在する。(ただし、 I d はd次単位行列)
~
~
t
ここで A1 B A1 の d 個の固有ベクトルを列とする ( d , d )行列を
A2とし、対応する固有値を成分とする d~ 次元対角行列を とおくと、
( A1t B A1 ) A2 A2
A2t A2 I d~
が成り立つ。
こうして定義した A1 , A2 を用いて、さらに A A1 A2 と定義すると、
このAは以下の二式で示した固有値問題の条件を満たす。(p126)
~
W At W A I (1)
B A W A ( 2)
評価関数の
最大化問題
Aが固有値条件を満たす理由は?
前出の式 A1t W A1 I d を用いて
~
W A t W A A2t ( A1t W A1 ) A2
A2t I d A2 A2t A2 I d~ ( 3)
となり、(1)式が示される。さらに、
( A1t ) 1 W A1
となるので、これを ( A1 B A1 ) A2 A2 の両辺に対応して
掛けると
t
B A W A
これによって、(2)式が成り立つ。
空間変換 ②
・第一の変換
A1 は、クラス内分散 W の正規化を行う変換。
白色化(whitening)
・第二の変換
A2 は、 A1 で正規化された空間でのクラス平均
A1t W A1 I d に対するKL展開法を行う変換。
・Aは、(3)式と
~
B At B A A2t ( A1t B A1 ) A2 A2t A2
より、 W , Bを同時に対角化する変換。
同時対角化(simultaneous diagonalization)
線形判別法における2段階の空間変換
A1 , A2の変換を具体例で図解したものが、下図である。
(a)は2次元特徴空間上での2クラスの特徴ベクトルの分布を表す。
X2
X2
2
1
m1
(a) 特徴空間
1 2
m2
X1
X1
(b)
まず、(a)の特徴空間上での 1, 2の分布を、(b)のように重心が
一致するように重ね、これを分布 1 2とする。
A1 変換後の正規化空間
分布 1, 2が(d)のように各軸に対して等方的になるような、すなわち
分布の共分散行列が単位行列の定数倍になるような変換 A を求める。
1
(a) をA1 変換
L1
1
m1
(b) をA1 変換
Z1
1 2
2
m2
Z1
DN
L2
(c) 正規化空間
Z2
(d)
Z2
次に原空間(a)に対して変換 A1を施すことにより、空間(c)が得られる。
この変換によって得られる正規空間の軸は Z1 , Z2 となり、この空間に
おける各クラス平均 m1 , m2 に対してKL展開法を施す。
A2変換後の判別空間A
KL展開法を施す場合、 m1 , m2 の二点しかないので、求められる部分空間
二点を結ぶ軸 DN となる。これにより判別空間(e)が得られる。(空間軸はY)
X2
D
L2
1
2
(e) 変換後の空間(判別空間)
Y
1
L1
1
X1
D
(f) 特徴空間と判別軸
(c)の線分 L1 L2 を正規化空間上で考え、原空間に移すと(f)の L1 L2となる。
線分 L1 L2 は判別空間上では同じ点に写像されるので、求める判別軸は
これに垂直な軸であり、Dが得られる。( D は二クラスを分ける決定境界)
Coffee break !!
・砂時計型ニューラルネットワーク
~
d 個の入力層と出力層、d 個の中間層からなり、入力と同じ値を
出力するような恒等写像を、学習によって実現。学習後の中間層
~
ユニットの出力は d 次元ベクトルとして実現され、d 次元特徴ベク
トルの次元圧縮された表現とみなす事が出来る。(下図は5層)
<利点>
・歪んだ分布を持つ特徴ベクトルに対し、
「歪んだ軸」を決めることが可能
<欠点>
・任意の写像を任意の精度で実現するのに
無限個のパラメータが必要。
・この方法によって変換された特徴空間
の特徴について不明な点が多い。
5
2 ( d 1)
1
d
4
3
1
~
d
2
1
1
2 ( d 1)
d