Transcript wakisaka4
分かりやすいパターン認識 発表日：５月２３日 担当：脇坂恭志郎 第６章 特徴空間の変換 ６．４ 線形判別 [３] 線形判別法と空間変換 線形判別法 線形判別法とは →空間の線形変形によりクラス内分散・クラス間分散比 ~ 次元部分空間法を求める方法。 を最大にする d ~ →識別を考慮した特長空間の変換法。変換には（ d , d ） 行列のＡを用いる。 変換行列Aは A A1 A2 の二段階に分割可能。 空間変換 ① W は対称行列なので A1t W A1 I d を満たすｄ次正方行列 A1 が 存在する。（ただし、 I d はｄ次単位行列） ~ ~ t ここで A1 B A1 の d 個の固有ベクトルを列とする ( d , d )行列を A2とし、対応する固有値を成分とする d~ 次元対角行列を とおくと、 ( A1t B A1 ) A2 A2 A2t A2 I d~ が成り立つ。 こうして定義した A1 , A2 を用いて、さらに A A1 A2 と定義すると、 このＡは以下の二式で示した固有値問題の条件を満たす。（ｐ１２６） ~ W At W A I (1) B A W A ( 2) 評価関数の 最大化問題 Ａが固有値条件を満たす理由は？ 前出の式 A1t W A1 I d を用いて ~ W A t W A A2t ( A1t W A1 ) A2 A2t I d A2 A2t A2 I d~ ( 3) となり、（１）式が示される。さらに、 ( A1t ) 1 W A1 となるので、これを ( A1 B A1 ) A2 A2 の両辺に対応して 掛けると t B A W A これによって、（２）式が成り立つ。 空間変換 ② ・第一の変換 A1 は、クラス内分散 W の正規化を行う変換。 白色化（whitening） ・第二の変換 A2 は、 A1 で正規化された空間でのクラス平均 A1t W A1 I d に対するＫＬ展開法を行う変換。 ・Ａは、（３）式と ~ B At B A A2t ( A1t B A1 ) A2 A2t A2 より、 W , Bを同時に対角化する変換。 同時対角化（simultaneous diagonalization） 線形判別法における２段階の空間変換 A1 , A2の変換を具体例で図解したものが、下図である。 (a)は２次元特徴空間上での２クラスの特徴ベクトルの分布を表す。 X2 X2 2 1 m1 (a) 特徴空間 1 2 m2 X1 X1 (b) まず、(a)の特徴空間上での 1, 2の分布を、(b)のように重心が 一致するように重ね、これを分布 1 2とする。 A1 変換後の正規化空間 分布 1, 2が(d)のように各軸に対して等方的になるような、すなわち 分布の共分散行列が単位行列の定数倍になるような変換 A を求める。 1 (a) をA1 変換 L1 1 m1 (b) をA1 変換 Z1 1 2 2 m2 Z1 DN L2 (c) 正規化空間 Z2 (d) Z2 次に原空間(a)に対して変換 A1を施すことにより、空間(c)が得られる。 この変換によって得られる正規空間の軸は Z1 , Z2 となり、この空間に おける各クラス平均 m1 , m2 に対してＫＬ展開法を施す。 A2変換後の判別空間Ａ ＫＬ展開法を施す場合、 m1 , m2 の二点しかないので、求められる部分空間 二点を結ぶ軸 DN となる。これにより判別空間(e)が得られる。（空間軸はＹ） X2 D L2 1 2 (e) 変換後の空間（判別空間） Y 1 L1 1 X1 D (f) 特徴空間と判別軸 (c)の線分 L1 L2 を正規化空間上で考え、原空間に移すと(f)の L1 L2となる。 線分 L1 L2 は判別空間上では同じ点に写像されるので、求める判別軸は これに垂直な軸であり、Ｄが得られる。（ D は二クラスを分ける決定境界） Coffee break !! ・砂時計型ニューラルネットワーク ~ d 個の入力層と出力層、d 個の中間層からなり、入力と同じ値を 出力するような恒等写像を、学習によって実現。学習後の中間層 ~ ユニットの出力は d 次元ベクトルとして実現され、d 次元特徴ベク トルの次元圧縮された表現とみなす事が出来る。（下図は５層） ＜利点＞ ・歪んだ分布を持つ特徴ベクトルに対し、 「歪んだ軸」を決めることが可能 ＜欠点＞ ・任意の写像を任意の精度で実現するのに 無限個のパラメータが必要。 ・この方法によって変換された特徴空間 の特徴について不明な点が多い。 5 2 ( d 1) 1 d 4 3 1 ~ d 2 1 1 2 ( d 1) d