Transcript わかりやすいパターン認識 第6章 特徴空間の変換

わかりやすいパターン認識
第６章 特徴空間の変換
６・３ ＫＬ展開
１．次元削減のための基準
２．分散最大基準
２００３年５月９日
結城 隆
(1)次元削減のための基準
ＫＬ展開
・線形空間における特徴ベクトルの分布
を最もよく近似する部分空間を求める方法
・統計学の一分野である多数量解析にお
ける主成分分析と数学的にほとんど等価
二つの評価基準を用いてＫＬ展開による次
元削減について
・分散最大基準
・平均二乗誤差最小基準
次元削減のための評価基準図
X2
X2
Y
Y
0
分散最大基準
どちらも Y

Y
Y
X1
X1
0
平均二乗誤差最小基準
よりも Y のほうがよりよい部分空間である。
(2)分散最大基準
~
変換後の d ( d )次元部分空間においてパターンのばら
つきがより大きい方が現空間でのパターン分布の特徴を
より良く保存した空間
変換後のパターン分布の分散を最大にするという分散最
~
大基準を用いて d 次元部分空間とその変換行列を求め
る
元の特徴空間から部分空間への変換
~
~
d ( d )
u ,  , u 
次元部分空間を張る d 個の d 次元ベクトルか
らなる正規直交規定を
とする。
1
基底の正規直交性から
u u 
~
d

t
はクロネッカーのデルタ  ij
ij
i j
ij
元の特徴空間から部分空間への変換行列Ａは
t

 特徴ベクトル は
x
A   u1 ,  , u ~ 
d 

また
A A I
t
1

0
def
yAx
if
i j
otherwise
に変換
~
が成立し
I は d 次元単位行列である。
部分空間でのパターンの分散
元の特徴空間から部分空間への変換より、このとき
1
m y
n y
~
1
  At x
n x
~2
  A

よって、部分空間でのパターン分散
~ 2

 At m
は
1
~ t  y  m
  A    y  m
n y
n:パターン数
m：原特徴空間での
バターン平均
~
m：部分空間での
バターン平均
~



t
1
t
  A  x  m  At  x  m 
n x
t
1
t
t
  tr A x  m  A x  m 
n x




 tr At  A
 はパターン集合の原特徴
空間における共分散行列

1
t
   x  m x  m 
n x
分散を最大にするＡ
def

 

J  A  tr A  A  tr A A  I 
t
t
~
：d 次元対角行列
Aで偏微分して0と置く
2 A  2 A  0
At  A  
Aは  を対角化する行列である。  の d 個の固有値を
i  1  2  ...  d とすると






max ~ 2  A  max tr At  A
 max tr
~
d
 i
i 1

~2
  Aを最大にする変換行列Aは
の
~
d
1 ,..., d に対
上位 個の固有値
~
d
応する 個の正規直交固有ベクトル
を列とする行列として求める
KL展開による特徴空間の変換
Pa '
Pa
X2
Pb
x
Y

a
P
m
0
x0
X1
図では分散最大基準によって得られる最適１次元空
間の軸は Paである。