Transcript わかりやすいパターン認識 第6章 特徴空間の変換

わかりやすいパターン認識
第６章 特徴空間の変換
６・６空間変換の計算例
２００３年６月１３日
結城 隆
空間変換の計算
ここでは第６章で述べてきた特徴空間の変
換法を具体例を用いて計算し理解を深め
ることを目的として進めていく。
２クラス２次元特徴ベクトルの具体例
クラス 1 に属するパターンを
x1  (1,0)t , x2  (3,2)t , x3  (2,1)t , x4  (1,2)t , x5  (0,1)t
クラス 2に属するパターンを
x6  (1,0)t , x7  (1,2)t , x8  (0,1)t , x9  (3,2)t , x10  (2,1)
このとき，n1  n2
 5, n  n1  n2  10，であり
m1  1,0 , m2  1,0 , m  0,0
t
となる。
t
t
具体例の図 ２クラスの特徴ベクトルの分布
X2


  10 

8 

Z1
DN
6
x10
3
x7
2
x6
x5
x4
(a).特徴空間
x3
3 X
1
m2'
2
5
x8 0 x1
2
x9
x2
3
0
'
1
m
1 3
2
6
1
（ｂ）.正規化空間
5
Z2
 10 


 8 


(a)変動行列，分散行列の算出(1)
Si と，共分散行列 i を求めると
 5 3
2  5 3 1
, 1  2  
  S1
S1  S2  2
5  3 5 5
 3 5
変動行列
15 6 
1 15 6  1
, T  
  ST
ST  2
5  6 5 10
 6 5
5 3 
10 0 
, SB  

SW  4
 3 5
 0 0
(a)変動行列，分散行列の算出(2)
ここでは Pi   ni / n を仮定する。すると共
分散行列はそれぞれ
2  5 3
,
W  
5  3 5
1 0 

B  
 0 0
T  W  B , ST  SW  SB が成立
1
t
t
またm=0であるので   x  mx  m  R  mm より
n
今までの式において
R  T  mm  T
t
が成り立つ
(b)KL展開による主軸
全共分散行列 T の固有値 1, 2 とそれに
対応する正規直固有ベクトル u1, u2 を求める
19
6
1  , 2 
5
5
1 3
1  2
 , u2 
 
u1 
13  2 
13   3
となりKL展開によって定まる主軸は(3,2)方向であり，
図２(a)のPとなる。これはパターン全体の主軸である。
(c)線形判別法による判別軸
SW , W の逆行列より
5  5 0
1
1

W B  SW SB  
32   3 0 
i   ni / n
これが成立するのは P
仮定したため
このとき
1
の固有ベクトルと固有値を求めると
W B
 
25
1  , 2  0
32
 0
1  5
 , u2   
u1 
34   3
1
と
この固有ベクトル u1 の方向
は図2(c)におけるDの方向で
あり、クラス内分散・クラス間
分散比最大という基準におい
て二つのクラスを識別するの
に最も適した軸
図２：種々の線形変換によって得ら
れる１次元部分空間と決定境界
P
X2
X2
P
3
S1
2
3
S2 S
2
0
2
X2
3 X
1
3
D
m1
(b).主軸からの距離
5
0
(a) KL展開
3 X
1
2
2
3
0 m2
3
X1
(c) 線形判別法
D
2
3
(d) J の最大値とマハラノビス汎距離
各クラスの平均と全平均とのマハラノビス汎距離の平均値
 Pi D mi , m   Pi m  mi t m  mi 
c
2
M
i 1
c
i 1
25

32
W1B の最大固有値に等しい
また、クラス 1,2の平均間マハラノビス汎距離は
 2  25
D m1, m2   2, 0   
0 8
2
M
1
W
(e) 第一の変換行列 A1 (1)
線形判別によって求まる変換行列Aは
~
d, d 行列 A1 と d, d 行列 A2 とに分解できる




A  A1 A2
クラス内共分散行列 W の固有値と正規直交固有ベク
トルを求めると
19
6
1  , 2 
5
5
1 1
1 1
 , u2 
 
u1 
2 1
2  1
(e) 第一の変換行列 A1 (2)
A1t W A1  Id から第一の変換行列 A1は
 1 0 

A1  u1, u2 
 0 2 
現空間上の点 x 
上での座標 z  z
x1, x2 
 1, z2 t は
t
1/ 2
を
10 1 2 



8 1  2 
A1で変換した点，すなわち正規化空間
 z1 
10  x1  x2 
t  x1 
   A1   


8  2x1  2x2 
 z2 
 x2 
(f) 第二の変換行列 A2 (1)
正規化空間上での各クラスの平均
m1' ,m2' に対してKL展開
クラス平均の共分散行列  N の
固有ベクトルを求める
1c '
5 1 2 
'
'
' t
t

 N   mi  m mi  m  A1 B A1  
c i 1
32  2 4



固有値と正規直交固有ベクトル
25
1  , 2  0
32
1 1 
1  2
 , u2 
 
u1 
5  2
5  1
(f) 第二の変換行列 A2 (2)
1 1 
 
A2 
5  2
2 3 
 
A  A1 A2 
8   5
 25 
  1    
 32 
A B A  
def
とすると
A1 が直行変換でないため DN は
t
m1' ,m2'を通るが，原空間上で D が
m1,m2を通るとは限らないことに注意
正規化空間上で DN に垂直な方向
A 
1 t
1
DN は、原空間上では
10  2 1 1  2 
2  3

   
 
u2 
32  2 1 5  1 32  5
(ｇ) 決定境界
(a).KL展開によって定まる１次元空間の最適な決定境界
(b).各クラスの分布の主軸
した場合の決定境界 S
P
S1,S2 からの距離によって識別

(c).線形判別法によって定まる１次元空間の最適な決定境界 D
この三つの決定境界を比べると
・与えたれた10個の特徴ベクトルに対して誤識別をするの
はどれにおいても各クラス１パターンずつ計２パターン
・分布全体の中で誤識別を引き起こす領域を比べてみると，
この例では，(c)の D が最も良い決定境界