Transcript WPR-3

パターン認識
ー特徴抽出２ー
担当：和田 俊和
部屋 A513
Email [email protected]
講義資料はhttp://wada1.sys.wakayama-u.ac.jp/PR/
主成分分析復習
判別分析
主成分分析
• 特徴ベクトルの各要素の分散を最大化する。
φ
c  (x  μ・) || φ ||
φ
ci  (xi  μ・) || φ ||
μ
φ
|| φ ||
1 n
φ
c   (xi  μ)・ || φ ||
n i 1
μx  c0
主成分分析（固有値問題としての定式化）
• 特徴ベクトルの各要素の分散
1 n
φ
2
  {(xi  x)・ || φ ||}
n i 1
n


1
2
 || φ ||2 
{(
x

x
)
・
φ
}

i

 n i 1
1 n
2φ  2  ( xi  x){(xi  x)  φ}
n i 1
1 n
φ   ( xi  x)( xi  x)T φ
n i 1
主成分分析
• 特徴ベクトルの各要素の分散
1 n
φ
2
  {(xi  x)・ || φ ||}
n i 1
1 n
T
φ  (xi  x) (xi  x) φ
n
i 1


共分散行列
φ   φ
固有値問題になる
主成分分析
• 共分散行列Σの性質
  12  1 2

2



2 1
2


 


 n 1  n 2
μ
φ
|| φ ||
対称行列なので次式による
対角化が可能
  VV
V  φ1 φ2  φN 
T
1 0
0 
2


 

0 0
  1 n 

  2 n 

 
2 
 n 
 0
 0 
 

 n 
主成分分析
• 共分散行列Σの性質
  VV
1 0
0 
2


 

0 0
T
V  φ1 φ2  φN 
 0

 0
 

 n 
Vは直交行列（回転を表している）：
V V
T
1
|| Vx |||| x ||
VT

V
主成分分析によって何が分かるか
• 分散の大きくなる軸の向き φi
• その軸方向の偏差 i 分散 i
• 共分散行列のランクがrである場合、次式が成
r
り立つ
x   (φ・i (x  x))φi  x
i 1
• r未満の数qに対する直交展開
q
x'  (φ・i (x  x))φi  x
i 1
を計算する際に誤差||x-x’||を最小化する基底が
求まっている。
レポート課題
• x1= (2,4,3)T,
x4= (3,1,3)T
x2= (2,2,4)T, x3= (5,1,2)T,
•
Σの計算
•
固有値分解の結果
•
VによるΣの対角化の確認
•
直交展開（３項必要）
OCTAVE を使った計算
•
•
•
•
•
•
v1=[2,4,3].’
v2=[2,2,4].’
v3=[5,1,2].’
v4=[3,1,3].’
av=(v1+v2+v3+v4)/4
S=((v1-av)*(v1-av).’+(v2-av)*(v2-av).’
+(v3-av)*(v3-av).’+(v4-av)*(v4-av).’)/4
識別に有利な特徴への変換
クラス内での分散を小さくし、クラス間での
分散は大きくする一次元特徴を求める
2
μ2
1
μ1
y  AT x
クラス１
平均値
A
分散
クラス２
A μ1 A μ2
T
T
AT 1A
AT 2 A
1 n T
T
T
A
(
x

μ
){
A
(
x

μ
)}
 i
i
n i 1
1 n T
  A ( xi  μ)( xi  μ)T A  AT A
n i 1
識別に有利な特徴への変換
クラス内での分散を小さくし、クラス間での
分散は大きくする一次元特徴を求める
クラス１
2
μ2
1
μ1
y  AT x
A
平均値 A μ1
T
分散 A 1A
T
クラス２
AT μ2
AT 2 A
n11  n22
n1n2 ( μ1  μ2 )( μ1  μ2 )T
W 
B 
(n1  n2 )2
n1  n2
AT  B A
フィッシャー比 AT  A
W
クラス内分散
クラス間分散
の最大化
AT W A
T
A B A
識別に有利な特徴への変換：
判別分析
AT  B A の値は変わらないので、
Aの大きさが変わっても T
A W A
T
T
A
B A の最大化問題と見なす。
の下での
A W A  1
Lagrangeの未定係数法により、次の目的関数が得られる。
J (A)  AT B A  (AT W A 1)

J (A)  2B A  2W A  0
A
B A  W A
が得られ,これを整理して
(W1B  I )A  0
W1B
なので、
となる。
の最大固有値がJの最大値となり、
これに対応する固有ベクトルが、Aになる。
線形判別法：
多クラスの場合
多クラスの場合、Aは複数のベクトルとなる。
c
W   P(i )i
i 1
~
W  AT W A
~
trace(B )
J1 ( A) 
~
trace(W )
c
B   P(i )P( j )(μi  μ j )(μi  μ j )T
i 1 j i
~
B  AT B A

~ ~
J 2 ( A)  trace W1B

~
det(B )
J 3 ( A) 
~
det(W )
これらを最大化する問題は、同じ問題に帰着する。
1
の固有ベクトルが、Aの列ベクトルになる。
W B
 