Transcript 特徴空間の変換

わかりやすいパターン認識
第６章 特徴空間の変換
６．１ 特徴選択と特徴空間の変換
６．２ 特徴量の正規化
平成１５年５月２３日（金）
発表者 藤井 丈明
6.1特徴選択と特徴空間の変換
特徴ベクトルの問題点
•
スケーリング（単位の取り方）
・特徴ベクトルの各成分はそれぞれ異なる単位で計測されたもの
・スケール（尺度）（scale）を変えると特徴空間でのパターン分布は一変
•
次元数
識別機を設計する場合、特徴を増やしすぎるという傾向に陥りやすいが、
この事は必ずしも得策ではない
・特徴数を増やすほど相関の高い特徴の組が混入する可能性が高まる
・特徴空間の次元の増大は計算量の爆発を引き起こす 次元の呪い
・有限個の学習パターンから識別機を設計する際、次元を高くしていくと
誤識別率が上昇
ヒューズの現象
対策
スケーリングの問題、次元数の問題に対して
以下のような処理が必要となる
・スケーリング
特徴ベクトルの正規化（normalization）
・次元数
特徴空間の次元削減
（dimensionality reduction）
特徴選択（featureselection）
ある基準にのっとって特徴空間の次元削減
を行うこと
方法
・d 次元の特徴ベクトルから有用な成分だけ
拾い出し d~ (  d ) 次元の特徴ベクトルを構成
・原特徴ベクトルを特定の基準のもとにより
小さな次元の特徴ベクトルに変換
特徴空間の変換（１）
（transformation of feature space）
• 正規化や特徴選択など、原特徴ベクトルをその
後の処理に適した形に変換することであり、多く
の場合次式のような線形変換として表される
t
y A x
・ x ：原特徴ベクトル（d 次元）
~
・ y ：変換後のベクトル（d 次元）
~
・ A ：変換行列（d , d ）
特徴空間の変換（２）
（transformation of feature space）
正規化の場合
~
・ A は対角行列（d = d ）
特徴選択の場合
~
・ A のd 個の列ベクトルの対応する要素のみ
を１、後は０とする
6.2 特徴量の正規化
単位の選び方の問題
x2
x2
x1
x2
x3
x4
(a )
[]
x[㎜]
1
x1 x 2
x3 x 4
(b )
[㎝]
x1
単位の取り方（スケーリング）により、パターン相互
の距離関係は大幅に変わる
正規化する必要がある
正規化の方法（１）
パターン相互の距離を最小化する
・パターン集合：n 個
t
・ p 番目のパターン：x p= ( x p 1 , x p 2 ,  x pd )
・ 変換行列：
 a1


A

0

a2

0 




a d 
正規化の方法（２）
・ yp  A xp
y p ：正規化により得られたパターン
t
要素ごとに書くと以下のように書ける
・ y pj  a j x pj ( p  1, 2 ,  , n j  1, 2 ,  , d )
正規化の方法（３）
・正規化後の x pと他の ( n  1) 個のパターンとの
平均距離
n
d
1
2
2
rp 
( y pj  y qj )


n  1 q 1 j 1
・正規化後の各パターンの平均距離
xj
R 
2
1
n
r

n
2
p
1
n
d
(y



n ( n  1)

p 1
p 1 q 1 j 1
d
 2 a j 
2
j 1
n
2
j
特徴 x j の分散
pj
 y qj )
2
正規化の方法（４）
R を最小化する a j を以下の制約条件の下
2
で求める
d
a
j
1
j 1
ラグランジュの未定乗数法より
1 
aj 
   k
 j  k 1
d



1
d
正規化の方法（５）
 d

   k  は各特徴軸に共通であるので、a jは 1 
 k 1 
に比例
 aj 
j
1

j
各特徴軸を標準偏差で正規化し、平均の回りの分
散（パターンの広がり）を等しくする処理となって
いる