Transcript 学習部分空間法

わかりやすいパターン認識
第7章 部分空間法
7.4 直交部分空間法
7.5 学習部分空間法
発表：2003年6月20日
時田 陽一
直交部分空間法

直交部分空間法
・・・混合類似度法と同様にカテゴリー間の関係を考慮している手法
・・・部分空間法において、全てのクラスの部分空間が互いに
直交している場合を言う（最も低い類似度を与えることをいう）
2つの部分空間
Li と L j のd次元正規直交ベクトルを以下のようにする
ui1,, uidi 、 u j1,, u jd j
全てのk,lおよびi,jに対して以下のような部分空間を構成する
uikt u jl   kl ij
 kl ：クロネッカーのデルタ
（7.2式と同じもの）
各クラスの部分空間作成の際にクラス間の各基底が直交するという条件を
付け加えることになる
多クラスの場合一般的に不可能 （2クラスなら可能）
直交部分空間法（cクラスの場合）
各クラスの自己相関行列： R1 ,, Rc
それぞれの事前確率： P(1 ),, P(c )
このとき、全分布の自己相関行列を
R0
とする
R0  P(1 )R1   P(c )Rc
R0
は実対称行列なので、変換行列
BR0 Bt  
B により対角化される
Λ：対角行列
R0 が正定値であるなら、 A  1 2 B
が存在し、以下の式となる。
P(1) AR1 At  P(c ) ARc At  I
直交部分空間法（2クラスの場合）
例えば、2クラスに限っては
・
P(1 ) AR1 At と P(2 ) AR2 At
・
AR1 At と AR2 At の固有値には以下の式の関係がある
1  2  1
AR1 At
は同じ固有ベクトルを持つ
の最大固有値に対する固有ベクトルは
一方のクラスにとっては最も重要な基底ベクトル
もう一方のクラスにとっては最も重要性の少ない基底ベクトル
●以上の方法により作成した基底を用いることにより、部分空間を構成する
●識別段階では、CLAFIC法と同様に入力パターンとクラスの
類似度を計算し、その値の最大となるクラスを識別結果とする
学習部分空間法『1』
これまでの部分空間法
自己相関行列から固有ベクトルを計算する手法
誤識別は通常クラス間の境界付近で発生
パターン全体の平均2乗誤差を最小にしても、
境界が最適になっているわけではない
学習部分空間法 ： 学習パターンに対する誤識別率を最小にするように
部分空間を逐次的に求める手法
学習部分空間法『2』
・ i の学習ベクトルxが j と誤識別されたとする
・この誤識別を避けるため、  j の部分空間を


Z '  I   xxt Z
  xt x
1
Z とすると、それを少し回転させる
γ：パラメータ（誤識別の影響を回
転の度合いにより表す）
のときには
 xxt 
 I  t  x  0
 x x
となるため、xと回転後の部分空間とは直交する
（ただし、通常1個のデータに対してこのような大きな
修正量はとらない。適度な値へとγを調整する）
・回転後の部分空間の正規直交化を行う
・これらの処理を学習データがなくなるまで反復的に繰り返すことにより、
学習部分空間の作成が終了する
・識別段階では、CLAFIC法と同様に入力パターンと部分空間との間の
類似度を計算し、類似度の最も大きなクラスを識別結果として出力
7章のまとめ
部分空間法
・・・各クラスごとに部分空間を作成し、未知パターンがどの部分空間で
精度良く近似できるかによって識別する手法
これまでに述べた手法の他、さまざまに改良された手法が提案されている
実際のパターンでは、認識対象によってクラス内・間の分布が複雑に異なるため
どの手法が高い認識精度を持つかは一概には言えない
パラメトリック固有空間法が提案されている
→ パターンの変形を部分空間の中での多様体で表現する手法
特徴
パターンの変形をより精度良く表現できる
変形の程度も評価できる
物体認識、動画像認識などに応用されている