Transcript WPR-14

パターン認識
ー最小二乗法と回帰計算ー
担当：和田 俊和
部屋 A513
Email [email protected]
講義資料はhttp://vrl.sys.wakayama-u.ac.jp/PRA/
直交関数展開は最小二乗法
最小二乗の問題
N
• 未知の関数を f ( x) とし， f ( x)   cii ( x)
という形式でこの関数を近似する． i 1
• このとき，下記の式の値を最小化する ci
を求める問題が最小二乗法である．
*
  f ( x)  f
b
a
*
( x)  dx
2
内積の定義
• 次式を f ( x) と g ( x) の内積と定義する．
b
( f , g )   f ( x) g ( x)dx
a
• このとき，最小化する目的値は
2
b
*
*
2
  f ( x)  f ( x) dx || f ( x)  f ( x) ||
a
N
|| f ( x)   cii ( x) ||
2
i 1
N
N
i 1
i 1
|| f ( x) ||2 2( f ( x),  cii ( x)) ||  cii ( x) ||2
連立方程式の導出１
• これを ciで偏微分しそれを0と置くことによっ
て次式を得る．
N
¶
|| f (x) - å cij i (x) ||2
¶ck
i=1
N
N
æ
ö
¶
2
2
çç|| f (x) || -2( f (x), å cij i (x))+ || å cij i (x) || ÷÷
=
¶ck è
ø
i=1
i=1
N
= -2( f (x),j k (x)) + 2(j k (x), å cij i (x)) = 0
i=1
連立方程式の導出２
• したがって
N
 c ( ( x), ( x))  ( f ( x), ( x))
i 1
i
k
i
が成り立つので，
é (j ,j )
1
1
ê
ê
ê
êë (j N ,j1 )
k
ù
é
ù
é
(j1 ,j N )
c1
(j1 , f )
úê
ú ê
úê
ú=ê
úê
ú ê
(j N ,j N ) úê cN ú ê (j N , f )
û ë
ûë
を解けばいい．
ù
ú
ú
ú
úû
 ( x) を正規直交関数に選んだ場合
• この場合，
é c ù é (j , f )
é 1
ù
0 ê 1 ú ê
1
ê
ú
ú=ê
ê
úê
ê
ú ê
ê 0
ú
1 ê cN ú ê (j N , f )
ë
ûë
û ë
ù é c ù
ú ê 1 ú
ú=ê
ú
ú ê
ú
úû êë cN úû
となり，連立方程式を解かなくてよい．
このことから，直交関数展開は
最小二乗法であると言える
Fourier級数展開で方形波とランプ関数を表
現した例．元の形状に近づいている．
中間まとめ
• ここまでの内容は，任意の x における f ( x )
の実測値が分かっている場合の最小二乗
法であった．
• 実際には，密に実測値が得られることはま
れであるため，異なる定式化が用いられる
．
最小二乗の別の定式化
• 未知関数 f ( x)のサンプル点を f (x1 ), , f (xM )
N
とし，
*
f ( x)   cii ( x)
i 1
という形式でこの関数を
近似する．
• このとき，下記の式の値を最小化する ci
を求める問題も最小二乗法である．
 f (x )  f
M
k 1
k
*
( xk ) 
2
解法
• ci で偏微分して０と置くことで次式を得る．

cn



 f ( xk )   cii ( xk ) 
k 1 
i 1

M
N
2
M
M
N
k 1
k 1
i 1
 2 f ( xk )n ( xk )  2  n ( xk ) cii ( xk )  0
連立方程式へ
• したがって，次式が成り立つ．
N
M
M
 c  ( x ) ( x )   f ( x ) ( x )
i 1
é
ê
ê
ê
ê
ê
ê
êë
i
k 1
n
k
i
k
k 1
• 連立方程式は以下の通り．
M
åj (x )j (x )
1
k
1
k
k=1
M
åj
k=1
N
(xk )j1 (xk )
k
ù
é
åj1 (xk )j N (xk ) úúé c ù êê
k=1
1 ú
ê
úê
ê
ú
=ê
úê
M
úê cN úú ê
åj N (xk )j1 (xk ) úë û ê
k=1
úû
êë
M
n
k
ù
å f (xk )j1 (xk ) úú
k=1
ú
ú
M
ú
å f (xk )j N (xk ) ú
k=1
úû
M
多変量の場合はどうなるか？
• 通常は，x のみがベクトル化されるのが多変
量解析と呼ばれる手法である．本質的に同
じ方程式（ベクトルからスカラーへの写像）
é
ê
ê
ê
ê
ê
ê
êë
M
åj (x )j (x )
1
k
1
k
k=1
M
åj
k=1
N
(xk )j1 (xk )
ù
é
åj1 (xk )j N (xk ) úúé c ù êê
k=1
1 ú
ê
úê
ê
ú
=ê
úê
M
úê cN úú ê
åj N (xk )j1 (xk ) úë û ê
k=1
úû
êë
M
ù
å f (xk )j1 ( xk ) úú
k=1
ú
ú
M
ú
å f (xk )j N (xk ) ú
k=1
úû
M
問題点
• 推定される出力間の関係を無視している．
• 回避策１：入出力の直積空間内で主成分
分析を行い，低い次元数の超平面を求め
る．これが，回帰方程式になる．
– レポート：これはどんな場合でも最小二乗法と
同じであるか?