Transcript Robust Real-Time Face Detection on High

行列の微分と導関数
行列の微小変化
行列 A の各要素 aij が微小変化して、a'ij になったとする。
A  [aij ]M  N
a'ij  aij  aij
(| aij | 1)
変化した要素を持つ行列を A ' とすると、
A'  [a'ij ]M  N  [aij  aij ]M  N  [aij ]M  N  [aij ]M  N
したがって、
ここで、
A'  A  A
A  [aij ]M  N
行列の関数とその微分
行列 x の関数を f とし、 x が x を変化したとき、関数 f
の変化量（増分）は次のように表現することができる。
f (x  x)  f (x)  f (x)
ここで、
f (x)  f (x  x)  f (x)
x が非常に小さいとき、つまり、| xij | 1
が成り立つ場合、もし、下記の近似式が成り立
つなら、
f (x)  f ' (x)x
つまり、
f (x  x)  f (x)
 1  1
f ' (x)x
が成立するなら、
行列の関数とその微分
f ' (x)x
f ' ( x)
は
は
f が x に関する1次微分と定義し、
f の１次導関数と定義する。
今日の宿題１：
 x1 


x   x2 
 x3 
とする。
f
f (x)  3xT x  x
の導関数を求めなさい。
行列と２次形式
２次式
次のように表すことができる
f
は
x1 , x2 ,..., xn1 , xn に関する関数
x1 , x2 ,..., xn1 , xn の２次式と呼ぶ。
f ( x1 , x2 ,..., xn 1 , xn ) 
a x x
1i  j  n
ij i
例えば、
f ( x, y)  x 2  xy  y 2
g ( x, y, z )  x 2  3 y 2  z 2  5xz
j
２次形式
f ( x1 , x2 ,..., xn 1 , xn ) 
うに表すことができる。
a x x
1i  j  n
ij i
j
を行列を用いて次のよ
f ( x1 , x2 ,..., xn 1 , xn )  xT Qx
このような表現は
x  x1
T
f
の２次形式と呼び、ここで、
x2 ... xn 
Q  [quv ]nn
 auv

2

quv   auu
 avu
 qvu

 2
Q は正方形の対称行列である。
uv
uv
uv
今日の宿題２：
f ( x, y, z )  2 x  3xy  4 y  6 yz  7 z
2
の２次形式で表しなさい。
2
2
２次形式の微分と極値
２次形式の導関数
f ( x1 ,..., xn )  f (x)  x Qx
T
f (x  x)  (x  x) Q(x  x)
T
 xT Qx  xT Qx  xT Qx  xT Qx
x Qx は一個の数値（１ｘ１の行列）なので、
T


T
 
x Qx  x Qx  x Q x
T
T
T
T
T T
 xT QT x
２次形式の微分と極値
Q は正方形の対称行列なので、
QQ
T


T
x Qx  x Qx  x Q x  x Qx
T
T
T
T
T
従って、
f (x  x)  x Qx  x Qx  x Qx  x Qx
T
T
T
T
 x Qx  2x Qx  x Qx
T
T
T


f (x  x)  f (x)  2x Q  x Q x
従って、
T
f ' (x)  2xT Q
T
２次形式の微分と極値
束縛のある極値
g ( x)  0
に従う関数
f (x)
の極値
ラグランジュ(Lagrange)未定乗数法によると、下記
の式が得られる。
h(x,  )  f (x)  g (x)
 h
 x  0
 h
 0
 
２次形式の微分と極値
x12  x22 ,..., xn2  1
に従う２次式
f (x)  xT Qx
の極値
x12  x22 ,..., xn2  xT x
したがって、
g (x)  xT x  1  0
ラグランジュ(Lagrange)未定乗数法によると、下記の式が得られる。
h(x,  )  f (x)  g (x)  xT Qx   (xT x  1)
２次形式の微分と極値
 h
T
T

2
x
Q

2

x
0
 x
 h

 xT x  1  0
 

Qx  x

 | x | 1
２次形式の微分と極値
l は Qの固有値とし、 vは Qの正規化固有ベクト
ルとすると、
Qv  lv

 | v | 1
従って、   は Qの固有値であり、 x は Q の正規
化固有ベクトルである。このとき、 f (x) の値は
f (x)  x Qx  x lx  lx x  l
T
T
T
従って、 f (x) の最大値は、 Q の最大固有値で、 f を最大
にする xは、最大固有値と対応している固有ベクトルである。
行列の関数とその微分
行列 x の関数を f とし、 x が x を変化したとき、関数 f
の変化量（増分）は次のように表現することができる。
f (x  x)  f (x)  f (x)
ここで、
f (x)  f (x  x)  f (x)
x が非常に小さいとき、つまり、 xij  1
が成り立つ場合、もし、下記の近似式が成り立
つなら、
f (x)  f ' (x)x
つまり、
f (x  x)  f (x)
 1  1
f ' (x)x
が成立するなら、
行列の関数とその微分
f ' (x)x
f ' ( x)
は
は
f が x に関する1次微分と定義し、
f の１次導関数と定義する。
今日の宿題１：
 x1 


x   x2 
 x3 
とする。
f
f (x)  3xT x  x
の導関数を求めなさい。