Transcript lec08

Relative Orientation
●２台のステレオカメラ、或いは運動
量の大きい移動カメラ（移動物体）
●２枚の画像（左、右画像、或いは、
移動前、移動後の画像）
●３D空間中の複数個の静止点（或いは同じ
剛体上の点）の像の対応付けがとれてい
る（３次元座標は未知）
●カメラの内部パラメータ（焦点距離、画
像中心の位置など）が既知
Relative Orientation
問題：
２台のカメラ間の回転と平行移動を推定する
或いは：
１．右カメラ座標系で記述した、左カメラの
原点から右カメラの原点までのベクトル
ベースライン b
２．左カメラ座標系から右カメラ座標系への
回転変換行列 R
投影変換におけるスケールの曖昧性
１．画像上の点の像の位置から、その点への視線
の方向がわかる。
⇒
同じ方向の視線上の点であれば、画像上の
像は同じ
左カメラ
右カメラ１
右カメラ２
Relative Orientation問題におけるベー
スラインの長さを決定できない
● もし、３次元空間内の点の座標（距離）と ベースライ
ン長を同じ倍率で拡大（縮小）して も、画像上に写る点
の位置は変化しない。
● よって、画像上の点の位置のみから、ベースライン長を
決定できない
● ベースラインの方向が決定できる。つまり、この問題に
おいて、ベースラインを単位ベクトルと見なすべき
● 推定するパラメータの数
＝ベースラインの方向（２）＋回転パラメータ（３）
＝５
Coplanarity Condition
共通平面条件
空間の中の点と、左、右
カメラの光学中心の3点
が1枚の平面を決定する。
したがって、
rl ' rr
b
が同じ平面上にある。
rl '
ここで、
b
rr
rl '  Rrl
Coplanarity Condition
共通平面条件
b が同じ平面にあるので、 bがこの平面の法線 N と垂直
する。したがって、次の式が成り立つ。
rl ' rr
bN  0
一方、平面の法線は、 r '
l
ルの外積で計算できる。
rr
と垂直するので、その2個のベクト
N  rl 'rr
したがって、共通平面条件は下記の方程式で表される。
b  (rl 'rr )  0
(1)
Relative Orientation問題の近似解
Thompson, E.H. “A Retional Algebraic Formulation of the Problem of
Relative Orientation”, Photogrammetric Record, Vol.3, No.14, 152159, October, 1959.
という文献によると、８対の対応点ペアがあれば、b と R の近似解
が求めることができる。
ただし、
● これは最小２乗法を使った解法ではないので、
多くの対応点対があっても、有効に利用できない。
● 対応点が８対より少なければ、この方法を利用できない。
A
rl '
drl '
rl ' '
Ol
rl '
l
rl ' '  rl 'drl '
drl ' 
rl 'rr
rl 'rr
rl ' l
共通平面条件と垂直視差
● 画像ノイズや量子化による誤差の影響により、左右カメ
ラの視線は同じ平面に入らない。
● この場合、左右カメラの視線はエピポラ線とは交差しない
このとき、垂直視差＝視線 r ' と rl ' '誤差のない（本当の）
l
視線との間の角 l は左視線の推定誤差として用いるべき
●従って、Relative orientation 問題は,左右視線の方向の２乗垂
直視差を最小にする左右カメラ間の回転と平行のパラメータを
推定問題として定義できる。
n
 
2
l ,i
i 1

 r ,i  min
2
(2)
共通平面条件の式と左右視線の垂直視差との間の関係
しかし、垂直視差の式を直接導出するのは困難ばかりでなく、
式が複雑すぎるため、方程式を解くことが事実上不可能になって
しまう。
ここで、垂直視差（式（２））と共通平面条件の式（式（１））との間
の関係を明らかにする。
共通平面条件の方程式と
左右視線間の距離
計測誤差などにより、左右カメラの視線は空間上に交差しない。そ
の場合、互いに最も接近している点が存在する。
 rl 'rr 
rl '
rl ' b
rr
rr
しかも、その2点(A, B)と左右の視線と垂直する。
A、Bが左視線の延長線上にあるので、下記の式が存在する
Ol A  rl '
Or B  rr
ABが左右視線とも垂直する
B
 rl 'rr 
rl '
Ol
rl ' b
ので、下記の式が成立つ
rr
AB   rl 'rr 
A
rr
Or
Ol A  AB  Ol Or  Or B
られる
が成立つので、下記の式が得
rl ' rl 'rr   b  rr
B
 rl 'rr 
rl '
Ol
rl ' b
rr
A
rr
Or
rl ' rl 'rr   b  rr
この式の両側に
rl 'rr
との内積をとると、下記の式が得られる
 rl 'rr
同様に、式(2)の両側に
式が得られる
(3)
2
 b  rl 'rr 
(4)
rr  rl 'rr  との内積をとると、下記の
rl 'rr  rl 'rr   b  rr  rl 'rr 
任意のベクトルA,B,Cに対して、下記の式が成立つので、
A  B  C  A  B C
よって、下記の式が得られる。
 rl 'rr
2
 b  rr   rl 'rr 
(5)
同様に、式(2)の両側に
式が得られる
 rl 'rr
2
rl 'rl 'rr 
との内積をとると、下記の
 b  rl '  rl 'rr 
(6)
式(3)により、左右の視線間の距離は下記の式で表される
d   rl 'rr 
b  rl 'rr 
rl 'rr
(7)
したがって、


b  rr   rl 'rr 
rl 'rr
2
b  rl '  rl 'rr 
rl 'rr
2
(8)
(9)
左視線とエピポラ面との間の角度を l とし、Aとエピポラ面との間
の有方向の距離を drl ' とすると、次の式が成立つ
drl '  
rl 'rr
rl 'rr
rl ' l
A
rl '
rl ' '
Ol
rl '
l
rl ' '  rl 'drl '
右視線とエピポラ面との間の角度を r とし、Bとエピポラ面との間
の有方向の距離を dr とすると、次の式が成立つ
r
drr  
rl 'rr
rl 'rr
rr r
したがって、左右視線間の距離 (d=|AB|) は下記のように表すことが
kできる。
d  drl 'drr   rl ' l   rr r
t  b  (rl 'rr )
と定義すると、式(7)により、
| t | rl 'rr d
(10)
したがって、 t の分散と d の分散との間の関係を下記の式で表せる
2
  rl 'rr 
2
t
2
d
あるいは
  rl 'rr
2
t
2

2
2
2
rl '    rr  r
2
l
2
2

(11)
ここで、  l2 と  r2 は、l の r とのそれぞれの分散であり、事前に
推定しておくことができる。（理由は後述）
式（１１）に式（８）と（９）を代入すると、


b  rr   rl 'rr 
rl 'rr
b  rl '  rl 'rr 
rl 'rr
  rl 'rr
2
t
2
(9)
2
2

b  rr   rl 'rr 
2
t 
(8)
2
2
2
2
rl '    rr  r
2
l
2
2

(10)
rl '   b  rl '  rl 'rr  rr  r
2
2
2
l
rl 'rr
2
2
2
(11)
式（１１）の意味は下記のように解釈できる：
b  rr   rl 'rr 
2
t 
2
b  rr   rl 'rr 
rl 'rr
rl '
2
(11)
2
2
2
2
2
2
l
rl 'rr
2
kl 
rl '   b  rl '  rl 'rr  rr  r
2
kr 
b  rl '  rl 'rr 2
rl 'rr
rr
2
2
とすると、 t 2 の値の中で、l に占める割合は kl l2 /  t2 で、
r に占める割合は、 k  2 /  2 である。従って、下記の式が成
r r
t
り立つ。
2

k l l 2
2
t
 kl l 
2
t


2
k

k  2  r r t 2
r
l
2


r

(12)
従って、下記の式が得られる。
l r
2
l  r 
2
2
2

t
2
t
2
(13)
 l2   r2 を定数と仮定すると、式（２）は下記のように表すことがで
きる。
n
 
2
l ,i
N
 
2
r ,i
i 1
   w b  r
i
'rr ,i   min
2
l ,i
i 0
2
wi 
rl ,i 'rr ,i  0
b  r  r
r ,i
   
2
0
(14)
2
l ,i
'rr ,i  rl ,i ' 
l ,i
2
r ,i
2
 定数
2
2
l ,i
2
 b  rl ,i ' rl ,i 'rr ,i  rr ,i  r ,i
2
2
2
(15)
左右視線の垂直視差の分散
左（右）画像上の画像点の位置の平均誤差（一般的に0.5画素）と
左右視線とエピポラ面との角度の平均誤差との間には下記の関係
が成立つ
il  kll
ir  krr
左右画像平面の法線ベクトルを n l と n r とすると、下記の式が成
り立つ。

0 

 
n

R
0
 l
 

1


0 

 n r  0 
 

1


すると、下記の式が成り立つ。
 rl 'rr


 n l n l
 r 'r

rl 'rr
 l r

rl 'rr
kl 
rl '
 rl 'rr


 n r n r
 r 'r

rl 'rr
l
r


rl 'rr
kr 
rr
 
2
l
0.25
k
2
l
 
2
r
0.25
2
kr
最小２乗法によるベースラインの
推定
回転成分が既知或いは既に推定された場合、平行移動成分（ベー
スラインb）は最小２乗法で簡単に推定できる。
式（１４）により、共通平面の拘束による方程式は下記のようになる。
N
 w b  r
i
i 0
l ,i
'rr ,i   min
2
ci  rl ,i 'rr ,i とすると、式（１４）は下記のようになる。
N
 w b  c 
2
i
i
i 0
N

T
T 
 b   wi ci ci b  min
 i 0

ベースラインの長さが１なので、下記の方程式が成り立つ。
b b  b b 1
T
（１５）
すると、ベースラインの推定問題は、式１５が成り立つ前提の下で、
下記の２次形式の最小値を求める問題となる。
f (b)  b Qb
T
ここで、
N
Q   wi c i c i
T
i 0
すると、b は Q の最小固有値と対応する固有ベクトルである。
繰り返しによる精度の向上
× 式１４の問題の最小２乗問題を解く式は存在しない。
◎ しかし、R と b の近似解があったとき、 Rとbの微小変化による
式１４の変化量が計算できる。
◎ このことを利用して、式１４の値を減少するように、R と bを少し
ずつ調整することによって、解の精度を向上することができる。
N
 w b  Rr
i
i 0
l ,i
 rr ,i   min
2
bの微小変化
bの微小変化量を b とすると、変化した後のベースラインは
b  b となる。bの長さ（＝１）が定数なので、b は b と垂直でな
いといけない。すると下記の式が成り立つ。
b b  0
微小回転
Rの微小変化による微小回転を ω とする。ここで、微小回転の角
度は ω で、微小回転の回転軸は ω の方向ベクトル、すなわち
ω
ω
とすると、微小回転による左画面の視線ベクトルは下記のように計
算できる。
 ω

rl ' '  cos ω rl ' sin ω 
 rl '   (1  cos ω )(ω  rl ' )rl '
 ω



ω は微小であることから、上記の式を次のように近似できる。
rl ' '  rl 'ω  rl '
式１４の変化量
Rとbの微小変化による共通平面条件式の変化量を t とすると、
変化したの値は次のように計算できる。
t  t  b  b   rl 'ω  rl ' rr 
ω 、 b ともに微小であることにより、上記の式を次のように近似
できる。
t  t  b  rl 'rr   rl 'rr   b  rr  b   ω  rl '
t  b  rl 'rr 　c  rl 'rr とすると、
t  t  t  c  b  d  ω
d  rl 'rr  b 
すると、式１４は次のように表現できる。
n
E   wi ti  ci  b  d i  ω 
2
i 1
b は次の条件
b b  0
を満たさないといけないので、ラグランジュ不定乗数法によると、次
の関数E’の最小値を求めればよい。
E ' (b, ω,  )  E  2 b  b
これは、E’の b, ω,  に関数導関数を０にすることにより解くこ
とができ、その解は次の線形方程式を解くことにより得られる。
 C
 T
F
 bT

ここで、
F
D
T
0
c
b  b 
 


0  ω    d 
 



0   
0
 