Transcript 6. Image-based Rendering : View Morphing

View Morphing
◈ References
▪ Steven M Seitz, and Charles R. Dyer.“View Morphing,” Proc.
SIGGRAPH 96. pp21-30.
▪ Richard I. Hartley, “Estimation of Relative Camera Positions for
Uncalibrated Cameras,” European Conference on Computer
Vision LNCS 588,pages 579-587.SpringerVerlag,1992
▪ Richard I. Hartley, “Stereo from Uncalibrated Cameras,”
Rajiv Gupta and Tom Chang GE-Corporate Research and
Development,P.O.Box 8, Schenectady,NY,12301.
◈ Introduction
두 장의 입력영상을 이용하여 두 영상 사이의 영상을 만들어내는 것을
Morphing이라 하며, 보간 되어 만들어진 영상을 이용하여 입력된
두 영상간에 사실감 있는 변환을 나타내는 것.
◐ Morphing 기법 :
☞ Image Morphing
☞ View Morphing
◈ View Morphing
일반적인 image morphing기법은 object의 위치나 view point의 변화를
반영하지 않으므로, 부자연스러운 distortion을 포함하게 된다.
[Seitz96]에서는 이를 시정하기 위한 방법으로 다음과 같은 3단계의
알고리즘을 제안하였다.
1. Prewarping
가상 view에 평행하게 원본 이미지들을
projective transformation이라 한다.
H1
1
x
xr
Hs
x'
3
H2
x'rm
2
2. Image Morphing
prewarp된 이미지들의 대응점들 사이를
linear interpolation을 한다.
xr '
3. Postwarping
다시 역투영변환하여 결과 이미지 생성
1. Prewarping
◈개요
l
k
Figure 1. Planar rectification: (I k , Il ) are the rectified images for the
pair (I k , Il ) (the plane  R should be parallel to the baseline( Pk , Pl ) )
◈ The fundamental matrix
p F p2  0
t
1
: Two corresponding image point = (p1,p2 )
: Fundamental Matrix = F
◈ The fundamental matrix for a rectified image pair
p1  H p
'
1 1
0 0 0 
F  [i ]  0 0  1
0 1 0 

't
1
p H
'T
1

p2  H 2 p2'
F H2 p  0
'
2

F  H1 F H 2
'T
☞ 위의 수식에 의해서 Input Image와 Rectified Image간의 Homography
( H1,H2)를 구할 수 있고, 두 Homography를 이용하여 Prewarping을 한다.
2. Image Morphing
Prewarp된 이미지들의 대응 점들 사이의 disparity를 구
하여 linear interpolation을 한다.
W0 ( p0 , s)  (1  s) p0  sC0 ( p0 )
W1 ( p1 , s)  (1  s)C1 ( p1 )  sp1
C0 : I 0  I1
C1 : I1  I 0
p0  I 0
p1  I1
두 영상간의 Disparity
각 영상의 Point 좌표값
s [0,1]
3. Postwarping
 s  [ H s |  H sCs ]
 s  (1  s)1  s 2
1  [ H1 |  H1C1 ]
 2  [ H 2 |  H 2C2 ]
 s  (1  s)[H1 |  H1C1 ]  s[ H 2 |  H 2C2 ]
 (1  s) H1  sH 2  (1  s)[ H1C1 ]  s[ H 2C2 ]
H s  (1  s) H1  sH 2
s [0,1]
☞ 위의 수식에 의해서 구해진 Homography(HS)를 역변환 하여 중간 Image들
을 생성할 수 있다.
◈ 실험결과
▪ 입력 영상크기 : 800ⅹ600
▪ 보간된 이미지 : 10 frame
입력영상(Left)
H1
입력영상(Right)
Prewarping
H2
Postwarping
Rectified Image
Rectified Image
Image Morphing
HS-1