Transcript 숨은그림찾기 자동제작 시스템

숨은그림찾기 자동제작 시스템
연세대학교 컴퓨터과학과
비쥬얼컴퓨팅연구실
1
Introduction
• 기존의 숨은그림찾기의 특징
– 색상 무시 또는 간소화
– 숨겨질 물체의 형태 유사성
– 동기화를 위한 약간의 변형 허용
Liz ball
• 시스템의 목적
– 숨은그림찾기 퍼즐의 자동제작 시스템
• 데이터베이스에서 숨겨질 물체를 자동으로 선택
• 배경이미지 위에 숨겨질 물체의 위치, 회전, 크기의 자동 선택
• 동기화를 위한 자동 변형
2
Related Work
• 이미지 스타일화
– 미적 스타일화
• Abstraction : [Christoudias et al. 2002], [DeCarlo et al. 2002]…
• Painterly rendering : [Hertzman 1998], [Hertzman 2001]…
• Example based method : [A. Hertzmann et al. 2001], [Youngha Chang et al. 2007]
– 목적성 스타일화
• Maze construction: [Xu and Kaplan 2007]
• Calligraphic packing: [Xu and Kaplan 2007]
• Computer-generated papercutting: [Xu and Kaplan 2007]
3
System overview
4
Line Drawing
• Coherent Line Drawing [Kang et al. 2007]
– Edge tangent flow(ETF) 와 flow difference of Gaussian(FDOG)
에 기반한 외곽선 추출기법
5
Object Database
• 웹상에 존재하는 임의의 이미지
– 임의의 물체 이미지를 라인드로잉 형태로 변형
– 인식가능한 물체만 걸러냄
– 총 200개의 물체
6
Shape Matching
• Shape context [Hao and Zhang 2003]
– 특징점 기반의 형태기술자
• 하나의 특징점을 기준으로 이웃한 특징점들의 분포를 거리와 각도를 기
준으로 히스토그램으로 표현
• 크기와 이동에 독립적인 형태기술자
• 회전 독립성: PCA기반의 주축 사용
Line image
Harris
corner
PCA axis
detector
Shape context
Rotation
invariant
Shape context
7
Shape Matching
• 배경이미지를 위한 Shape context
– N 개의 이웃 점을 기준으로 물체와 같은 식으로 형태기술자 정의
– 지역적인 형태를 대표함
8
Shape Matching
• Shape context간의 비교
– 지역적인 유사성을 판단할 수 있음
Sj
Object image
Back ground image
9
Shape Matching
• 이웃한 Shape context간의 비교
– 가장 유사한 Shape context 쌍의 이웃간의 비교를 통해 유사도 값을
보정
– 크기를 고려하기 위해 shape context의 반지름 크기도 비교
Sj 
Object image
Back ground image
10
Shape Matching
• 이산적 유사도 값
의 보간
– 일반적인 곡선보간
• Over-fitting 문제 발생
– Thin-plate spline (TSP)
• 곡선의 굴곡을 최소화 하는 형태로 보간 하는 기법
11
Shape Matching
• 형태 매칭 결과에 따른 숨겨질 물체의 위치 판단
– 위치: 유사도를 보간한 TPS 곡면이 최고값을 가지는 위치
– 회전: 최고 유사도를 가지는 shape context간의 회전축 비교
– 크기: 최고 유사도를 가지는 shape context간의 반지름 비교
Background image
Target Object
TPS map
12
Shape deformation
• 물체에 대한 약간의 변형을 허용
– 과도한 변형은 물체가 가지는 고유한 특성을 잃어버릴 위험 존재
– 해결책 : Affine transform [2x3] 매트릭스
T
A  Pi Pi 1  Q Q 
x
y
x
i
y
i
T
• Pi : 숨겨질 물체의 특징점
• Qi: 배경이미지 위에 위치한 Pi 와 가장 가까운 특징점
13
Shape deformation
• 순차적인 선형 최소화 문제
– 선형문제의 정의
T
A  Pi x Pi y 1  Qix Qiy 
T
– 잘못된 매칭(outlier) 제거 [Liu et al. 2006]
• Inlier 확률식
2
T


x
y
x
y T
Pri  exp   A  Pi Pi 1  Qi Qi  /  2  


• 임계값을 기준으로 한 Outlier 제거
Prn  1.3  mean(Pri )
14
Result generation
• 배경에 알맞은 숨겨질 물체의 선택
– 데이터베이스상의 물체 중 가장 높은 유사도를 가지는 물체군 선택
– 유저가 선택한 물체의 숨김도 가능
• 최종 결과의 렌더링
– 숨겨질 물체와 배경 이미지의 연결성을 보완하기 위해 CLD 기법을
사용하여 다시 한번 외곽선을 검출
15
Experimental result
16
Experimental result
17
Experimental result
18
Experimental result
19
Experimental result
20
Experimental result
21
Experimental result
22
User Evaluation
• 30 명의 테스터에 기반
23
Conclusion
• 숨은그림찾기 자동제작 시스템의 최초의 제안
– 새로운 이미지 스타일화 기법
– 빠른 유사도 검색 방법 제안
– 물체변형 지원으로 난이도 상승
• 문제점
– 형태 매칭의 부정확성
• Local entropy 차이 값을 사용한 부정확한 매칭결과 제거 가능
24