Transcript 3D Map상에서의 사용자 위치 및 시점 가시화 시스템

Kickoff Meeting (Jan. 5th, 2016)
UVR Lab. Intern 이종원
정성적 목표
방대한 실외 환경에서 모바일 단말기를 사용하는 사
용자가 3차원 지도상의 위치를 추정하고, 3차원 지도
상에서 사용자가 바라보는 시점을 추정하며 최종적으
로는 고자유도 6DOF(Degree of Freedom)를 시각화
하는 동시에 특정 건물의 특정 위치를 시각화 하는 시
스템 설계를 목표로 함
정량적 목표
서비스 가능 지역 넓이: 15,000m2
사진 가능 개수: 약 50장
처리 시간: 약 10초 이내
• 혁신 목표
최근의 사진 아카이빙 서비스는 2차원 정보만을 저장하고 가시화 한다. 2차원
GPS 좌표정보뿐 아니라, 3차원 공간에서 이미지 프로세싱 기술을 이용하여
사진을 촬영한 사용자가 정확한 위치, 시선 및 경로를 파악을 하여 특정 위치
를 찾아 낼 수 있게 한다.
Limitation of 2D Map Visualization
 현재 Google, Apple 등의 사진 서비스는 GPS 좌표계를 기반으로 한 2차
원 지도 기반의 위치 정보 가시화 만을 지원한다.
 이러한 서비스는 카메라의 3차원 카메라 자세 정보를 추정 할 수 없다.
 정보를 가지고 있는 카메라 영상과 지도를 매칭하기 힘들다.
 IMU 센서를 이용하여 위치 및 시점 방향 정보를 추정 할 수 있지만 센서
기반으로는 오차의 한계를 가진다.
 따라서 제안하는 서비스는 영상 기반의 카메라 자세 추정 기술을 사용하
여 사용자의 정확한 위치, 시점 및 궤적을 3차원 지도상에 가시화하여
다양한 응용서비스를 가능하게 하는 기반을 제공하는 것을 목표로 한다
기존 시스템
 사진을 찍은 위치만을 지도상에서 가시화
< Google Maps >
제안 시스템
 Unity 3D를 이용하여 3차원 지도상에서의 가시화
Multi-view
of space
image
Get sensor
data & space
image
Visual Data Generation
Extract
Matching
feature point
Image
& descriptor
feature
Restore
Key frame & Key point
In 3 dimension
Local
coordinate
system
World
coordinate
system
N.PARK’s Module
Remove
outlier
Visual Data Manipulation
User
Picture
Extract ORB
Feature Point
Matching
6-DOF Pose Estimation & 3D Map-based Visualization
User Self-localization
Manage
Data
In Server
세계최고 기술 #1
세계최고 기술 #2
Scalable 6-DOF Localization on
Mobile Devices, ECCV ‘14
Building a Rome in a Day,
CACM’11
정성
적수
준비
교
- 스마트 폰과 서버를 이용한 Localization 기술
- 여러 장의 사진들을 이용하여 사용자의 경로 추적
- Filcker의 사진들을 사용하여 3D reconstruction 하는 기술
- 사진들에 대한 Camera pose estimation 정보가 제공되긴
하나 3D reconstruction에 초점에 맞춰져 있는 논문
Google
Maps
OpenStreetMap
정성
적
수준
비교
- 3차원상에서의 위치만을 표
시해 줌
- 3차원 지도상의 가시화 가능
-
오픈 소스 기반의 3차원
맵 가시화 서비스
건물에 대한 3차원 모델
지원(일부)
F4map
-
현재 날씨 및 시간 반영
배에 대한 3차원 모델 및 교
통량 지원
오픈 소스 기반의 3차원 맵
가시화 서비스
건물에 대한 3차원 모델 지원
(일부)
 3차원 상에서의 사진 촬영 각도, 촬영 위치 확인 가능
 Annotation을 통한 특정 부분을 3차원 상에서 확인 가능
3D Map Visualization
2D Map Visualization
선택
< 예상 최종 결과 화면 >
사진을 통한 여러 정보 획득 가능
 동영상을 촬영하며 어느 경로로 이동했는지 확인 할 수 있다
 어느 위치, 어느 각도에서 사진 촬영을 했는지 확인 할 수 있다
 사용자들의 데이터를 종합해 특정 위치에 대한 분포도를 알아 낼 수 있
으며, 각도와 궤적에 대한 분포도 또한 쉽게 알 수 있다.
 Annotation을 이용하여 특정 위치에 대한 정보를 제공
< Annotation >
 전체 일정