Transcript 자기 가려짐에 - UVR Lab. Wiki

Kickoff Meeting (Jun. 23th, 2015)
Jeongmin Yu
CTRI
HMD기반 공존공간에서의 손-증강 객체 상호작용
및 협업 기술
 공존공간에서의 협업 시스템 통합 관리
 원격에 있는 사용자의 Motion을 Tracking하는 기술 연구
현존감 있는 움직임을 표현!!
정성적 목표
정량적 목표
- 실시간 및 자기 가려짐에 강인
한 Human motion 추적기술 개
발
조건:
- Kinect 및 RGB-D 카메라 센서로
부터 얻은 영상
- 카메라로 부터 5m 이내 위치
목표:
- 25FPS 이상 처리속도
- 자기 가려짐이 심한 상황에 강인
한 추적
상반기 (6-8) 목표
- Challenging(자기 가려짐) 한
Datatbase 획득
- 최신 Tracking 기법 비교 분석
- 자기가려짐에 강인한 추적
Algorithm 개발
• 혁신 목표
• 최초 계획 대비 수정사항
- 원격 사용자의 Full body를 추적한 정보를 이
용하여 공존공간에 소환된 아바타의 움직임을
현실감 있게 표현
- GF 3단계 시나리오에서 원격 사용자의 움직
임을 추적하는 기술파트 담당
- GF 3단계 Project Manager 담당
공존감(Co-presence) 있는 원격협업 실현 필요
 GF 2단계와 같이 HMD 및 손의 자세만 추적하게 되면, 협업
상대방으로서는 원격 사용자의 머리와 손만이 시야에 보이
게 되어, 현실감 및 공존감이 떨어지는 문제가 있음
 이러한 문제를 해결하기 위해 원격사용자의 몸 동작 추적을
통하여 아바타에 표현하는 것이 필요
자기 가려짐에 강인한 실시간 추적 기법 개발이 필요
Hardware
Egocentric
RGB-D Camera
Hand
Segmentation
1단계
연구
성과
Camera
Pose
Tracking
Module
Virtual
Object
Wearable
Sensors
Wrist
Rotation
Exocentric
RGB-D Camera
Body Gesture
Information
3단계 연구
2단계 연구
Learning
Data
Virtual
Hand Model
Learning-based
Gesture
Recognition
Model Fitting-based
Finger Tracking
Single Frame Hand
Pose Detection
Finger Tracking Module
Virtual Object
Augmentation
Hand-Virtual
Object Interaction
26-DoF Virtual-Real Hand
Registration
Co-existence Reality Application
 추적된 사람 움직임과 손 정보와의 Fusion을 통하
여 원격 사용자의 아바타 움직임을 현실감 있게 표현
 자기 가려짐에 강인한 실시간 추적 시스템
 손 움직임 추적 시스템에 적용 가능
 Human pose estimation and tracking
Coleca [MCMD 2013]
[Microsoft Kinect2]
Jamie et al. [PAMI2013]
Alexander et al. [CVPR2014]
 GF 3단계 시나라오 기반
: URAI 2015 논문 제출 (7월 초)
: 특허 출원 준비 (7월 초)
: 3단계 계획서 초안 완성 및 수정 (7월 초)
: RGB-D 카메라를 이용한 Motion dataset 수집 (7월 말)
: 기존 연구 분석 및 새로운 추적 기법 제안 (8월 초/중반)
 삼성 프로젝트(얼굴 추적) 참여 및 수행 예정
: 담당 기술 파트 선정 및 연구
Strength:
 ML/PL/CV 관련 프로젝트 및 연구 수행 경험 (7년)
 사람 모션 추적/인식 프로젝트 및 연구 수행 경험 다수
Weakness:
 AR 기반 프로젝트 수행 경험 부족
Opportunity:
 우수한 AR 플랫폼을 보유한 UVR 랩과의 협업
Threat:
 빠른 추적 기술 진보
SO:
 기 보유한 AR 플랫폼에 ML/PL/CV 관련 기술 접목
ST:
 AR 도메인에서의 추적 기법 연구
WO:
 우수한 UVR & CTRI 기술 인력과의 협업
WT:
 UVR & CTRI의 기존 연구 경험 및 노하우 활용