Transcript 총괄 워크숍 발표 - UVR Lab. Wiki

Kickoff Meeting (Dec. 26, 2015)
석사과정 전익범.
HMD환경 공존현실 손기반 협업 기술
자기시점 손가락 관절 추적 및 실제 객체 상호작용 기술
원격협업을 위한 Multi Modal 퓨전 기술
Hand-based Interaction
with Object-of-Interest
Network
Remote
user’s avatar
Local
user
정성적 목표
정량적 목표
상반기 (1-6) 목표
조건:
1. 객체를 쥔 손의 17DOF 정보 추적.
2. 객체를 쥐지 않은 손의 17 DOF 추
적.
3. 손에 쥔 객체 정보 인식.
4. 객체와의 상호작용(액션) 발생 정보
감지.
5. 손-객체 인터렉션을 이용한
Tangible AR 시나리오 구현.
i)
Egocentric 환경에서 획득한 RGBD
image가 주어짐.
ii) IMU Sensor Fusion을 활용하여 Pose
search space를 줄임.
iii) 객체의 형태는 primitive형태로 제한될
수 있음.
iv) 이미 연구된 human-object grasps
Knowledge를 이용함.
v) 손이 카메라로부터 약 0.5m 이내 위치.
- 3개의 객체에 대한 객체 인식 및 손 포즈
분류기(Random Forest) 구현.
- Generative Method(ICP, PSO)를 이용한
fine level 관절
목표:
- 33.33ms (30 FPS) on CPU and GPU
- 실제 객체와의 Action 감지 인식률 90 %
이상.
• 혁신 목표
- 객체에 대한 정보와 손 관절 정보를 상보적으로 활용함으로
써 효율성을 높임.
-
1-3월
- Static – Dynamic gesture estimator를
원격 협업 플랫폼에 통합 (1월 초)
손에 쥔 객체를 Tangible한 Handy AR interface로 활용(UX
적 측면)
- 인식된 객체의 정보를 바탕으로 1개 이상의 액션 인식이 가
능.
• 최초 계획 대비 수정사항
- 계획 : 객체를 쥔 손과 다른 한 손의 손 추적 및 action
detection.
- 구체화 : 객체를 쥔 두 의 손 추적 및 action detection, IMU
Sensor를 이용하여 search space를 줄이고 이를 바탕으로
17 DOF 핸드 pose 추정.
 공존 현실 협업 환경에서 손 기반 상호작용이 중요
함.
 특히 객체와 상호 작용하는 손의 원격 협업 시나리오에서
중요한 의미를 지님(ex 수술 교육 시나리오)
손에 객체를 쥐었을 때, 객체와 손가락 간의 interaction은 제
한적이기 때문에 온전한 관절 추적 뿐만 아니라 관심 영역의
action 검출 또한 더욱 중요한 의미를 지님.
Key Idea :
• 손, 객체 영역 Segmentation
• Primitive object에 대한 RANSAC 알고리즘 이용.
• 손에 쥔 객체 정보 추정 방법 :
• Depth data 기반 Random Forest 분류기 이용(from Dr.Jang)
• PCL Object Recognition library 활용.
• 손의 관절 추정 방법 :
I) Global orientation : 3 DOF IMU sensor data 이용.
II) 나머지 관절 : PSO, ICP를 이용한 Generative 방법 활용( with g. Park)
• 제스처 인식 방법 : Spatial-temporal 특징을 이용한 Static-Dynamic Random Forest 분류기 사용.
Gesture Recognition using Random forest.
- RANSAC을 이용한 Primitive Object (Cylinder, Plane,
Sphere) 인식 및, Object-Hand Segmentation.
- Compact하게 제작 중인 IMU 센서 Fusion 퓨전.
 Expected benefits.
 객체를 쥐고 있는 손의 Pose 정보와 객체 정보 인식.
객체를 쥔 손의 객체와, 다른 빈 손 간의 인터렉션 감지.
객체와 손간의 인터렉션 감지.
인식된 객체를 이용하여 Tangible한 AR Interface 구현.
세부과제의 연구목표
(연구기관, 2016)
세계최고 기술 #1
세계최고 기술 #2
University of Crete, 2015
UC Irvine, 2015
Action Detecting result :
정
성
적
수
준
비
교
Augmented object
Global Pose tracking result :
Rotation
- 손에 쥔 객체 정보와 객체를 쥔 손의 관절 정보를
상보적으로 활용하여 양쪽의 인식 성능을 함께 높
임.
- 2개 이상의 손에 대하여 손바닥, 손 끝의 (17 DOF)
가 추정 가능함.
- 손 간의 겹침이 일어나는 상황에서도 6DOF 추정
가능.
- 각 손 별 1개 이상의 동적 제스처 인식이 가능함.
추적 가능한
손 개수 / 자
유도
정
량
적 가능한 제스
비 처 인식 개수
교 / 정확도
처리 속도
2개 / 17 DOF
손 별 1개 / 90 %
33.33 ms (30 FPS) on CPU
- 모델 기반 방법으로써 객체와 상호
작용하는 손의 자세를 추정하기 위
해 사전에 정의된 3차원 모델을 사
용함.
- 컴퓨팅 파워가 높고, 실시간 동작
이 되지 않음.
- 객체를 쥐는 손의 grasp 방법에 대
한 사전 정보를 활용하지 않음.
- 객체를 쥐고 있는 손 영상에 대한 데
이터베이스를 만들고 이를 학습함으로
써 손 자세를 추정함.
- 손의 자세 추정만을 위한 접근법이며,
객체 정보는 추정하지 못함.
- 객체에 의해 가려진 추정된 손의 자
세가 여전히 안정적이지 않으며 이를
이용하여 원격 협업의 인터페이스로서
의 가능성을 보여주지 않고 있음.
2개 / 54 DOF
1개 / 26 DOF
- (제스쳐인식 없음)
- (제스쳐인식 없음)
4 fps on GPU
 Expected Result.
(Hardware) Compact하게 제작된 wearable device.
(Core software) 객체에 대한 정보와 객체를 쥔 손의 정보를
인식/추적하는 알고리즘.
 (Application)추적 결과를 이용하여, 수술 시나리오에서, 몇
개의 수술 도구(메스, 핀셋,가위 등)를 쥔 손과, 가상 object
간의 인터렉션 시나리오 구현.
 향후 연구 계획 (~ 12월)
가을 학기 3D interaction 수업을 통해 연구 내용 구체화.
 Target Conference(~ 6월) :
• 3월,4월 UIST, ISMAR 2016 :
Primitive Object와 인터렉션하는 손의 추적과 이를 활용한
Tangible AR Interface.
 Strength:
 소프트웨어(CV, Graphics), 하드웨어(센싱, MCU programming), 컨텐츠(Unity3D 등)에 대한 전반적인 이해.
 Weakness:
 관련 최신 연구에 대한 깊이 있는 이해 부족.
 수학적 접근 방법, cv 테크닉에 대한 깊이 있는 이해 부족.
 Opportunity
 세계 최고 수준의 연구에 참여 중.
 세계 최고 수준의 연구실과의 협업 기회.
 Threat:
 SO:
 최신 기술 연구에 있어서, 다양한 part(core 구현, 센서 퓨전, 데모 어플리케이션)에 가담할 수 있음.
 ST:
 지엽적인 문제를 푸느라 변화의 속도에 적응하지 못할 수 있으므로, 항상 연구 경향을 넓은 관점에서 본다.
 WO:
 부족한 테크닉, 수학적 formulation 방법은 연구 참여과정에서 직접 부딪치며 빠르게 터득한다.
 WT:
 틈틈이 부족한 테크닉을 익히고, 최신 연구에 대한 deep reading과 고찰을 지속한다.