Transcript Document

uWave: accelerometer-based
personalized gesture recognition and its
applications
Percom 2009
Slides by: BongWhan Choe at April 29,2010 (Yeonsei Univ.)
Background and Motivation
• Gesture 정의
– 빈 공간에서 손의 이동하는 것
– 물리적으로 상호작용 장치를 다루는 것
– 모든 형태의 물리적 작용을 포함 cf) shaking, tapping
• 제스쳐 인식의 문제들
– 표준적이고, 광범위한 “vocabulary”의 정의가 힘들다
• 사용자 생성 또는 개인화 제스처가 필요함
• 넓은 범위의 데이터 샘플을 구하기 힒듬
• 시스템의 자원(전원,성능,하드웨어)의 제한이 높음
• Goal : 제한된 자원을 가진 많은 장치에서 제스처 인식을 사용하는 것
– DTW의 사용:1개의 샘플만 있으면 인식을 시작할 수 있음
– 3축가속도 센서:많은 소비자 장치에 이미 보급되어 있음
– 자원 제한 적인 플랫폼에서 구축함
Related Works
• Gesture recognition
– 주요 연구 분야 : 손의 이동을 탐지
• Wii에 내장된 IR camera를 사용해 “필기”형태의 제스처를 인식
 비전 기반 방법은 하드웨어 특성상 많은 부하를 발생함
• Smart glove를 사용해 손가락의 움직임과 형태를 인식  별도의 장갑을 장착 해야
함
– 다른 가속도 인식 연구
• 사용자 독립적인 인식기
– LiveMove Pro : 5~10개의 학습 데이터를 사용해 사용자 독립적인 인식을 목표로 함
– 성능에 대해 발표된 정보가 없음
• HMM기반 연구들  많은 학습 데이터를 요구함
– 템플릿 비교 기반 연구들
• Xwand  HMM과 DTW비교
• $1 recognizer  2D제스처, 사용자 입력을 학습 데이터로 사용
• User authentication
– 지문, 얼굴, 음성 인식 등
– 중요한 인증인 경우 3%이내의 오차율을 요구함
“uWave” (1/3)
• System structure
• Quantization
출력 -16
입력
-15~-11
-2g
-10~
-g
1 01 ~
0
10 11 ~
g
– 입력을 구간에 따라서 정수로 출력
– -15~15는 각 구간별로 선형(Linear) 구간으로 분류
15
16
2g
“uWave” (2/3)
• Dynamic time warping (DTW)
– 동적프로그래밍(DP) 기반
– 거리측정 : d  d  d
2
x
2
y
2
z
“uWave” (3/3)
• Template adaptation
– 최대 2셋의 템플릿을 보관
– 각 템플릿은 생성날짜를 기억함
– 갱신 방법(Update scheme)
• Positive Update
– 두 템플릿이 모두 잘 맞추고, 1일 이상 지났다면, 오래된 쪽은 입력으로
교체
– 잘못된 인식이 발생한 경우 사용자의 통지만 필요
• Negative Update
– 오래된 쪽인 잘못 맞출 경우 오래된 쪽을 교체
– 사용자가 어떤 것이 맞는지 사용자가 입력해줄 필요가 있음
Prototype
• prototype: Wii remote controller
– 내장 three-axis accelerometer
• Analog Device, ADXL330.
• -3g~3g, noise < 3.5mg, 100 Hz.
– Bluetooth를 통해 실시간으로 버튼, 가속도 전송
– 300줄 정도의 C#코드로 윈도우에서 구현
– ‘A’버튼을 누를 경우 제스처 시작, 띌 경우 제스처 끝
• Speed experiments ( written in C )
– 8 gestures
– 결과
• T60 notebook ( Core 2 duo 1.6 GHz) : < 2ms
• T-Mobile MDA Pocket PC (ARM 195MHz TI OMAP) : < 4ms
• 16-bit microcontroller in the Rice Orbit sensors: ≓ 300ms
Gesture Vocabulary and Dataset
• Gesture vocabulary
• Collecting
– Wii용 Prototype사용
– 과정
• 3주 이내의 7일간
수집
• 매 수집시 8가지
제스처를 10회씩 반복
– VTT 제스처 셋의 일부
– 총: 4480 샘플, 종류당
560개 샘플
• Test procedure
Experiment
– Bootstrapping:통계적인 우위를 보이기 위해 사용.
– 수집될때 어떤 제스처인지 레이블 되어 있음.
• i번째 데이터를 템플릿으로 하면, 나머지 데이터를 테스트용으로 사용.
• i 는 1에서 70 사이의 값
• Average confusion matrixes
– 왼쪽
• 크고 느린 동작에서 높은 성능
• 1,2,6,7이 혼동 : 유사동작포함
– 오른쪽
• 같은 날 수집한 다른 데이터 사용
• 다른날 데이터를 사용하는 경우 97%가 88%까지추락
• Tradeoff between
recognition accuracy and rejection rate
– Rejection : “unkown”결과를 출력
– 미리 계산된 임계값(threshold) 사용
Applications
• 3D Mobile User Interface
– 제스처 기반 탐색
• User Authentication
– 25명의 참가자
– 5그룹으로 분산
– 사용성 평가
• 기억 난이도
• 재현 난이도
Discussions
• Gestures and time series of forces
– 제스처 동작에 대한 정의가 사람마다 다름  개인화/적응성 필요.
– 필기체처럼 사용자 인증용으로 사용 가능함
• Challenge of tilt
– 기울임으로 인해 값이 바뀜  기울임을 알아야 동일한 입력 생성 가능
– 동작중에는 기울임 구하기 어려움
• User-dependent vs. User independent recognition
– 사용자 비 의존적인 경우 98.4%에서 75.4%로 성능 저하.
– 공통이 되는 특징을 필요로 함
– 사용자의 공통 정의가 없으므로 개인 인식기로 충분함
• Gesture vocabulary selection
– 사용자 인증의 경우 제스처 선택의 판단 기준이 달라짐
– 어떤 제스처가 UI로 유리한지 판단할 수 있어야 함
• Improving critical authentication
– 정확한 보안을 요구하는 경우에는 아직 적합하지 않음
Summary
• uWave : interaction based on personalized gestures
–
–
–
–
–
개인화에 초점
가전 장치에서 단일 3축 가속도 센서를 사용함  사용화 용이
DTW를 중심으로 Quantization을 통해 부하를 줄이고, 노이즈를 감소함
시간에 따른 템플릿 적응으로 외부 변화에 적응함
16비트 마이크로 컨트롤러를 포함한 다양한 장비에 사용가능
• Collecting about 4000 data and experiments
– 최대 98.6%의 정확도를 보임
– 사용자 의존적 제스처 인식 사용자 독립적 인식 시도
– 3차원 탐색 인터페이스와 사용자 인증의 응용을 보임