Transcript MoniPet(발표자료)_최종

MONIPET
TEAM “COLD STONE”
Contents








Members
Motive
Purpose
Function
Process
Schedule
Problem
Q/A
Members
PL 임준규(17기)
• 숭실대학교 미디어학부 02학번
• H/W
• 역할: 하드웨어 구성 및 시스템 디자인,시스템 통합 및 DB구축
권혜진(17기)
• 숭실대학교 미디어학부 04학번
• S/W
• 역할:영상처리(움직임처리) - Tracking 구현 및 시스템구축
이현덕(17기)
• 서울여자대학교 정보통신공학부 04학번
• S/W
• 역할: 영상처리(표정인식) - 표정학습시스템 구축
Motive
인간을 위한 친구
감성적
편의성
MoniPet
Purpose
Function
 편의성
-
사용자의 자세를 인식 후 최적화된 모니터의 위치를 제공
 자세제어
-
사용자가 컴퓨터 사용에 있어 올바른 자세를 유지하도록 유도함
 친구
-
표정을 인식하여 사용자의 상태에 맞게 반응을 보여줌
Process
System
Hardware
Software
System Architecture
Hardware
Software
CAM1
LCD
Cam 영상전송
CAM2
Analyze
Face & Body Tracker
Facial Expression
MoniPet Motion
ServoMotor
Analyze Data 추출
MCU
MoniPet Control
Servo 제어
Analyze Data
전송
Hardware Instrument
<LCD Monitor>
•
•
•
•
14”TFT Active-Matrix Panel
XGA 1024X768 75Hz
200:1
Weight : 1.7Kg → 1.0Kg
<Cam>
• 1.3mega
• 640*480
<Servo Motor>
• HS-5945MG
• Toque : 11~13Kg/cm
• 4.6~6.0V
<Controller>
• MCU : ATmega128
• Bluetooth
Motion
Situation
실행 시
잘못된 자세
움직임
(편의성)
표정
종료 시
Action
인사
고개를 절레절레(영역이탈/자세불량)
사용자 움직임에 따라 같이 움직임
(사용자가 보기 편하도록 LCD 정면에 항상 오도록 함)
웃음
좌우로 머리 흔듬 (도리도리)
놀람
살짝 뒤로 움찔
화남
고개를 숙이며 애처로운 모습
취침
대기모드 또는 알람모드
인사 후 Default상태로
Option
일반모드
작업 중
일반적으로 작동함
작동하지 않음
자리비움
사람의 얼굴이 사라지면 대기모드
알람모드
사용자가 취침 시 깨워줌
사용자지정
사용자가 직접 선택
Motion Overview
1 Default
2 놀람
3 기쁨(좋음)
4 싫음
5 인사
6 화남
7 TRACKING System으로 편의성 모션은 이미지를 넣지 않음
Application Overview
1
Cam영상
Tracking
2
4
Facial
Expression
3
Analyze된 Data IPC를 이용
Network App로 전달
MoniPet 제어
Face Tracker
Input Image
cvHaarDetectObjects()
Filltering
cvCanny()
Face Sphere Sampling
Abstract x,y,z coordinate
Monipet Control
1단계 : cvHaarDetectObject()
사용자의 얼굴 전체 영역 추출.
2단계 : cvCanny()
CannyEdge Algorithm을 통한
좀 더 정교한 얼굴 추출
3단계 : Face Sphere Sampling
사용자 고유의 얼굴 비율 연산
(x축과 y축의 최소, 최대 좌표 값)
FFPs Tracking System
< Feature >
< FFPs Tracking >
Eigen-points
(2) 40개의 수동 특징점 위치
(1)영상
(3)Eigen point를 이용한 특징점 위치
< 특징점 에서 아이겐포인트를 추출 >
Study Facial Expression
<눈>
< 눈 & 눈썹 >
< 입술 >
< 눈 & 입술, 눈썹 & 코 >
제안 기간, 인원수 필요성
 제안 기간
프로젝트 스케일의 모듈별 분량에 대한 적정 기간이라 판단됨
 인원수 필요성
핵심이라 할 수 있는 기술이 사람의 움직임을 인식하여 편안함을 주고
감정상태를 쉽게 파악할 수 있다는 표정을 인식하여 그에 따른 행동을
함으로써 친근함을 주기 때문에 영상처리기술이 핵심적이라 생각하여
영상처리 인원을 두 명, 하드웨어 인력이 한 명으로 구성함
Plans
순
번
이름
진행
1
프레임제작
2
MoniPet 바디제작
3
제어부 및 통신부(프로그램 포함) 구성
4
임준규 표정 및 움직임에 따른 모션 구현
5
Face Tracker와 연동테스트
6
MoniPet 테스트
7
표정학습 시스템 샘플링 및 표정 DB구축
8
얼굴 특징 점 추출
9
FFPs Tracking System
10
이현덕 eigen-points 구현
11
표정학습 시스템 구축
12
FFPs Tracking System/표정학습시스템 분석
13
Canny Edge를 이용한 얼굴영역 추출
14
Face Sphere Sampling
15
16
권혜진
움직임좌표(x, y, z축)추출 알고리즘 구현
Tracking 및 자세제어시스템 구축
17
얼굴 및 바디 움직임 샘플링
18
UI제작
19
20
전원
시스템 통합 후 디버깅
Technical Document 작성
5월
1
2
3
6월
4
5
6
7
7월
8
9
10
11
12
13
14
Meeting
 모임은 지금까지의 미팅과 동일하게 주 2회 (화, 금)으
로 하며, 정기 미팅을 통해 각자의 과제 진행 사항을 점
검함
 또한 임의의 비 정기 미팅을 통해 의견을 교환하고, 과
제를 수행해 나갈 것임
Problem
 표정인식의 인식률
 인식과정에서 발생할 수 있는 Delay 현상
Q/A
The End
감사합니다