Transcript Stereo vision

ระบบควบคุมวัตถุเสมือน
Augmented reality object manipulation system
• ผูอาจารย์
้ จดั ทำ ทป่ี รึกษา
• นายดิ
ผศ.ดร.อรรถวิ
ทย์ สุดแสง ID. 5030167521
ษพงศ์ ธชทรงธรรม
• นายคมกรณ์
อาจารย์ ดร.นัอัทศทีวเมฆี
นิภานันท์ID. 5031011421
System in brief
Structure planning
ภาพรวมงานในปัจจุบนั
Structure planning
Hand feature extraction
Stereo vision
3DPhysic
Position
engine
Filter
Physic
Integration
engine
3D Position Filter
Title
สรุ ปความก้าวหน้า
Stereo vision งานที่ทาไปแล้ว
Epipolar
geometry
งานที่ทาไปแล้ว
Stereo vision
Correspondence
problem
งานที่ทาไปแล้ว
Stereo vision
Reconstruction
Triangulation
งานที่ทาไปแล้ว
Camera calibration
งานที่ทาไปแล้ว
Intrinsic matrix
Distortion matrix
งานที่ทาไปแล้ว
• Hand Segmentation
– Fast Hand Feature Extraction Based on Connected
Component Labeling, Distance Transform and
Hough Transform
วิธีใหม่ที่จะใช้
• ใช้ Marker ติดที่ปลายนิ้วทั้งห้า แล้ว detect หา marker แทน
การหามือ
• เพื่อลด Noise ที่เกิดขึ้นเนื่องจากฉากหลัง จึงกาหนดให้สีของ
Marker แตกต่างจากสี ของฉากหลัง
วิธีใหม่ที่จะใช้
• Smooth ภาพ เพื่อให้สามารถ detect ส่ วนที่ตอ้ งการของภาพได้
ง่ายขึ้น
• เปลี่ยนระบบการเก็บข้อมูลภาพ
จากระบบสี RGB เป็ นระบบสี HSV
วิธีใหม่ที่จะใช้
• ตรวจสอบค่าในแต่ละ pixel ว่ามีค่าอยูใ่ นช่วงที่ตอ้ งการหรื อไม่
• บันทึกค่าลงใน frame ที่สร้างขึ้นใหม่
– โดยถ้า pixel นั้นอยูใ่ นช่วงที่ตอ้ งการบันทึกสี ขาว
– ถ้าอยูน่ อกช่วงที่ตอ้ งการ บันทึกสี ดา
งานที่กาลังทาอยู่
• หา Connected Component
– เพื่อให้รู้วา่ ส่ วนใดเป็ น Noise หรื อส่ วนใดเป็ น Marker ที่ตอ้ งการ
• Algorithms
– Two-pass
การหาจุดแทน Connected Component
• โดยสามารถทาได้ 2 วิธี
– สร้างสี่ เหลี่ยมล้อมรอบ Marker และเลือกจุดศูนย์กลางของสี่ เหลี่ยม
– หาจุด Centroid ของ Connected Component
Stereo function
งานที่กาลังทาอยู่
In OpenCV
งานที่กาลังทาอยู่
งานที่จะทาในอนาคต
งานที่จะทาในอนาคต
•Program structure planning
•Calibrate with Matlab
•Find preferred camera property
•3D Position
•Physic engine
•User interface
•Integrated
Title
ปัญหา และ แผนงาน
ปัญหาในการทางาน
• การใช้งาน C++
• ความคุน้ เคยในการใช้งาน OpenCV
• Complex Algorithm
Gantt chart
Jul 2010
ID
18/7
1
2
Hand tracking
Hand feature extraction
Stereopsis
3
4
5
Calibration
6
Preferred Camera property
7
8
Track
Filter
9
10
11
12
13
14
15
16
17
Aug 2010
Sep 2010
Oct 2010
Nov 2010
Dec 2010
Jan 2011
Task Name
Physic Engine
Collision detection
Physic engine
3D Display
openGL
Module
25/7
1/8
8/8
15/8
22/8
29/8
5/9
12/9
19/9
26/9
3/10 10/10 17/10 24/10 31/10 7/11 14/11 21/11 28/11 5/12 12/12 19/12 26/12
2/1
9/1
16/1
23/1