Transcript Augmented Reality Object Manipulation System - ISL2

• นายดิษพงศ์ ธชทรงธรรม ID. 5030167521
• นายคมกรณ์ อัศวเมฆี
ID. 5031011421
• ผศ.ดร.อรรถวิทย์ สุดแสง
• อาจารย์ ดร.นัทที นิภานันท์
ภาควิชาวิศวกรรมคอมพิวเตอร์
คณะวิศวกรรมศาสตร์
จุฬาลงกรณ์ มหาวิทยาลัย
บันทึกการแก้ ไขชื่อโครงงาน
เปลีย่ นชือ่ โครงงานจากเดิมคือ
การควบคุมแบบจาลองสามมิตดิ ว้ ยการแสดง
ท่าทางมือ
3D Model Manipulation with Hand Gesture
หลักการและเหตุผล
หลักการและเหตุผล
หลักการและเหตุผล
วัตถุประสงค์
ทาให้มอื สามารถ จับ, ผลัก, บิด กับแบบจาลอง
วัตถุเสมือนใน Augmented realityได้
ทฤษฎีท่ เี กี่ยวข้ อง
Stereopsis
Hand Feature Extraction
Stereopsis
การสร้างภาพสามมิติ โดยใช้ภาพสองมิตหิ ลาย
ภาพทีม่ าจากมุมมองต่างกัน โดยเลียนแบบ
การทางานของสมอง
การทางานของ Stereopsis
Correspondence
Reconstruction
Correspondence
Reconstruction
Hand Feature Extraction
การวิเคราะห์หาตาแหน่งของจุดสาคัญบนมือ
ได้แก่ จุดกลางฝ่ ามือ และปลายนิ้วทั้งหมด
การทางานของ Hand Feature Extraction
Hand Segmentation
หาจุดสาคัญของมือ
งานวิจัยทีเ่ กีย่ วข้ อง
Hand with marker(gloves)
งานวิจัยทีเ่ กีย่ วข้ อง
gestures
งานวิจัยทีเ่ กีย่ วข้ อง
Fast Hand Feature Extraction Based on
Connected Component Labeling,
Distance Transform and Hough Transform
(Le Dung and Makoto Mizukawa)
Skin color detection
งานวิจัยทีเ่ กีย่ วข้ อง
Fast Hand Feature Extraction Based on
Connected Component Labeling,
Distance Transform and Hough Transform
(Le Dung and Makoto Mizukawa)
Connected component labeling
งานวิจัยทีเ่ กีย่ วข้ อง
Fast Hand Feature Extraction Based on
Connected Component Labeling,
Distance Transform and Hough Transform
(Le Dung and Makoto Mizukawa)
Distance transform
งานวิจัยทีเ่ กีย่ วข้ อง
Fast Hand Feature Extraction Based on
Connected Component Labeling,
Distance Transform and Hough Transform
(Le Dung and Makoto Mizukawa)
Extract Finger(s)
งานวิจัยทีเ่ กีย่ วข้ อง
Fast Hand Feature Extraction Based on
Connected Component Labeling,
Distance Transform and Hough Transform
(Le Dung and Makoto Mizukawa)
Result
งานวิจัยทีเ่ กีย่ วข้ อง
ขอบเขตของโครงการ
พัฒนาระบบวัตถุเสมือนจริ งที่มี Physical
Interaction กับมือในลักษณะของ Augmented
Reality
ต้องการสภาวะแวดล้อมในการใช้งานที่มีแสง
สว่างเพียงพอ เนื่องจากเว็บแคมในการพัฒนา
ขอบเขตของโครงการ
Physic Engine
พิจารณาความสัมพันธ์ระหว่างมือกับวัตถุเสมือน
ไม่พิจารณาการชนของกันของวัตถุเสมือน
วัตถุเสมือนเป็ นรู ปลูกบาศก์
แนวทางการพัฒนา
(Left camera)
(Right camera)
แนวทางการพัฒนา
แนวทางการพัฒนา
แนวทางการพัฒนา
รับภาพจากกล้องเว็บแคม
วิเคราะห์หาจุดสาคัญบนมือ
โมเดลวัตถุเสมือนสามมิติ
Physic engine ทาการคานวณ
ความสัมพันธ์ระหว่างมือและโมเดล
แสดงภาพวัตถุเสมือนซ้อนลง
ไปบนภาพจากกล้องเว็บแคม
แนวทางการพัฒนา
Functional Specification
Hand Recognition Unit
Physic Engine Unit
Graphic Display Unit
โครงสร้ างซอฟต์ แวร์
Hand Recognition Unit
Physic Engine Unit
Graphic Display Unit
เครื่ องมือที่ใช้ ในการพัฒนา
Webcam
OpenCV
OpenGL
Microsoft Visual Studio 2008 Express
ขัน้ ตอนการพัฒนาโปรแกรม
 กาหนดขอบเขต เป้ าหมาย และวัตถุประสงค์ของโครงงาน
 วางแผนการดาเนินงาน
 แบ่งการดาเนินงานออกเป็ น 3 ส่ วนหลัก ๆ ดังนี้
 ส่ วนตรวจหามือ
 ส่ วน Physic Engine
 ส่ วนสาหรับแสดงผลสามมิติ
 ศึกษาและพัฒนาโปรแกรมในแต่ละส่ วน
 รวมระบบย่อยทั้งสามเข้าด้วยกัน
Gantt Chart
ขอบคุณครับ