Transcript An augmented reality based hairstype previewing system

指導教授：劉興民
組員：張廖曉蓉、林筱雯
Introduction
我們希望能以擴增實境（Augmented Reality）
做出能以Webcam影像預覽髮型的軟體，可以應用
在髮廊等地方，讓使用者在考慮髮型時，能得到
比單純敘述更具體的訊息。
基本構想是把髮型圖片覆蓋在攝影機影像中
的頭髮位置、蓋住原本的頭髮，但這樣只是單純
的剪貼照片，我們還想對髮型圖片進行微調，讓
成果能更加擬真。
Development Tools
OpenCV（Open Source Computer Vision Library）
 分類器（臉部、眼部、鼻部）
 由網路上下載取得
 髮型的位置、角度、大小的資訊來源
 函式庫
 修改圖片大小、旋轉的函式
 缺少的函式則自行撰寫
Process
臉部偵測
臉部大小、
眼睛、鼻子
位置、角度
縮放、
旋轉、
變型微調
偵測臉部詳
細資訊
髮型圖片的
修正
覆蓋圖片到
視訊影像上
OpenCV
臉部詳細資訊
臉部資訊的處理
 臉部位置
 臉部分類器回傳的座標
 臉部大小
 臉部分類器回傳的區域大小
 臉部角度
 以眼和鼻的座標計算
 計算兩種方向的角度
兩種旋轉角度
角度A
角度B
角度A的計算
角度B的計算
 Ѳ=arccos(兩眼位置x的差/當下的眼距)
兩眼座標x的差值
髮型圖片的修正
處理流程
縮放
原
圖
角度A
角度B
大小縮放
手動編輯畫比例尺
臉部的一半大小
縮放示意
角度A的旋轉
1.取得角度A、左右比例
2.依比例複製成左右兩張
右
左
角度A的旋轉
3.各剪一半後貼回去原圖
4.覆蓋到攝影機影像上
右
左
角度B的旋轉
 取得角度後直接以函式作旋轉
 旋轉後圖片會變大、須在最後執行
 角度B稍大、分類器便無法抓取臉部
成果照片
角度A
角度B
縮放
成果照片
成果影片
Youtube連結
( 網址：http://www.youtube.com/watch?v=AT99cm51QLY )
Conclusion
使用者可以任意挪動位置來觀看自己配上髮
型的效果，而圖片也能依照畫面做適當的調整，
確實有達到研究的目的及想要呈現的效果。
唯OpenCV的臉部辨識效果令人不盡滿意，使
程式有時候會有臉部角度無法判斷的情形，畢竟
人臉本來就不是形狀固定的標記，此部分需得到
更好的分類器或使用別的方法取代才能改善。
Future Work
 側面髮型
 現階段只能模擬正面髮型
 希望加上側面及背面的功能
 沒有臉部器官可定位、可能要使用ARToolkit
 髮型圖片的資料庫
 目前只能靠手動修改照片
 讓使用者自行匯入照片的功能
Reference
1.Gary Bradski, Adrian Kaehler “ Learning OpenCV:
Computer Vision with the OpenCV Library” (2008)
2.Open Computer Vision Library
(sourceforge.net/projects/opencvlibrary)
3.OpenCV China
(www.opencv.org.cn/index.php/)
4.ARToolkit
(www.hitl.washington.edu/artoolkit/)