Transcript 下載/瀏覽
具自動分類機制之 人臉辨識網路相簿 1 Department of Computer Science and Information Engineering , Southem Taiwan University of Technology , M97G0102 姚芳德 Outline 1. 2. 3. 4. 5. 6. 目的 人臉辨識 分類技術 網路相簿 執行步驟 結論 2 01 目的 目前台灣的網路相簿都是以單純的註解標 示或是標籤機制來作相簿管理，網路相簿與 網路社群都是以”人”為主角，因此若能結 合人臉辨識與人像辨識的功能必能提高網路 相簿之便利性，以及增加該服務的應用性。 所以本計畫提出以機率類神經網路 (probabilistic neural network, PNN) 結合貝氏定理(bayes theorem)的方法，將 相簿中已註釋的臉進行訓練。若是有新的臉 出現，就會結合貝氏定理與機率類神經網路 以其所產生的結果做為該臉部人名的推薦。 3 02 人臉辨識 近年來，已有許多關於人臉偵測的技術研究被 發表，其中使用的方法約略可分為下列幾種 1. Template matching approach 2. Neural network approach 3. Knowledge-based approach 4. Color-based approach 4 Template matching approach Template matching approach 將臉 部特徵設定為一個或多個template， 利用標準模型來描述人臉或是部份的 人臉特徵，再以Searching window 的 方式偵測。而此模型的數量依據研究 者所使用的演算法而不同。最後偵測 結果的判定大多使用輸入影像與樣板 間的相關值（correlations）來決定影 像中是否含有人臉部位的存在。此方 法的優點是方法簡單容易實作，缺點 是若考慮到臉部的方向、旋轉、大小 等條件時，運算的時間複雜度將大幅 的增加。 5 Neural network approach 人臉是一個複雜的圖片影像，在拍攝人物時，往往會在人物後方有背景 影像存在，Neural network 的方法則是先分割輸入影像為數個subimages 的影像，再將這些subimages 影像標準化後輸入Neural network 的架構做 訓練，讓Neural network 自動分辨哪一區域為人臉哪一區域為背景，藉此 達到人臉偵測的目的。這樣的方式對於正面且不旋轉的人臉偵測有著極佳 的效果，但若考慮人臉的傾斜與旋轉時，效果就不是那麼好。 6 Knowledge-based approach Knowledge-based approach 又稱為rule-based approach，將 人們用來判斷該物件是否為人臉的直覺想法寫成程式判斷式。主 要原則為描述人臉上的特徵之幾何關係來當作判斷依據，例如眼 睛、嘴巴彼此間的相對位置，可能呈現三角關係。 這一類的方法通常都需要將影像經過前處理以求得人臉上的相 關特徵後才能作驗證動作。此外，如何明確有效的將人們對於人 臉的認知轉換成相對的法則是一個問題。如果測試的條件太過嚴 謹，可能因為某幾條法則測試失敗而無法對人臉區域做出正確的 判斷。 7 Color-based approach Color-based approach 是近幾年 來廣泛被應用的方法。此方法的理論 基礎是人類膚色在色彩空間中會群聚 於一定的範圍區域中。 Color-based approach 臉部偵測法對膚色做統計 並且建立一個膚色分佈的model，藉 由對輸入影像像素對像素（pixel by pixel）與膚色model 的比對結果將可 得到膚色的區域，Color-based approach 優點是處理速度快，且偵 測的結果不受人臉姿勢變化的影響， 缺點是當背景若出現與膚色相近的景 物，可能會產生誤判的結果。 8 分類技術 03 非監督式(non-supervised) -由資料中統計分佈直接尋找最佳的閥值 • K-Means 監督式(supervised) - 求取閥值前需要經人工提供基本資料或經過訓練後再依這些資料演算以找出閥值 • • 貝氏分類法 類神經網路 9 非監督式 K-mean k-mean在概念與實作上相當的簡單，且在處理大量資料時相當有擴充性 (scalable) 且有效率，但是卻也存在一些缺點 •無法處理類別性資料維度 •容易受雜訊與偏移值影響其群集中心 •起始群集中心選擇上的影響 •群集數量決定上的困難 監督式 貝氏定理 貝式定理是機率論中的一個結果，它跟隨機變數的條件機率以及邊緣機率 分佈有關。在有些關於機率的解說中，貝氏定理(貝葉斯更新）能夠告知我們 如何利用新證據修改已有的看法。 •僅適用於類別變數。 •僅能應用於分類問題(預測類別變數) •假設變數間為獨立互不影響，因此使用時頇要謹慎分析變數間的相依性 10 監督式-類神經網路分類法 (neural network classification) 類神經網路的原理為模擬人腦的思考方式，依人腦中每個神經元與神 輸入層 隱藏層 輸出層 Input Layer Hidden Layer Output Layer 經元間的突觸所傳遞的訊息強弱，刺激下一個神經元使其產生不同大小 的訊號向外輸出。在實作應用上，類神經網路經過簡化成為一單向多連 結的架構，通常分為輸入層、隱藏層與輸出層三部分，各層以節點與連 接線連結，每一連接線分別記錄了權重，而節點本身則記錄偏移植。亦 背景物件 即一個信號若從連接線的一端輸入，其輸出給另一端的數值為輸入值乘 Background Object R 上權重，而在接受此信號的節點反應則為，其所接受到的輸入值為所有 對此節點之連接線的傳入值總和加上此節點本身所記錄的偏移值，而其 輸出值為輸入值經過轉換函式的運算結果 G B 前景物件 Foreground Object 11 改良- 機率神經網路架構 改良機率神經網路 (Modified Probabilistic Neural Network, MPNN) 機率神經網路的輸出方式是採取「勝者全拿」的競爭式輸出方式， 其輸出結果會是所有學習類別中的一類，所以， 機率神經網路較適合處理分類的問題。 而改良式機率神經網路的輸出方式則不同於機率神經網路競爭化的輸出方式。 改良式機率神經網路在輸出層利用「重心法」取代了原本的「勝者全拿的」輸出。 採用了此種方法， 使得改良實機率神經網路能夠有效地應用在函數逼近的問題上。 優點 缺點 • 演算法中僅有一個參數: 平滑參數 • 變更平滑參數, 網路不需要重新學習 • 增刪訓練範例, 網路不需要重新學習 • 網路可估計各分類的相對機率 • 網路學習過程極快速 • 可用有限電腦資源解決大的分類問題 • 所需記憶體與訓練範例數成正比 • 網路回想所需時間與訓練範例數成正比 • 只能做分類問題 12 04 網路相簿 介紹目前國內外具有 人臉偵測機制之網路相簿 TeraSnaps Riya Hiants 13 國內外的相關應用 14 15 HiAnts 16 現狀分析 因為在相簿中大部份會儲存以人為主的相片，所以將人 臉框出並且加上標註就能快速分辨出相片中所有的人，加 快人與人之間認識的速度。此外，在有需要找尋某個人或 是某兩個人(以上)的合照時也能非常迅速的找出來。但是使 用者對於一直做著重複的動作會產生惰性，不可能每次新 增相片的時候都會註釋每張相片，更何況若是新增大量的 相片，不僅註釋起來費時而且會讓使用者感覺缺乏實用性 。 17 05 進行步驟 目前我們已分別從各個實驗中驗證，上面簡報所述之方法皆有 其可行性，唯希望建置一個整合所有方法之完整實驗之方案 此計畫預計利用一年，分三個階段進行，三個階段如下 1.人像相簿之建置 2.人臉辨識機制之實作與測試 3.人像自動分類推薦機制實作 18 Schideual 第一個階段主要先開發一個能提供使用者上傳與編輯標籤(TAG)功 能的網路相簿，此實驗平台建置穩定後，後續的功能方能在此平 台上作擴展與實驗，此三個月為整個計畫的前期平台建置。 1月 2月 3月 4月 伺服器環境建置 相簿環境建置 相簿測試 穩定性測試 19 Schedule 第二個階段便開始導入人像辨識之應用於網路相簿上，主要分為 演算法開發與實際撰寫程式、驗證演算法、與網路相簿整合、整 合後之網路相簿整體測試 5月 6月 7月 8月 演算法開法與程式 驗證演算法 整合進相簿 人像辨識網路 相簿測試 20 Schedule 第三個階段為導入分類技術到網路相簿內，首先須要先實驗演算 法並且先實作在單機平台上，接下來驗證演算法，確定演算法的 可行性，再整合進網路相簿。 9月 10 月 11月 12月 演算法開法與程式 驗證演算法 整合進相簿 自動分類網路 相簿測試 21 預計完成之工作項目與成果 第一階段 • 開發可實際使用之網路相簿 • 實現一穩定的網路社群實驗平台 第二階段 • 開發一可行性高的人臉偵測方法 並且能整合在網路上之相簿 • 發表偵測技術之論文與實驗結果 第三階段 • 提供一種分類演算法可於網路 相簿上作分類推薦機制 • 開發之相關技術可轉移業界使用 • 開發完之系統與環境可供後續研究使用 23 06 結論與貢獻 目前台灣網路相簿與網路社群相當盛行，但其相關的 應用與服務仍停留在技術性與商業性的階段，未能有創 新的服務或是挖掘更有價值的網路關係資料，本計畫除 了實現一個能自動分類且能辨識出人像的網路相簿外， 標籤的應用更可提供更多搜尋上的應用與價值，此相關 技術更可應用在相片自動分類、部落格、影片辨識等領 域。 本計畫在於提出一種新思維的網路相簿除了人像辨識 外更整合了分類技術的應用目的在於希望提供使用者一 個快速分類的相簿使用環境，由此所繁生出來的標籤資 訊除了能夠管理使用者繁雜眾多的相片外，更可利用標 籤的關係挖掘出更深入的社群資料價值。 24