Transcript PowerPoint

感情推測システム構築のための
顔表情認識の実践
wataru
B2 LifeCloud所属
親：hiroponさん,guroさん
概要
• 感情推定システムの構築の主要素となる画
像処理による顔表情認識の実践をしてみる
背景
• 機械と人間とがコミュニケーションを行う機会
が増えている
– 機械が人間の感情を理解することが重要
– 人間同士ではどうしているのか？
人はどうコミュニケーションしてる？
• 実は大部分が非言語コミュニケーション
– Ex.メラビアンの法則
非言語コミュニケーションで感情を推
定するには
• 顔表情である程度感情を推測するのは可能
– しかし精度が低い
– Ex.ポーカーフェイスなど
なにいってんだｗ
研究の最終目的
• 感情推測システムの構築
– 顔表情認識による感情推測
– その場の状況による感情推測
– その人の状態による感情推測
• 今期は顔表情認識をしてみる
既存研究
• 顔動画像からの特徴点抽出を用いた表情認識
– 岐阜大学大学院工学化研究科応用情報学専攻修士論文 叶冠峰
• 動的表情認識による感情推定手法に関する基礎研究
– 京都大学大学院エネルギー科学研究科エネルギー社会・環境科学専攻修
士論文 國 弘 威
• ニューラルネットワークを用いた顔表情認識
– 東北大学大学院工学研究科電気・通信工学専攻 小谷中洋介
アプローチ
• カメラ画像を用いて人の顔表情を推定する
– 6種類の表情を推定
• 驚き,おそれ,嫌悪,怒り,喜び,悲しみ
流れ
• 表情変化量抽出部分
– 顔領域抽出
– 顔器官抽出
– 特徴点抽出
– 特徴量抽出
• 表情認識部分
顔領域抽出
• 肌色検知
– RGB表出系->YCbCr表出系
– CbとCrの値を閾値にして2値化
顔器官の抽出
• 目,眉,口の検出
• 目
– 白色と黒色のみ
– 眼球は円
• 眉
– 色は黒
– 横幅は縦幅2倍以上
• 口
– 唇色（≒赤色）を検出する色抽出法
特徴点の抽出
• 特徴的な動きをする場所を追跡することに
よって表情を推測する
特徴量の抽出
• 特徴点抽出で得られる特徴点の変化量を算
出する
表情認識部
• 特徴量とAction Unitを対応させることでAction
Unitの3領域の組み合わせと表情との対応関
係から表情を決定する
– Action Unitとは視覚的に識別可能な表情動作の
最小単位
システム構成図
表情変化量抽出部
表情認識部
顔領域の抽出モジュール
画像データ
顔領域データ
顔器官の抽出モジュール
認識
Action Unitと表情を対応
目,眉,口領域データ
特徴点の抽出モジュール
特徴点データ
特徴量の算出モジュール
特徴量データ
出力
顔表情認識
実装環境
• 使用ライブラリ
– OpenCV
• 使用言語
– C++ or Java
• 使用マシン
– MacBookAir
スケジュール
12月上旬：OpenCV環境構築&基礎知識獲
得
12月中旬：顔領域の抽出
12月下旬：顔器官の抽出
1月上旬：特徴点の抽出
1月中旬：特徴量の算出
1月下旬：表情認識部
まとめ
• 感情推定システムを作成する上での主要素
である顔表情認識を実践し基本６表情の認
識を実践してみる
ご静聴ありがとうございました！
これからの研究
• 感情推定システムの作成
– 表情認識から感情推定してみる
– その人の状態・その場の状況などの変数も組み
合わせてみる
ノンバーバルコミュニケーション
• メラビアンの法則
– 限定された状況下では
言葉がメッセージ伝達に占める割合は7%,声
のトーンや口調は38 %,ボディーランゲージ55
%であった
ノンバーバルコミュニケーションで感
情をとる手法
• 顔表情によるコミュニケーション
– 表情
– 視線
• 声によるコミュニケーション
– 大きさ、高さ
– トーン
• 動作によるコミュニケーション
– ジェスチャー
– 腕の動かし方
– 立ち振る舞い方
• 雰囲気
– その場の状況
– その人の状態
目的
• 機械が人間の感情をノンバーバルコミュニ
ケーションを用いて理解させる
顔の上部においての特徴的な表情動作