Transcript AAMのモデル選択による方位に 頑健な不特定人物の顔表情

AAMのモデル選択による方位に
頑健な不特定人物の顔表情認識
岡田朋子 滝口哲也 有木康雄
神戸大学
研究背景
現在、様々な分野で顔表情認識の研究が進め
られている
主な場面
 機械とのインタラクション
 映像中からの表情検出
表情認識によって具体的に実現できること
 ロボットとより人間らしい対話
 コンテンツの解析
www.***.com
従来研究からのアプローチ
○従来の顔表情認識は正面を向いたものが多い
認識の対象者は必ずしも正面を向いているとは限らない
AAM（Active Appearance Model）[1]を用いた顔特徴
点追跡をすることで横向きや斜めの顔を正面に戻す
○AAMは不特定人物への追跡が難しい
相互部分空間法によって類似した顔をクラスタリング
することで不特定人物への顔追跡を向上させる[2]
○より顔表情認識率を向上させるために
新規性
顔の方位ごとにモデルを作成し、顔追跡をより向上
させることで認識率を向上させる
参考文献[1]:F.Cootes, G. Edwards and C.J.Taylor,
“Active appearance models”, Proc. ECCV, Vol. 2, pp. 484–498, 1998
参考文献[2]:小林 亮博 ,佐竹 純二 ,平山 高嗣 ,川嶋 宏彰 ,松山 隆司
"AAMの動的選択に基づく不特定人物の顔追跡", 情報処理学会研究報告 (CVIM-161), pp.35-40, 2008
www.***.com
表情認識の流れ
ＡＡＭモデルの選択
AdaBoostによる
顔検出
相互部分空間法による
人物ごとに適切なAAM
モデル（α）を選択
（α）を用いて顔方位を得た後
方位ごとに適切な
AAMモデル（β）を選択
顔方位を正面にして表情認識
SVMによって
顔表情認識
喜び
ＡＡＭモデル（β）による
顔特徴点追跡
顔方位を正面に戻す
www.***.com
相互部分空間法
複数の画像から部分空間を作成し，部分空間同士
を比較することによって類似度（正準角  ）を得る
正準角
M次元部分空間 L1
cos  
2

u
v
max
uL1 , vL2 , u 0, v 0
N 次元部分空間 L2
(ui , vi )
2
(i  1,N )
2
2
NM
ui
vi
www.***.com
類似度によるクラスタの選択
 この類似度をもとに，事前に学習データから人物のクラスタリ
ングを行い，類似した人物でAAMのモデルを作成
 未知の人物は作成したクラスタとの距離を比較し，類似するク
ラスタを選択し、適切なＡＡＭモデルを選択
A
B
距離が小さい
Bを選択
未知の人物
www.***.com
表情認識の流れ
ＡＡＭモデルの選択
AdaBoostによる
顔検出
相互部分空間法による
人物ごとに適切なAAM
モデル（α）を選択
（α）を用いて顔方位を得た後
方位ごとに適切な
AAMモデル（β）を選択
顔方位を正面にして表情認識
SVMによって
顔表情認識
喜び
ＡＡＭモデル（β）による
顔特徴点追跡
顔方位を正面に戻す
www.***.com
AAM （ActiveAppearanceModel）
AAM（ActiveAppearanceModel）とは
 Shape（特徴点）とTexture（表面画像）をパラメタとしてもつ
⇒顔特徴点追跡や表情はそのままで顔の方位だけを変化
させることができる
g  ( g1, g2 ,gm )T
S  ( x1,xn , y1, yn )
T
PCA
PCA（主成分分析）
g  g  Φgbg
s  s  Φsbs
PCA
b  Φcc
Ｃ：Combinedパラメータ
www.***.com
顔方位の推定
パラメタCの特徴
 Cの低次元に顔方位を表わす軸が現れる
 Cの低次元の値と顔方位の角度は比例する
C1  Cx1  Cx2 x
C1 : C の低次元ベクトル
Cx1　、 Cx 2 を求めておく
２．取得した C1 ' から、顔方位角度  x ' を推定する
１．最小自乗法によって係数の
 x '  (C1 'Cx1 ) / Cx2
このようにしてもとめた顔方位角度から
方位ごとに適切なモデルを選択する
www.***.com
顔方位を正面に戻す
C1  Cx1  Cx2 x
C1 : C の低次元ベクトル
１．残差ベクトル Cres を求める
Cres  C1 '(Cx1  Cx 2 x ' )
２．顔方位を正面に戻すため、式に
パラメータベクトル C front を求める
x  0
を代入し、
C front  Cx1  Cres
３． C front を用いて顔方位を正面に戻す
参考文献
「View-based active
appearance models」
by T. F. Cootes, C. J. Taylor
2002
www.***.com
顔表情認識の実験
顔表情（無表情，喜び，悲しみ，怒り）を認識
 ATR顔表情データベース
 表情のクラスは４（無表情，喜び，悲しみ，怒り）
 顔方位は７方位（0°,±15°,±30°,±45°）
各方位につき４表情
 相互部分空間法の類似度によるクラスタ数は２
 対象者９人から１人を抜くLeave-One-Out法
 MulticlassSVMによる多クラス分類
入力画像の特徴点とAAMモデル
の平均顔画像の特徴点との差分
をSVMの特徴量とする
入力顔画像
AAMモデルの
平均顔画像
顔特徴点：６４点
特徴量：１２８次元
www.***.com
実験結果
モデルの違いによる実験結果（F値）
モデルの種類
選択されたモデル
選択されなかっ
たモデル
対象者以外全員
を含めたモデル
従来手法
0.74
0.65
0.70
提案手法
0.81
0.73
0.74
方位の違いによる実験結果（F値）
方位
左４５° 左３０° 左１５°
正面
右１５° 右３０° 右４５°
従来手法
0.58
0.70
0.75
0.80
0.79
0.80
0.46
提案手法
0.67
0.75
0.76
0.82
0.80
0.81
0.67
表情の違いによる実験結果（F値）
表情のクラス
無表情
喜び
悲しみ
怒り
従来手法
0.67
0.73
0.67
0.73
提案手法
0.71
0.90
0.77
0.76
www.***.com
考察
クラスタを選択し、方位ごとのモデルを選択するこ
とによって、認識率の向上がみられた
顔方位が大きい時の認識率の低下を抑えること
ができた
 顔方位に頑健性を得ることができた
「無表情，悲しみ」を「喜び，怒り」と誤認識
 SVMに入れる特徴量が平均モデルと特徴点の差なの
で、個人の変化による値なのか表情の変化による値な
のかが判別しにくい
www.***.com
今後の課題
認識精度の向上
 SVMにいれる特徴量
特徴点全部を同じように扱っていたので表情による変化
が表れやすい点を重みづけする
特徴点からの差分ではなく他の特徴量
 適切なAAMモデルの選択
より適切なモデル選択についての手法
実用的なシステムに向けて
 自由に対象者が動く映像中から顔表情の認識を
する
www.***.com
www.***.com
データセット
データセット
 正面⇒
無表情
１枚
喜び、怒り
６枚
悲しみ
３枚
 顔方位⇒ 無表情、悲しみ １枚
喜び、怒り
２枚
 各９人（女４人、男５人）
www.***.com
学習画像枚数とテスト画像枚数
学習画像枚数
 方位付きの画像を正面に戻したものも使用
 一人につき
無表情
８枚×８人＝５６枚
喜び、怒り １２枚×８人＝９６枚
悲しみ
９枚×８人＝７２枚
テスト画像枚数
 一人につき
正面⇒
無表情
１枚
喜び、怒り
６枚
悲しみ
３枚
方位付き⇒ 無表情、悲しみ 各１枚
喜び、怒り
各２枚
www.***.com
処理時間
クラスタの選択
（２クラスの場合）
顔特徴点追跡
顔方位推定
画像サイズ（縦×横）
約50×50
320×240
320×240
平均実行速度（s）
40.29
0.327
0.127
www.***.com
顔の方位ごとのモデルの選択
モデルの種類（３つ）
 左：-30°と -45°の顔画像から作成
 中央：-15°、0°、15°の顔画像から作成
 右：30°と45°の顔画像から作成
モデルの選択
 -45°＜  ＜-30°の時、左のモデルを使用
 -30°＜  ＜30°の時、中央のモデルを使用
 30°＜  ＜45°の時、右のモデルを使用
www.***.com