HOG特徴に基づく 単眼画像からの人体3次元姿勢推定
Download
Report
Transcript HOG特徴に基づく 単眼画像からの人体3次元姿勢推定
HOG特徴に基づく
単眼画像からの人体3次元姿勢推定
神戸大学 工学研究科 情報知能学専攻
大西 克則
www.***.com
研究背景
人間を見るビジョン技術のニーズが高まっている
人体の姿勢推定
画像監視
ロボットとのインタラクション
ゲーム,映画等のエンターテインメント
仮想世界の構築
人体全身の姿勢推定
ハードウェアの進歩:2D→3D
www.***.com
研究目的
3次元姿勢推定方法
モーションキャプチャ
身体の動きのデータを正確に収集できる
問題点
体にマーカを装着する
複数個のカメラに囲まれた環境での撮影
単眼カメラからの姿勢推定
www.***.com
従来手法
画像の人体特徴抽出方法
シルエット画像を用いる
体の変形等により隠れ部分が発生する
(自己オクルージョン)に弱い
体の輪郭だけではなく
内部のエッジ情報も考慮した特徴量が必要
www.***.com
HOG特徴
HOG (Histograms of Oriented Gradients)
N.Dalal and B.Triggs,” Histograms of Oriented Gradients for Human Detection”, CVPR
2005
従来,人や物体の検出に用いられてきた特徴量
内部のエッジ情報も考慮
輝度勾配を計算
m( x, y)
f x ( x, y)2 f y ( x, y)2
( x, y) tan1
入力画像
f y ( x, y)
f x ( x, y)
f x ( x, y) I ( x 1, y) I ( x 1, y)
f y ( x, y) I ( x, y 1) I ( x, y 1)
輝度勾配画像
www.***.com
HOG特徴
勾配方向を
9方向に量子化
v [hi , j , hi 1, j , , hi 2, j 2 ]
hi , j
hi , j
v 2 2
2
照明や影の影響を受けにくい
局所的な幾何学変化に頑健
www.***.com
PCAによる背景領域の次元削減
HOGは画像全体の特徴量であり,背景領域にも不必要な特徴が多く存在
する
人物領域の重要な領域のみ特徴量を使用したい
HOGのブロック毎にPCAを行う
背景領域
人物領域
大きく次元削減
あまり
削減されない
PCA
特徴次元
高
低
www.***.com
人体3Dモデル
人体は多関節物体であり,様々な形に変形する
各関節間の体節部分は剛体とみなせる
→関節角を与えることで人体が表現可能
関節角を3次元人体モデル
の特徴量とする
画像から関節角を推定することで
姿勢推定を行う
www.***.com
姿勢推定方法
回帰分析に基づく姿勢推定
3Dモデル特徴: y
y
Ax
ε
画像特徴: x
変換行列Aは最小二乗推定により決定する
X (x1, x2 ,, xn )
Y (y1 , y 2 ,, y n )
学習データをn個用意
A : arg min AX Y
2
A
www.***.com
実験条件
一般的な家庭用カメラを用いて人体を撮影
人体を水平方向に回転させ,8方向から撮影する
直立,歩く,走る,手を上げる,手を広げる,の5姿勢
学習データ:240枚
テストデータ:123枚
従来手法であるシルエットの輪郭から抽出される Shape Contexts 特徴と
の比較
評価は推定誤差で行う
www.***.com
実験結果
走る
歩く
手を広げる
手を上げる
www.***.com
評価
25
23.80
推定誤差(角度)
23
21
19.12
19
18.44
17
15
Shape Contexts
HOG
Block PCA
従来手法と比較すると,推定誤差が約5.35度減少
www.***.com
まとめと今後の予定
まとめ
シルエット画像ではなく,HOG特徴を用いた3次元姿勢推
定を行った
ブロック毎にPCAをすることで,背景領域の特徴次元を削
減した
従来手法と比較すると,推定誤差が約5.35度減少
今後の予定
姿勢推定の方法を改良する
www.***.com
ご静聴ありがとうございました
www.***.com
Shape Contexts
シルエット画像から輪郭を離散点で表す
各点に対して逆log-polarマッピングを行い,参照している点から近い点を
細かく,遠い点を粗く参照する
1点に対して60次元ヒストグラム特徴
www.***.com
特徴抽出
画像数×特徴点数 次元
60次元
Shape Contexts 特徴量を抽出
K-meansによるベクトル量子化
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
Shape Contexts 特徴空間 (60次元)
www.***.com
各パラメータの値
画像サイズ:150×200画素
HOG特徴
セルサイズ:10×10画素
ブロックサイズ:3×3セル
特徴次元:18954
PCA(累積寄与率90%)後の次元:4867
人体3次元モデル特徴次元:24
www.***.com
実験データの詳細
(a) 学習データと同じ条件で撮影された画像
(b) ノイズが多い画像
(c) http://www.nada.kth.se/~hedvig/data.html のデータ
www.***.com
失敗例
www.***.com
処理時間
実験環境
Windows XP
Intel(R) Core(TM)2 CPU 6600
2.4GHz, 2.0GB RAM
学習(sec)
推定(sec)
Shape Contexts (従来手法)
20.53
0.07
HOG
27.59
0.33
HOG (PCA)
290.03
1.34
www.***.com
評価
35
Shape Contexts
HOG
Block PCA
推定誤差 (角度)
30
25
20
15
10
5
0
直立
手を上げる 手を広げる
歩く
走る
www.***.com