Transcript 画像群中の物品発見における計算量削減手法の提案

画像群中の物品発見における
計算量削減手法の提案
田中 五大, 横山 大作, 田浦 健次朗, 近山 隆
東京大学
背景

ライフログ



定点カメラの映像、人の目線に取り付けたカメラの映像など
ここでは、定点カメラから一定間隔で撮影した静止画像
ライフログ画像から特定の物品を発見したい

物品のサンプル画像とのマッチングを行う
ライフログ画像
サンプル画像
問題

ライフログ画像とサンプル画像の全組合せをマッチングするのは膨
大な計算量
⇒計算量を削減する手法
提案手法

「ライフログ画像の変化」をマッチングで調べる


物品が新たに出現したなど、物品の変化を検出する
変化があった場合のみサンプル画像とのマッチングを行えば、全体
のマッチング回数が減り、計算量の削減が期待できる
物品の変化の検出方法（1/3）


特徴点を抽出しマッチング
マッチング対応点を削除

マッチングした＝同じ物品上の点と考えられる
物品の変化の検出方法（2/3）

特徴点の削除


同一座標の点
マッチング対応点近傍の特徴点（パラメータ：thd1）

対応点のまわりに写っているものも同じ物品の特徴点
物品の変化の検出方法（3/3）

特徴点の密度の高い部分を検出


一定の距離以内に隣接する点を結んでいく（パラメータ：thd2）
閾値以上の個数がつながったものを探す（パラメータ：bind）
実験環境




プログラムはC++で記述
Intel社のOpenCV（+IPL）を使用
特徴点の抽出にはSIFT[David G. Lowe, ’04]を使用
Xeon 2.4GHz搭載のマシン65台のクラスタ上で実行


１回の比較は３秒程度
ライフログ画像のデータ


2007/11/13～27に4台の定点カメラで撮影された画像
1～2秒間隔で撮影
実験に用いたデータ


3つの場面を想定して実験データを選別
各場面に合った10枚程度の時間連続画像をそれぞれ10
セット前後取り出し、実験対象に
実験データ：case 1

画像に微妙な変化しかないもの

影の変化やカメラの揺れ等
実験データ：case 2

見た目の変化はあるが、物品自体の変化はないもの

物品の移動、人が横切った等
実験データ：case 3

確実に物品の変化があるもの

物品が現れた、消えた等
評価基準

「どの画像がサンプル画像とマッチングすべきものなの
か」（正解）は人間が決める



false positive



case 1, 2はマッチングすべき枚数「0枚」が正解
case 3は画像により異なる
マッチング不要と判断すべきを誤って必要と判断
冗長な検出
false negative
要マッチングと判断すべきを誤って不要と判断
 case1, 2では無し
⇒ false negativeがなるべく少ないのがよい

パラメータの設定



thd1：マッチング対応点近傍の特徴点を削除する際の近傍距離
thd1 = 5, 10
thd2：特徴点を結ぶときの特徴点間距離
thd2 = 0.6～2.0（0.2刻み）
bind：繋がった特徴点を取り出すときの特徴点個数の閾値
bind = 10, 20
・thd1, thd2は画像の縦横のサイズの平均に対する割合(%)の形で実装
・全体的に値が小さい方が条件が厳しい

上記パラメータの組合せで計32通りの実験
実験結果：case 1, case 2

条件を厳しくするほどfalse positiveが減少
case1
case2
実験結果：case 3


case1,2で結果の良好なパラメータではfalse negativeが大きい
パラメータの一例：bind=10, thd1=5, thd2=1.2


false negativeが5%程度に
false positiveは1/3程度
false positive
false negative
実験結果についての考察

提案手法の評価


例えばbind=10, thd1=5, thd2=1.2というパラメータでは、 false
negativeを5%程度に、false positiveは1/3程度にできる
使用した画像データについて


用意した画像データは主観的に決めた場面を限定した画像
一般的なデータでも実験する必要
Harrisオペレータを用いた実験

Harrisオペレータ[C. Harris and M. Stephens, ’98]を用いて
SIFTと同じ実験を行う


パラメータはSIFTと多少異なる
HarrisオペレータでSIFTの結果が予測できないかを検討


HarrisオペレータのほうがSIFTより計算量が少ない
同じ結果が出せればHarrisオペレータをSIFTの代用として使える
Harrisオペレータの実験結果

全体的にはSIFTと似た傾向の結果


case1・case2ではほぼ同じ結果に
case3：false negativeの検出率が下がらない
case3 : false negative
Harrisオペレータについての考察


SIFTに比べてfalse negativeが多い
SIFTの代用として使うには誤りが多く、実用的ではなかっ
た
まとめ


ライフログ画像の変化を検出することで、サンプル画像と
のマッチングが必要か不必要かに分類する手法の提案
実験による提案手法の評価


例えばbind=10, thd1=5, thd2=1.2というパラメータでは、 false
negativeを5%程度に、false positiveは1/3程度にできた
HarrisオペレータでSIFTの結果が予測できないかを検討

誤りが多く、実用的ではなかった
今後の課題

一般的なデータについて実験



「サンプル画像とのマッチングを行うべき」画像の客観的（機械
的）な判断基準
アルゴリズムの改良
他のマッチング手法の検討も