Transcript 画像群中の物品発見における計算量削減手法の提案

画像群中の物品発見における
計算量削減手法の提案
電子情報工学科
近山・田浦研究室
60395 田中五大
背景

ライフログ画像から物品を発見したい




サンプル画像とのマッチングを行う方法
ライフログ画像もサンプル画像も膨大な枚数になりがち
マッチング自体の計算コストも大きい
全部を逐一調べていては計算量が爆発
→ 現実的には難しい
⇒ 計算量を削減する方法があると良い
発表の流れ






背景
研究に利用したマッチング手法について
提案手法
実験
考察
まとめ
発表の流れ






背景
研究に利用したマッチング手法について
提案手法
実験
考察
まとめ
研究に利用したマッチング手法について

特徴点ベースの手法を利用



マッチングの計算コストが少ない
物品が移動してもマッチングできる
利用した手法


Harrisオペレータ - 比較的軽い
SIFT - 重いが精密
Harrisオペレータ




[C. Harris and M. Stephens, ’98]
画像の輝度勾配を用いてコーナーを抽出
二次元変換（平行移動など）に比較的強い
テンプレートマッチングで対応付け
SIFT



[David G. Lowe, ’04]
輝度勾配のヒストグラムを用いる
128次元ベクトルの特徴量

アフィン変換に強い耐性
発表の流れ






背景
研究に利用したマッチング手法について
提案手法
実験
考察
まとめ
提案手法の概要

ライフログ画像とサンプル画像の全組合せをマッチ
ングするのは膨大な計算量
提案手法の概要

時間的に連続した2枚のライフログ画像どうしを比較
し、サンプル画像とのマッチングを行うべきものとそう
でないものとに分類



ライフログ画像の変化をマッチングで調べる
ライフログ画像の変化
＝ 物品の画面内への出現など、新たにサンプル画像
とのマッチングが必要になったとき
普通は変化が少ない
提案手法の概要

変化があった場合のみサンプル画像とのマッチング
を行えば、計算量の削減が期待できる
手法1


特徴点を抽出しマッチング
マッチング対応点を削除

マッチングした＝同じ物品上の点
手法1


領域をいくつかに分割（パラメータ：div）
各領域内の特徴点の個数の差分を取り、閾値以上の領
域を探す（パラメータ：lmt）

新しい物品があったとしたら、その部分に特徴点が固まって残る
手法2

特徴点抽出とマッチング

ここまでは手法1と同じ
手法2

特徴点の削除


同一座標の点
マッチング対応点近傍の特徴点（パラメータ：thd1）

対応点のまわりに写っているものも同じ物品だろう
手法2

残った特徴点を繋げる



一定の距離以内に隣接する点を結んでいく（パラメータ：thd2）
狭い範囲の塊だけでなく、直線的に並んだ特徴点群なども検出
閾値以上の個数がつながったものを探す（パラメータ：bind）
発表の流れ






背景
研究に利用したマッチング手法について
提案手法
実験
考察
まとめ
実験

実験環境




プログラムはC++で記述、Linux上でコンパイル
Intel社のOpenCV（＋IPL）を使用
sheepクラスタ（65台、CPU : Xeon 2.4GHz）で実行
ライフログ画像のデータ


2007/11/13～27に4台の定点カメラで撮影された画像
要件（後述）に合うものを適宜選ぶ
実験

3つの場面を想定
case 1
微妙な変化があるもの(影やカメラの揺れ等)
 case 2
物品の移動や人が横切るなど、見た目変化はしている
がマッチングするべきではないというもの
 case 3
確実にマッチングが必要と思われるもの

→ 各場面に合った10枚程度の時間連続画像を何セットか
取り出し、実験対象に
実験

評価基準

「どの画像がサンプル画像とマッチングすべきものなのか」（正解）
は人間が決める



false positive


case 1, case 2はマッチングすべき枚数「0枚」が正解
case 3は画像により異なる
マッチング不要と判断すべきを誤って必要と判断
false negative


要マッチングと判断すべきを誤って不要と判断
こちらのが致命的
⇒ false negativeがなるべく少ないのがよい
実験

実験手順

まず手法1、2ともSIFTを用いて実験


各手法について、どの程度望む結果（false negative小）が出せて
いるかを評価
その後Harrisオペレータについても同じ画像データで実験

HarrisオペレータでSIFTの代用が可能かどうかを検討
SIFTを用いた実験：手法1

パラメータ

div：分割する領域（div×div個に分割）
div = 5, 8, 10, 16

lmt：領域内の特徴点の個数の差の閾値
20～60まで5刻み
・全体的に値が大きい方が条件が厳しい
・計36通りのパラメータの組合せで実験
SIFTを用いた実験：手法1

case 1, case 2

条件を厳しくすればfalse positiveも減少
case1
case2
SIFTを用いた実験：手法1

case 3


case 1, case 2で結果の良かったパラメータでは逆にfalse
negativeがほとんどに
全体的にfalseが大きい
false positive
false negative
SIFTを用いた実験：手法2

パラメータ



thd1：マッチング対応点近傍の特徴点を削除する際の近傍距離
5, 10
thd2：特徴点を結ぶときの特徴点間距離
0.6～2.0, 0.2刻み
bind：繋がった特徴点を取り出すときの特徴点個数の閾値
10, 20
・thd1, thd2は画像の縦横のサイズの平均に対する割合(%)の形で実装
・全体的に値が小さい方が条件が厳しい
・計32通りの組合せで実験
SIFTを用いた実験：手法2

case1, case2

手法1と同様条件が厳しいパラメータは割と良好
case1
case2
SIFTを用いた実験：手法2

case3


やはり条件の厳しいパラメータではfalse negativeが大きい
positive・negative共に比較的抑えられたパラメータも
false positive
false negative
Harrisオペレータを用いた実験：手法2


全体的にSIFTと似た傾向の結果
false negativeがなかなか下がらない
case3 : false negative
発表の流れ






背景
研究に利用したマッチング手法について
提案手法
実験
考察
まとめ
考察

SIFTの代用としてのHarrisオペレータ


結果の傾向は似ている
性能的には劣る
⇒ 似た動作はさせられそうだが、代用させるには弱
い？
考察

提案手法の正当性


今回の実験ではそこそこの結果（手法２）
用意した画像データは主観的に決めた場面を限定し
た画像


もっと一般的なデータで実験したらわからない
正解が違うかもしれない
⇒ 今回の実験だけでは何とも言えない
発表の流れ






背景
研究に利用したマッチング手法について
提案手法
実験
考察
まとめ
まとめ

ライフログ画像とサンプル画像とのマッチングが必要か
不必要かに分類する提案手法について、2通りのアルゴ
リズムを使いSIFTを用いて実験・評価を行った


パラメータをうまく決めればそこそこの結果に
同じ提案手法を、より処理の軽いHarrisオペレータで
SIFTと同様の結果が得られないかを検討した

似た動作は可能だが、性能的に問題
今後の課題

さらなる実験




一般的な画像データに対しても
「サンプル画像とのマッチングを行うべき」画像の判断基準が客
観的（機械的）にできればなおよい
アルゴリズムの改良
他のマッチング手法の検討