Transcript Summarizing Visual Data Using Bidirectional Similarity

Summarizing Visual Data Using
Bidirectional Similarity
D.Simakov
Y.Caspi
E.Shechtman
M.Irani
CVPR2008
概要
• 視覚データ（画像や映像）を小さなサイズへ要約
画像の要約
• 「良い要約」には2つの条件がある
1. 入力データからできるだけ多くの視覚情報を含む (完全
性)
2. 入力データにはノイズができるだけ少ない (一貫性)
Bidirectional similarity measure(双方向類似度)
• 双方向類似度の最適化問題
- 最適化問題を解くことによってデータの要約が可能
双方向類似度（相違度）
• 2つのデータ間の双方向類似度（相違度）の算出
Source (S)
Target (T)
S内のパッチ
:
P
S内のパッチ数 : NS
T内のパッチ
:
Q
T内のパッチ数 : NT
S内のパッチPとT内のパッチQがどれだけ似ているのか
完全性
双方向類似度（相違度）
• 2つのデータ間の双方向類似度（相違度）の算出
Source (S)
Target (T)
S内のパッチ
:
P
S内のパッチ数 : NS
T内のパッチ
:
Q
T内のパッチ数 : NT
T内のパッチQとS内のパッチPがどれだけ似ているのか
一貫性
双方向類似度（相違度）
• 距離Dの算出方法はいくつかある
- SSD(Sum of Squared Distance)を用いる
- CIE-L*a*b*を用いてパッチのサイズで正規化をする
• 用途によって重みをつける
• ガウシアンピラミッドを利用
- マルチスケールで類似度を算出
完全性と一貫性
• 完全性や一貫性は単独では意味がない
要約アルゴリズム
• d(S, T)を最適化する→d(S, T)を最小化
• 出力Tのピクセルの色をどうやって更新するのか
Source (S)
Target (T)
更新ルール
• d(S, T)への各ピクセルの色の寄与を考える
相違度d(S, T)へのピクセルq⊂Tの色の寄与:
この式を最小とする出力画素T(q)を算出する
データのリサイズ時の問題
• 元データと目標データの差が大きい
- 元データのアピアランスが大きく異なる
- 元データの大部分がなくなってしまう
Source (S)
Target (T)
？
段階的なリサイズ処理
画像の要約
• 段階的リサイズによる要約
- T0〜T5までは元画像の情報を多く含んでいる
- T6〜T8では元画像の情報が失われている
相違度d(S, T)はT6から急激に変化
相違度d(S, T)よりリサイズ処理の最適値を算出可能
画像の要約
• 画像中の冗長なパターンを利用
- パターンを利用しないと歪んでしまう
双方向類似度を利用したアプリーション
• 画像の合成
• オブジェクトの入れ替え
双方向類似度を利用したアプリケーション
• ビデオの要約
• 自動トリミング
双方向類似度を利用したアプリケーション
• コンテキストを用いた要約
- 画像中の重要な箇所に重みを導入
- オブジェクトの削除も可能
おわりに
• 双方向類似度を用いた画像の要約
- 入力データからの完全性と一貫性を保持した要約
- 様々なアプリケーションへの展開が可能
- 画像だけでなく映像の要約も可能