Transcript 青木研究室自主ゼミ 第1回(p10-)

高度情報演習1A “テーマＣ”
実践 画像処理プログラミング
〜画像認識とＣＧによる画像生成〜
第四回 演習課題
画像中からの物体抽出処理（背景情報を手がかりとして）
芝浦工業大学 工学部 情報工学科
青木 義満
2006/05/15
基本的な画像処理の流れ
画像入力
画像入出力
画像データ参照，書き換え
前処理
特徴抽出
計測・検出・分類
時系列画像処理
背景情報，色による物体抽出
ラベリング
パターンと図形の検出
パターン認識
必要に応じて処理結果を画像生成により提示！
講義内容（6回）






画像処理とは？ 画像データの構成，画像の入出力演習
画像処理プログラミング基礎（フィルタの設計と実装）
カラー画像入出力，色抽出，ラベリング
連続画像処理，背景差分による物体抽出，物体特徴量計算
CGプログラミング基礎
ＣＧによる軌跡再現，画像生成
ラベリング


領域（塊）ごとにラベル（番号）を付けて区別
白画素の連結性から，塊を判定, 番号付け
image1[y][x]
二値化したppm画像
labeling_table[y][x]
背景は０
int label_area[0]：９
exec_labeling()
QuickTimeý Dz
TIFFÅià•
èkǻǵÅj êLí£ÉvÉçÉOÉâÉÄ
ǙDZÇÃÉsÉNÉ`ÉÉǾå©ÇÈǞǽDžÇÕïKóvÇ­Ç•
ÅB
int label_area[1]：3
label_sum : ラベル総数（この場合３）
動画像処理



時系列の連続画像が利用可能
主な目的は，動画中からの対象抽出と動きの追跡
主な手法
 背景差分法，フレーム間差分
 オプティカルフロー
 色による動物体追跡
差分画像

連続する画像間で，対応する画素間の差分を計算
 移動物体検出，カット検出
（単純な）背景差分法

手順




あらかじめ背景画像を取得
各時刻における画像と背景画像の差分をとる
２値化
ノイズ除去
移動物体存在領域のみを抽出
単純背景差分法の適用例

背景の時間的変動，画素値のゆらぎに対する対応に課題
フレーム間差分法


背景画像を用意できないケース
連続する３枚の画像間の差分を利用
フレーム間差分法の適用例
統計的背景差分法

単純背景差分法の課題
 背景が時間的に変動（屋外，樹木のゆらぎなど）

統計的背景差分法
 画素値の定常的な変動を考慮して統計的に背景と
移動物体を分離
 特に屋外（監視，ＩＴＳ）での移動体検出に多く適用


統計的背景差分法（１）




背景に属する画素のクラス：ωo
移動物体に属する画素のクラス： ω1
ある画素の画素値Iの時，その画素がωoに属する確率：p(ωo | I)
ある画素の画素値Iの時，その画素がωoに属する確率： p(ω1 | I)
ベイズの定理より，
p(o )p(I o 
p(o I 
p(I)
p(1)p(I 1
p(1 I 
p(I)
背景画像の画素値の確率密度関数
p(I o  
q(I)
255
q(I)
I0
移動物体の画素値の確率密度関数

※p(ωo):その画素が背景である事前確率
※p(ω1):その画素が移動物体である事前確率
サンプルを学習することで得られる
1
p(I 1 
256

統計的背景差分法（２）

画素値Iを観測
p(ωo | I) ＞ p(ω1 | I) → 背景
 p(ωo | I) ＞ p(ω1 | I) → 移動物体

p(o I p(o )p(I o 

p(1 I p(1)p(I 1
p(o I p(I o 

p(1 I p(I 1

統計的背景差分法の適用例



750フレームの画像で背景を学習
画素毎にヒストグラム作成，各画素値の生起確率計算
統計的背景差分法適用
オプティカルフロー（１）

ブロックマッチング法
 テンプレートマッチングによる類似領域探索
 類似度評価：SAD,
SSDなど
大きな動きに対応可能
↓
探索範囲広く，処理時間大
オプティカルフロー（２）

勾配法
 微小時間間隔で対応する画素値の値が等しいと仮定
I(x,y,t)  I(x x,y y,t t)
I
I
I
I(x,y,t)  I(x,y,t)  x  y  t
x
y
t

I x I y I

 0
x t y t t


Ix u  Iyv  It  0

求めたい移動ベクトル
x y 
(u,v)   , 
t t 
オプティカルフロー拘束式

注目画素近傍での動きが滑らかと仮定
注目画素と近傍画素で同一のフローとする
 複数の拘束式

最小二乗法により（u, v）を推定

特徴
局所演算 → 高速処理
 微小な移動量を前提 → 大きな動きへの対応が困難

オプティカルフローによる移動体検出例
オプティカルフロー抽出の結果（動画）

Stanford Univ.の研究グループの動画
QuickTimeý Dz
ÉVÉlÉpÉbÉN êLí£ÉvÉçÉOÉâÉÄ
ǙDZÇÃÉsÉNÉ`ÉÉǾå©ÇÈǞǽDžÇÕïKóvÇ­Ç•
ÅB
オプティカルフローによるカメラのモーション推定