Transcript 歩行者の移動支援を目的とした道路状況の リアルタイム情報配信とその

構造情報に基づく特徴量を用いた
グラフマッチングによる物体識別
情報工学科
藤吉研究室
EP02086 永橋知行
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
背景
• 屋外環境における移動体識別
– 照明条件の変化
– 物体の見え方の変化
• 不確定要素に不変な特徴量
– 物体形状を用いた特徴量
– テクスチャ情報を用いた特徴量
– 時間軸情報を用いた特徴量
→ 検出領域全体から得られる大局的な特徴量
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
目的
• 物体構造に基づく特徴量の提案
– 物体を構成する各構造ごとの特徴量の抽出
• グラフマッチングによる識別
– 構造間の情報を考慮したマッチング
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
手順
Step1. 物体領域への混合正規分布の当てはめ
Step2. ピクセルのクラスタリング
Step3. 物体構造モデルからの特徴量抽出
Step4. グラフの作成
Step5. グラフマッチングによる識別
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
混合正規分布
• 混合正規分布モデル
– 複数の正規分布の重み付き線形結合で表した確率分布モデル
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
混合正規分布による物体構造の表現法
1. 物体画像の座標
と輝度
の3次元に対し
混合正規分布を当てはめ
2. 混合正規分布を画像平面
へ投影し，
物体構造モデルを作成
3. DAEMアルゴリズムにより混合正規分布パラメータを推定
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
混合正規分布のパラメータ推定
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
混合正規分布の当てはめ結果
人複数
二輪車
自動車
人
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
ピクセルのクラスタリング
• 物体領域のピクセル単位でのクラスタリング
– 混合正規分布パラメータを使用
→ 各領域のエッジ強度を抽出可能
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
物体構造に基づく特徴量
• 物体構造モデルから得られる特徴量
– 正規分布の傾き
– 正規分布の縦横比
– x方向エッジ
– y方向エッジ
– 左上がりエッジ
– 右上がりエッジ
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
グラフによる特徴量の表現
• グラフ
– 頂点（ノード）と辺（アーク）により構成
• 物体構造モデルから得られる特徴量をグラフを用いて表現
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
グラフマッチングによる識別
• グラフ
と
間のマッチングコストを計算
• 各クラス毎のテンプレートグラフとのマッチングコストを
計算し，kNN法で識別
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
物体構造に基づく特徴量の評価実験
• 人，人複数，二輪車，自動車の4クラスへ識別
• 各クラス学習画像200枚，評価画像200枚
• 物体構造に基づいた特徴量と，領域全体から得られる
特徴量を比較
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
識別実験結果
領域全体から得られる特徴量での識別結果
物体構造に基づく特徴量での識別結果
→ 識別率が3.4%向上
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
構造情報を用いることにより成功した例
全体から得られる特徴量を用いた場合
→ 人と誤識別
二輪車
物体構造に基づく特徴量を用いた場合
→ 二輪車と識別
人
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
特徴量を併用した識別実験結果
領域全体から得られる特徴量での識別結果
2つの特徴量を併用した識別結果
→ 識別率が6.2%向上
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
まとめ
• 構造情報に基づく特徴量
– 混合正規分布を用いた物体構造に基づく特徴量抽出
– グラフを用いた特徴量の表現
• 物体構造に基づいたグラフマッチングによる物体識別
– 全体から得られる特徴量と組み合わせることにより
識別率が6.2%向上
• 今後の予定
– 識別能力の向上
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
背景除去
• フレーム間差分結果はノイズを含む
– 物体構造を正確に捉えることが困難
• グラフカットによるセグメンテーション
[Y. Boykov ICCV2001]
– 画像からグラフを作成し，最小カットを求めることにより
物体と背景を分割
– 物体，背景の seed (ヒント)が必要
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
グラフカットによる背景除去
1. 移動体検出結果を矩形で切り出す
2. 矩形の周囲をbackground seed，
座標と輝度値で階層的クラスタリングを行い各クラスの
重心をobject seedとして与える
3. グラフを作成し，最小カットを求める
object seed
background seed
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
EMアルゴリズム
1. 初期値
を設定
2. (Eステップ) 期待値の計算
3. (Mステップ) 最大化
4. パラメータが収束しなければ
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
として2. へ
DAEMアルゴリズム
DAEMアルゴリズム
[上田 信学論1997]
– 温度パラメータβを導入した
• 尤度空間を平滑化
– 初期値の依存性が低い
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
を用いる
ＥＭでの初期値依存性
→ 初期値依存性が高い
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別
ＤＡＥＭでの初期値依存性
構造情報に基づく特徴量を用いたグラフマッチングによる物体識別