Transcript A` B` - 慶應義塾大学 徳田研究室

ステレオカメラシステムを用いた歩行者
コンテキストのリアルタイム推定
慶應義塾大学 鈴木慧
背景
• 近年、ビデオカメラで撮影した映像から歩行者を
検知する研究が行われている
– ビデオカメラの普及や機械学習の進化
リアルタイムな異常検知に応用されている
問題
• 単なる異常検知ではなく，歩行者のコンテキ
ストのリアルタイム抽出は難しい
目的
• 歩行者コンテキストをリアルタイムに抽出する
– 街角の複数歩行者を監視し複数コンテキストを抽出
異常検知！
転んだ人がいます
運動領域注視型ステレオカメラシステム
• 中央大学梅田研究室で開発された3 次元的な移動
を検知可能なステレオカメラシステム
– 運動領域の特徴量を取得できる
• 距離，重心3次元座標，高さ，幅，タイムスタンプ，ラベル番号
本システムで利用する
アプローチ
• 運動領域注視型ステレオカメラシステムを用
いた歩行者コンテキストの抽出
– 歩行者の3次元的な移動情報に着目
– 歩行者の移動情報解析モデルとしてベイジアン
ネットを用いる
• カメラから取得する情報にはノイズが入りやすいが、
不確実な要因下でも妥当な推論を実行できる
システム要件
• 歩行者移動情報を時系列データとして解析
– スライドウィンドウ方式でステレオカメラからの情報を管理
• コンテキスト推定を実時間で行う
– イベントトリガ方式によるコンテキスト推定
• 転ぶコンテキストの場合、急にz座標値が下がったらイベントとし
て検出する
– 監視対象を絞る
• 仲間同士のグループは監視対象からはずす
– 監視対象を優先して推論
• コンテキスト推定用の優先度キューで実装
歩行者の移動情報に着目した歩行者コンテキス
トの分類
• 歩行者個人のコンテキスト
– 転ぶ
– 駆け足で走る
• 歩行者グループのコンテキスト
– 仲間同士
– 一時的な人だかり
今回は赤文字のコンテキストを取得した
プロトタイプの設計
Picture Data Flow
Data Client
Infer contexts
DataPreProcessor
Data Channel
Context Infer
Controller
row data
context
Model Manager
read, update
Bayesian Models
Context Observer
user feedback
Context Map
Viewer
Context List
Viewer
user input
Bayesian Network
Engine
コンテキスト推定の流れ
• 仲間同士グループを推定する例
スライドウィンドウバッファ
A: 速度ベクトルの類似度
B: 距離の平均
C: ベクトルの挟角の平均
イベント検出スレッド
（距離が一定化になるとトリガ）
ベイズモデルへの変数入力
コンテキスト推定スレッド
（検出されたイベントに対応した
コンテキストを推定）
実装
• 実装環境
– Windows Vista
• 実装言語
– C++
– JNI経由でJava
• 使用ライブラリ
– GUI: QT4 Library
• コード数
– 4000行
ベイズモデル例
• 仲間グループコンテクスト
仲間グループ
(True,False)
A: 速度ベクトルの類似度
B: 距離
C: ベクトルの挟角
C’’
C’
C
B’’
B’
A’’
A’
B
A
高い
低い
実験
• 概要
– 転ぶ、仲間同士コンテキストを2
人の歩行者について抽出
• 実験環境
– 屋外での実験
– 動作環境
• CPU: Core2Duo
E6850(2.6GHz 2 core)
• OS: Windows Vista
z
50度°
8.3m
y
実験結果
• 平均CPU使用率 5%
– ステレオカメラシステムのデータレート
7times/sec
• イベント検知モデルを用いたため低いCPU使
用率で済んだ
予備実験
• コンテキスト同時推定数 2
– 平均40msec， CPU使用率100%
• コンテキスト同時推定数 4
– 平均160msec 最悪200msec, CPU使用率
100%
まとめ
• ステレオカメラシステムを用いた歩行者コンテ
キストのリアルタイム抽出を行った
• プロトタイプ実装し、実験を行い有効性を確認
した