Transcript ステレオカメラを用いた歩行者の行動解析

ステレオカメラを用いた歩行者の行動解析
ステレオカメラを用いた歩行者の行動解析
ステレオカメラシステム
歩行者の物理センシング
・複数人の3 次元空間的な移動検知
・多人数の群れの人数計測
歩行者の行動解析システム
高次コンテクストのリアルタイム抽出
・歩行者の単純行動取得
・異常行動の推定
Point Grey
Research
Bumblebee2
プロジェクトのゴール
• 歩行者の単純行動と異常行動のリアルタイム検知
入力ステレオカメラデータ
t -Δt秒
t秒
単純行動
t +Δt秒
歩行者(群)3次元運動データ
• 3次元座標値
• 歩行者速度
• 距離データ平均, 等
個人、群
歩く
走る
停止
うろつく
座る
群のみ
偶発的な群れ
知り合い同士
異常行動
通常時から
外れた行動
• 歩行者行動の可視化
より具体的
な異常行動
倒れこむ
長時間うろつく
既存研究との差分
具体的な異常行動の検知
ターゲット領域
産総研 人およびその動作の自動認識
東京大学
マルチセンサを用いた
群集の行動認識
歩行者単体
歩行者群
ミネソタ大学
Detection of Unusual
Crowd Activity
異常行動の不検知
ATR: A social robot
that anticipates…
既存研究との差分は
1．歩行者群に対応した具体的な異常行動の検知
2．高さ方向を考慮したコンテクストの取得（転ぶ、柵の乗り越えなど）
歩行者行動の多段推論機構
Stereo Camera System
前段の処理
Primitive Activity
Recognition
Trajectory
Matching
Abnormal Situation
Detection
歩行者単純行動の認識
・歩く、走る、うろつくなど
歩行者経路の推定
異常状態の検出
後段の処理
Concrete Abnormal
Situation Estimation
具体的な異常状態の推定
多段推論の利点
異常行動を取る対象に絞った詳細推定が可能
・監視対象を設定可能
・多人数が存在する環境でリアルタイムに動作
前段： 歩行者の流れを考慮した行動認識
歩行経路と異常行動の検知
実験シーン
屋内実験
取得データ数100
DP-Matchingで歩行者の流れから
外れた行動を検知
（k-meansにより歩行経路を事前学習）
異常行動として検知、後段部に詳細推定を
ディスパッチする
歩行者経路の分類結果(4方向に分類）
単純行動の検知
歩行速度と歩行タイプから学習済み
SVMにより検知
歩行経路による歩行タイプ判別 (5x5 vector)
通りすぎる人
うろつく人
評価データグラフ
後段： 詳細な異常行動推定
• TDBN
t-Δt秒前の
状態変数
t秒での
状態変数
転倒実験の様子
t+Δt秒後の
状態変数
t+Δt２秒後の
状態変数
• 評価データグラフ
適応例：転倒の検出
t-1秒前
t秒
t+1秒後
t+10秒後
まとめと今後の課題
• 歩行者行動を可視化し、異常行動検知機構
を実装した
– TDBNによる具体的な異常行動推定
• 今後の課題