Transcript ステレオカメラを用いた歩行者の行動解析 ステレオカメラを用いた歩行者

ステレオカメラを用いた歩行者の行動解析
ステレオカメラを用いた歩行者の行動解析
ステレオカメラシステム
歩行者の物理センシング
・複数人の3 次元空間的な移動検知
・多人数の群れの人数計測
歩行者の行動解析システム
歩行者高次コンテクストのリアルタイム抽出
・単純行動取得
・異常行動の推定
Point Grey
Research
Bumblebee2
プロジェクトのゴール
• 歩行者・群の異常行動をリアルタイム検知
– 歩行者の異常行動例
• 倒れこむ、長時間うろつく
– 群の異常行動例
• もみあう、一斉に逃げ出す
• 歩行者行動の可視化
既存研究との差分
具体的な異常行動の検知
ターゲット領域
産総研 人およびその動作の自動認識
東京大学
マルチセンサを用いた
群集の行動認識
歩行者単体
歩行者群
ミネソタ大学
Detection of Unusual
Crowd Activity
異常行動の不検知
ATR: A social robot
that anticipates…
既存研究との差分は
1．歩行者群に対応した具体的な異常行動の検知
2．高さ方向を考慮したコンテクストの取得（転ぶ、柵の乗り越えなど）
歩行者行動と群行動の定義
歩行者個人の行動
群の行動
単純な歩行者個人の行動
・歩行者個人の移動スピード、移動方向、
位置などから推定可能
（歩く、走る、止まる、うろつくなど）
単純な群行動
・歩行者間や複数歩行者の個人行動の
集積から判断する
（同方向に歩く、全員が止まるなど）
時間変化を考慮した歩行者個人の行動
・不審者： 長時間うろうろする
時間変化考慮した群行動
・群衆の逃走： 複数人が急に走り出す
d
群になる条件
d 
1
M
V
Vは歩行者密度
Mは定数
2人以上の歩行者の集まりを群とする
※本研究では街中を想定した歩行者行動を対象とする
ダンスやジェスチャーなどを対象としない
歩行者行動の多段推論機構
前段の処理
Pedestrian Trajectory
Data
Pedestrian Set = ｛Ps0, Ps1, … PsN｝
Psi = <位置, 速度ベクトル, 人数>
Primitive Activity
Recognition
Trajectory
Matching
歩行者単純行動の認識
･速度、方向（8方向に分類）
･歩く、走る、うろつくなど
イベント検知
・歩行者経路から外れた人の
検知
･単純行動の変化（走り出すなど）
Event Detection
use these data
Psi = <位置, 速度ベクトル, 人数, Primitive Activity>
後段の処理
具体的な異常状態の推定
多段推論の利点
Concrete Abnormal
Situation Estimation
対象を絞った詳細推定が可能
・監視対象を設定可能
・多人数が存在する環境でリアルタイムに動作
前段： 単純行動の認識とイベント検知
単純行動の認識（歩く走るなど）
歩行速度と歩行タイプから学習済み
SVMにより検知
歩行経路による歩行タイプ判別 (5x5 vector)
通りすぎる人
うろつく人
イベント検知
（例：歩行者経路から外れた歩行者）
DP-Matchingで歩行者経路から
外れた行動を検知 (50cmグリット)
（k-meansにより歩行経路を事前学習）
監視対象として後段部に詳細推定をディス
パッチする
実験シーン（屋内実験（取得データ数100）
単純行動の検出精度
10frame/sec
1
0.9
0.8
歩行者単体
2人の群
0.7
0.6
0.5
ー
ン
Uタ
り
曲
が
左
り
曲
が
右
つ
く
うろ
る
ま
る
止
歩行者経路の分類結果(3方向に分類）
走
歩
く
0.4
後段： 詳細な異常行動推定
Timed Dynamic Bayesian Network の提案
(時間長をモデル化可能なDBN)
1.歩行者・群の異常行動のモデリングに
は時系列データを扱う必要がある
2.記述性の高いモデル記述形式
・ベイジアンネットワークは視認性
の高いモデル
・単純なHMMよりも記述性が高い
転倒後起き上がってこないシーン
t-1秒前
t秒
t+1秒後
t+10秒後
BNでは時系列状態をうまく表現できない
DBNでは時間長を表現できない
TDBNで表現できる歩行者コンテクストの例
1.長時間うろついている人物を不審人物とする
2.転んだ後、すぐに起き上がってこない人にのみ
助けを呼ぶ
時間変化および時間長を記述可能
t-Δt秒前の
状態変数
t秒での
状態変数
t+Δt秒後の
状態変数
t+Δt２秒後の
状態変数
長時間倒れこんだ人にのみアラート出すモデル
まとめと今後の課題
• 歩行者行動を可視化し、異常行動検知機構
を実装した
– 多段推論による監視対象の絞込み
– TDBNによる具体的な異常行動推定
– キャンパス内での検証実験を行った
(データ数200)
• 次年度の課題
– 多人数による実験、評価
– 屋外環境における実験、評価