Transcript ステレオカメラを用いた人の行動解析

異種センサを用いた人の行動検知
研究概要
研究の独自性
isi担当
高汐グループ成果
スライド到着待ち
yasu担当
ステレオカメラを用いた人の行動解析
研究概要
ステレオ画像解析による高次歩行者コンテクストの実時間解析
- 複数歩行者の3次元運動計測データから歩行者行動、
グループ行動、不穏な空気を抽出
- TDBN (Timed Dynamic Bayesian Net.) の導入
・過去の3次元運動計測データ(時系列データ)を考慮したベイズ
推論
- 多段推論機構の導入
前段：歩行者行動モデルの自動生成と異常検知
後段：異常状態の詳細推定
研究の独自性
・ 低設置コスト、低インストールコスト
- 単体ステレオカメラから推論
・ 3次元運動計測データに基づいた人（群）行動抽出
- 子供と大人の行動分類や転倒など高さ方向のデータが必要
な行動解析に適用可能
- 従来は2次元座標値のみから抽出
・ 個人行動だけでなく人群としての行動抽出
・ 過去の運動計測データを考慮した行動モデル
・ 監視対象人物（群）の選定と行動解析の2段推論
3次元運動データ出力
差分ステレオの基本アルゴリズム
Stereo Camera’s frame
Stereo camera system data
14 frame / sec
sliding window
Camera
前段：イベント抽出
7
（※ 後から送られてくるスライドに変更）
6
5
4
3
Turn right
後段：TDBN 実時間推論
Distance from camera (m)
歩行者（群）3次元運動データ
• 3次元速度
•速度ベクトル類似性
• 距離データ平均
• ベクトル挟角平均，等
2
1
0
1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70
-1
Time (sec)
x
y
z
ステレオカメラを用いた人の行動解析
研究概要
差分ステレオ技術を用いて、人の３次元空間的な移動を検知し、
不審者や不隠状況を抽出する
- 複数歩行者の3次元運動計測データから歩行者行動、
グループ行動、不穏な空気を抽出
- TDBN (Timed Dynamic Bayesian Net.) の導入
・過去の3次元運動計測データ(時系列データ)を考慮したベイズ
推論
- 多段推論機構の導入
前段：歩行者行動モデルの自動生成と異常検知
後段：異常状態の詳細推定
研究の独自性
・ 低設置コスト、低インストールコスト
- 単体ステレオカメラから推論
・ 3次元運動計測データに基づいた人（群）行動抽出
- 子供と大人の行動分類や転倒など高さ方向のデータが必要
な行動解析に適用可能
- 従来は2次元座標値のみから抽出
・ 個人行動だけでなく人群としての行動抽出
・ 過去の運動計測データを考慮した行動モデル
・ 監視対象人物（群）の選定と行動解析の2段推論
3次元運動データ出力
差分ステレオの基本アルゴリズム
Stereo Camera’s frame
Stereo camera system data
14 frame / sec
sliding window
Camera
前段：イベント抽出
7
（※ 後から送られてくるスライドに変更）
6
5
4
3
Turn right
後段：TDBN 実時間推論
Distance from camera (m)
歩行者（群）3次元運動データ
• 3次元速度
•速度ベクトル類似性
• 距離データ平均
• ベクトル挟角平均，等
2
1
0
1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70
-1
Time (sec)
x
y
z
秒
ステレオカメラを用いた人の行動解析
研究概要
研究の独自性
差分ステレオ技術を用いて、人の３次元空間的な移動を検知し、不
審者や不隠状況を抽出する．
・ 複数歩行者の３次元運動計測データから歩行者、グループ行動、
異常な行動を抽出
・ TDBN （Time Dynamic Bayesian Net） の導入
－ 過去の３次元運動計測データ（時系列）を考慮したベイズ推論
・ 多段推論機構の導入
－ 前段：歩行者行動の自動生成と異常検知
－ 後段：異常状態の詳細推定
差分ステレオによる3次元運動計測は、従来の2次元計測と異なり、子供と大人の行
動分類や転倒など高さ方向のデータを必要とする行動解析が可能である。
さらに、我々のシステムは、リアルタイムの3次元運動計測データ解析を実現してい
る。時間経過に伴うコンテクストの変化を考慮することで、より正確なコンテスト抽出を
可能としている。歩行者がしゃがみ込んだ場合、休憩を取っているのか、転倒してい
るのかある時間の状態から得られたデータだけで判別することは難しい。
人物の3次元運動計測
コンテキスト抽出のフロー
時系列ステレオカメラデータ
t -1秒
t秒
t +1秒
前段：イベント抽出
DP Matching（k-means method)
による異常行動パターン検出
歩行者(群)3次元運動データ
• 速度ベクトル類似性
• 距離データ平均
• ベクトル挟角平均，等
今年度の成果
後段：TDBN 実時間推論
① 人物の3次
元位置，幅，高
さを時系列で
計測
Time Dynamic Bayesian Net
過去の3次元運動計測データ（時系列）を考慮したベイズ推論
モ デルに記述された 時間
情報に応じてノードに変数
をセットし てベイズ 推論を
実行する
t-Δt 秒前の
状態変数
t秒での
状態変数
t+Δt 秒後の
状態変数
適応例：転倒の検出
t-1秒前
t秒
t+1秒後
② 影の除去に
成功