Transcript Learning Appearance in Virtual Scenarios for Pedestrian Detection

Learning Appearance in Virtual Scenarios
for Pedestrian Detection
草富 省吾
はじめに
• Javier Marin, David Vazquezらによって提案[CVPR2010]
• なにをするものなのか
– 3Dモデルから学習サンプルを生成
• どのように
– Virtual world に Virtual Pedestrian を配置
– 配置された Virtual Pedestrian を学習サンプルとして収集
– 収集された学習サンプルから識別器を構築
手法の流れ
手法の流れ
データベース
• Real image
– Daimler dataset
• Virtual image
– Virtual dataset
Daimler dataset
• 歩行者検出のためのデータセット
Daimler dataset
データベース
• Real image
– Daimler dataset
• Virtual image
– Virtual dataset
Virtual dataset
1. Virtual world
2. Virtual camera
3. Virtual Pedestrian
Virtual world
• Half-Life 2（First Person Shooter game）
–
–
–
–
modという拡張機能を利用
建物，車，人などのオブジェクトを配置
仮想的な世界を構築
物理法則に従う
Virtual camera
• 車載カメラ視点
• 解像度 : 640 x 480
Virtual pedestrian
• Half-Life 2の18人のモデルと19セットの服の組み合
わせを使用
• groundtruthは自動で得られる
生成された歩行者画像
生成された背景画像
実験
• HOG特徴量と線形SVM識別器を用いる
• ブートストラップを用いて学習サンプル追加
• Daimlerのデータセットで学習した場合と比較
– 入力はDaimler dataset, PASCAL dataset
Training Set
Cropped pedestrians &
Background frames
Training process
1 round:cropped pedestrians /
cropped background & Bootstrapping:
additional cropped Background
Daimler
15660 & 6744
15660 / 15660 & 15660
Virtual
3200 & 2049
3200 / 15660 & 15660
st
Testing sets
Full set : 21790 frames
Mandatory set : 974 frames
結果
• Daimler datasetと同精度
DC = Daimler criteria
PC = PASCAL criteria
切り出しの手間を省きながら，従来のデータセットと同性能
検出結果
まとめ
• 生成モデルを用いた検出は有効
• 色々な見えの人を学習することが可能
– 階段を登る人
– 坂を下る人
実環境に近い学習サンプルを収集することができる
Author
Javier Marin
David Vazquez
Antonio M. Lopez
David Geronimo
Half-Life 2
• Valve softwareによって開発
• 400万本の売り上げ
– 2004年：Windows版発売
– 2008年：Xbox360版発売
– 2010年：Mac OS X版発売
• 物理エンジン
– Source Engine