Transcript コンピュータビジョンとその応用（2） - 情報生体システム工学科

コンピュータビジョンとその応用（２）
～ 画像監視・移動ロボット
鹿児島大学大学院 理工学研究科
渡邊 睦
[email protected]
渡邊研究室研究内容：
３次元・動画像処理・認識技術







3次元物体認識
動画像処理・認識
統計的画像パターン認識
並列協調分散画像認識
（親和的情報空間の構築）
移動ロボット視覚認識
福祉応用ビジョンシステム
画像監視ビジョンシステム
・・・
渡邊研究室：
http://www.ics.kagoshima-u.ac.jp/~fics/
親和的情報空間とは
Friendly Ｉｎｆｏｒｍａｔｉｖｅ Ｃｙｂｅｒ Ｓｐａｃｅ（ＦＩＣＳ）
人間（群）とコンピュータ（群）が
自然・自在にコミュニケーションできる環境
（物理空間，情報空間，認知空間のシームレスな結合）




身近・手軽・リアルタイム・完全非拘束
ロバスト（環境変動，照度変化，有限視野，・・）
エージェントベース
～状況に応じた発現（隠身・気付き・気配り）
学習・進化発展
関連研究

Forest of Sensors
～ MIT・AI Lab / E.Grimson
& INRIA / O.D.Faugeras
複数物体の移動状態追跡による屋外監視

Smart Room ～ MIT Media Lab./ A.Pentland et al.
“Perceptual intelligence”を持ったアシスタント（ＡＬＩＶＥ）

ロボティック・ルーム
～ 東大先端研 / 佐藤（知）
インテリジェントな病室の実現

Human Reader
～ ATR・知能映像通信研 / 間瀬
ビジョンベース・マンマシンインタフェースの実現

就寝状態自動モニタリングシステム ～ 東芝・渡邊ら / 愛媛大・石原ら
夜間無呼吸症の自動監視（福祉用途）の実現結合されたコンピュータ
親和的情報空間構築の意義
 少子化・高齢化社会の進行
～ ２０２０年には４人に一人が高齢者（６５歳以上）
痴呆者 現在１８０万人 ⇒ 数年後３００万人へ
 効率重視型（省力・自動化）⇒人間中心型
～ ＣＶ・ＰＲ キラーターゲットの変遷
⇒能（脳）力補完・補助 ｖｓ 脳機能・日常活動の阻害

次世代研究テーマの発掘
～ 分散並列ＡＩ，4次元（3次元＋動画像処理）ビジョン，
感性情報処理・認識，意識の解明・人工意識の実現
屋外： 信号機の適応的制御，迷子用道案内，・・
親和的情報空間のイメージ１（自動ドア）
移動中の人物を追跡
ドアの傍に所在
人物がドアに向って接近したら開く
動画像処理： 計測⇒利便性向上
親和的情報空間のイメージ２（訪問者応接）
訪問者認識・
挨拶
訪問者の作業状態
（多忙・暇）に
応じた出現・消滅
訪問者の心理状態
に応じた応接
～
対話，
自律移動ロボット
によるサービス
現在目標： 分散協調視覚認識による
親和的情報空間の構築
物理的空間に配置された複数カメラの動画像入力
↓
自律エージェント群による分散並列視覚処理・認識
↓
人物の挙動，状態のリアルタイム認識
自律移動ロボットの視覚制御
対話型コミュニケーション
（CGアニメーション，音声）
～アフォーダンス付加
渡邊研究室の構成

Ｈ１６年度メンバー（１５名）


Ｄ３：
Ｄ１：
M２：
Ｍ１：
B4：

研究Ｇ



古賀由紀夫（休学中）
勝間大輔，福添孝明
片山明伯，西奈津子，山本大樹
伊藤雅人，下脇克友，中野広樹，矢野雅之，水戸大輔
清水大輔，竹井沙織，田中宏樹，堀之内あすか
★状況認識Ｇ： 福添，伊藤，水戸，田中，堀之内
★3D物体認識Ｇ： 勝間，矢野，竹井
★移動ロボットＧ： （古賀），片山，下脇，中野
★スポーツ映像解析Ｇ： 山本，清水
★福祉ビジョン： 西
研究目標（個別）










動画像シーンの実時間記述作成
シーン変化の実時間認識
移動人物実時間追跡
人物状況認識（当面：制約状況下）
実時間個人認証
3次元物体認識（当面：研究室内備品を対象）
環境認識（当面：研究室を対象）
移動ロボットと人間のインタラクション支援
映像解析による利便性向上（当面：スポーツ映像を対象）
意思疎通支援（当面：障害者・高齢者を対象）
複数移動物体追跡技術による
在席自動管理システムの構築
伊藤 雅人
学会発表：
伊藤，福添，水戸，田中，堀之内，渡邊，
“複数移動物体追跡技術による在席自動管理システムの構築”，
H16年電気関係学会九州支部連合大会講演論文集，
Vol.？？, pp.- (2004.9)
在席自動管理システムの処理内容
アクティブカメラを制御し人物の追跡、
着席判定を行いその着席位置の情報
をサーバに送る
人物の固有情報を検出時に取得し，
テンプレートマッチング技術を用いて追跡を行う
人物が着席したということを判断し、その時の
カメラの角度情報から着席位置を表示する
全体の処理の流れ
テンプレート取得領域
全てに変化があるか
N
Y
テンプレート取得 追跡開始
着席があるか
Y
サーバにカメラの追跡最後の
角度情報を送る
N
角度情報から着席位置を表示する
カメラが初期位置に戻る
実験条件1
左カメラ
右カメラ
実験室全景
左右カメラ位置
現在(2004.9)は部屋の４隅にアクティブカメラを設置
実験条件2
右カメラからの視野
左カメラからの視野
着席検出実験例（実験室３・原画像）
右カメラ
結果
サーバ
左カメラ
実験結果 （2004.2時点）
8人がそれぞれ8箇所の席の中から
ランダムに選んだ5箇所の席に着席する状況で，
合計40回の着席検出実験を実施
・追跡成功率（進入から着席直前まで） 85%（34/40回成功）
・着席判定率（進入から着席位置表示まで）70%（28/40回成功）
処理速度：
待機中 15FPS
追跡中 3～４FPS
分散協調視覚システムにおける
完全無拘束型人物認証システム
福添 孝明
学会発表：
福添，伊藤，水戸，渡邊，
“分散協調型人物認証方式の研究開発”，
第7回画像の認識・理解シンポジウム（MIRU2004)論文集，
Vol.1, pp.607-612 (2004.7)
概要
人物認証を制約的に実施できない環境において，
個人性を反映すると考えられる画像特徴を
複数同時取得し，
確率的手法にて統合判断することにより，
人物認証を行う手法の開発
適用例： 親和的情報空間化




研究室等の在室管理
講義における出席管理
コンビニ等における
利便性向上
CDショップの防犯
(株式会社Ｍｉｓｕｍｉ）
「鹿児島TLO情報交換
会」
番号
1
2
3
4
5
6
7
8
9
10
11
名前
古賀
勝間
福添
片山
西
山本
伊藤
下脇
中野
水戸
矢野
1
×
×
○
○
×
○
○
○
○
○
○
8
×
×
○
×
○
×
○
○
○
×
○
15
×
×
○
○
○
×
○
×
×
×
○
22
×
×
○
○
○
×
×
×
×
○
○
29
×
×
○
○
○
○
×
○
○
○
×
分散協調個人認証手法の概要
Aさん?Bさん?Cさん?
体型が細めなら
AさんかBさんだろう
な
顔が黒いな
ら
Bさんだろう
な
たぶんBさんだ！
身長が高いなら
BさんかCさんだろうな
提案手法の流れ
人物領域の取得
頭位置の取得
顔向き判定
人物特徴取得
統合判断
人物領域の取得1
背景画像
入力画像
人物領域の取得2
背景差分
人物領域の取得3
人物領域
頭位置の取得
顔向き判定
後
前
頭部明度ヒストグラム
人物特徴の取得
人物領域の幅と頭の幅
人物領域の高さと頭の幅
人物領域の縦横比
頭領域の明度分布
人物領域の面積と頭の幅
人物領域のエッジ量
体型
頭身
体型
髪・顔
体型
服の着こなし
現時点では，数値（１次元）化可能な特徴のみ利用
人物認証手法
１．ベイズ（ネットワーク）判別：
Ｐ 事後
（人物ｘ (k )）
特徴数
Ｐ
特徴ｉ 1
（特徴ｉ） Ｐ 条件付
（人物ｘ (k ) / 特徴ｉ）
事前
２．最大事後確率推定（MAP)法：
各時点tの判別結果 Max(k｛Ｐ
)
（人物ｘ (k )）｝
事後
３．多数決原理：
動画像系列において最大判別数を持つ人物を当該人物として認証
人物特徴の蓄積情報
2.0
2.1
1.9
2.3
2.2
2.1
2.2
2.1
1.9
人物特徴
時系列観測
人物特徴の蓄積情報
人物認証実験例（プログラム演習室）
最
大 大
事
後
確
率
値
（
多
数
決
）
を
有
す
る
小 人
物
実験結果（判別結果推移例）
50
45
40
35
People01
People02
People03
People04
People05
People06
People07
People08
People09
People10
25
20
15
10
5
0
1
4
7
10
13
16
19
22
25
28
31
34
37
40
43
46
49
52
55
58
61
64
67
70
73
76
79
82
85
88
91
94
97
100
103
106
109
112
115
Frequency
30
Frame
認証対象者：山本(People02)
10名による認識成功率
（2004.2時点）
実験室（人物特徴６つ） 80%
 実験室（人物特徴4つ） 70%
 実験室（人物特徴2つ） 50%

処理速度：15FPS，CPU使用率20%前後
動画像処理による
講義自動評価システムの研究
水戸 大輔
学会発表：
水戸，福添，伊藤，田中，堀之内，渡邊，
“動画像処理による講義自動評価システムの研究”，
H16年電気関係学会九州支部連合大会講演論文集，
Vol.？？, pp.- (2004.9)
背景 ～ＦＤと授業評価～

アンケートによる授業評価の問題点
・当該時間の指導内容を評価していない
・生徒の評価者としての信頼性
理想的なＦＤにはアンケートだけの判断でなく
さらに複眼的な講義状況の把握の必要性
研究目的
講義をテーマに受講者の状態
を把握するシステムの開発
遠隔授業や授業評価
システムの発展へ
処理の流れ



座席領域の設定（手動）
ターゲットの着席判定
ヒストグラムを用いた「正面顔」パターンの学習
ヒストグラム解析による顔向き判別
時系列変化の解析による動作認識
顔向き判定＋ターゲットのアクティブ判定
による統合判断
⇒集中度をリアルタイム表示
講義自動評価実験の様子
講義評価時の状態認識
動き
大
小
ACTIVE ACTIVE
顔 前
向
き それ以外 状態未知 Non-ACTIVE
実験環境
鹿児島大学情報工学科棟
72号講義室
 実験講義
人工知能基礎(渡邊)
 実験対象者 ３年生 １２名(１７名中)

実験場所
PPTによる講義のため消灯する⇒ 居眠りなどが発生
実験の様子－１
上段： 動き認識結果
下段： 顔向き認識結果
実験の様子－２
上段： 動き認識結果
下段： 顔向き認識結果
処理速度：
８ＦＰＳ
講義自動評価実験 まとめ
総合結果
ACTIVE
Non-ACTIVE
34%
状態未知
17%
34%
54%
26%
12%
55%
40%
28%
自律移動ロボットにおける
人物追跡の研究
中野 広樹
学会発表：
中野，下脇，片山，渡邊，
“カルマンフィルタを用いた人物位置予測に基づく
自律移動ロボットの人物追跡システム”，
第22回日本ロボット学会学術講演会論文集，
Vol.？？, pp.- (2004.9)
目 的

移動ロボットから送信される動画像を
解析することにより，
人物の足領域を検出・位置特定し、
実時間で追跡を行うシステムの開発
背 景

自律移動型ロボットの用途の広がり

介護・活動支援
（例）盲導犬ロボット，知的車椅子

日常生活支援
（例）掃除機ロボット，スーパー自動買物カート

教育・アミューズメント支援
（例）ペットロボット，自動運転シミュレータ
今回提案するシステム
初回検出時
背景差分による処理領域内への人物の進入を検出
人物追跡時
エッジ検出処理を行い、この結果に対して
カルマンフィルタによる一期先予測を行い、人物の場所を推定
（繰り返し）
上記で推定した人物の存在方向にロボットが移動
人物検出（背景差分）
【システム1番目の処理】

背景差分を用いて人物の処理領域内への進入を検知

X・Y軸方向の累積投射のピークを検出することにより，
人物の下端（足元）座標を決定

このエッジ周辺の色相ヒストグラム
パターンを学習
人物位置予測・位置特定
【システム２番目の処理】
一期前の画面上での人物の位置・速度
の情報をカルマンフィルタに入力し、
現時点の到達位置を予測
↓
上記の予測位置周辺の領域を設定し，
この領域に含まれるエッジを探索
↓
領域中で最下端位置にあるエッジを
人物の下端（足元）候補として選出
↓
このエッジ周辺の色相情報を取得し，
最初に学習したヒストグラムパターンと
比較することにより検証
カルマンフィルタ
確からしい予測値を時系列的に求めるためのフィルタ
 一期先予測
 フィルタリング
人物位置の観測値と予測値との
誤差を比較し、統計学的に現在
位置を修正

ˆ t  Xt  K t Zt  HXt
X
1
ˆ
Kt  Pt HRt

1
t
Pˆ t  P  H R H
T
1
t

1

ˆt
Xt 1  FX
Pt 1  FPˆ t FT  Qt
この修正・予測を繰り返す
ことで、次第に、予測式は
最適な形に収束
カルマンフィルタの設定

今回は下記のように設定
Xt  X t
T

Xt 
 1 t 
 1 0
 H  

F  
0 1 
 0 1
X t  X t 1

Xt 
t
ˆ 0 X
ˆ0  P
X
P
0
0
ロボットの移動
【システム３番目の処理】


画面内での座標より，人物の下端までの3次元距離、方向を算出
計算後、下記のように速度を設定し，
人物の存在予測方向に向けて移動制御
移動ロボットによるターゲット追跡時の速度の設定
VR  V  V
VL  V  V
V  KV LT
V  KtT  KtDT
V
Lt
Θt
見失った場合の処理
違う状態が続くようであれば
足元周辺の色相ヒストグラム
初回学習パターンとの
(正規化済み)
↓
類似性判定
ロボット停止
↓
背景差分処理へ
ロボット追跡再開
処理速度：
８～９FPS
実験環境・通信システム
◇ 計算機のスペック
CPU / P4-2.6GHz memory / 1G
開発言語/ Microsoft Visual C++ .NET
キャプチャ / Matrox METEOR-Ⅱ
映像信号(有線)
OS / Windows XP
ロボット制御信号
(無線シリアル通信)
TELSTAR TR-801C
映像信号(無線)
ロボット / Pioneer3-DX8
カメラ / 約25万画素相当のカメラ
実験結果１
【自律移動型ロボットによる人物追跡】
実験結果２
【人物追跡時の処理画面】
実験結果３
【追跡中に別な人物が現れた場合】
内部状態と外部への顕れとの関連付けをどうするか？
⇒ 脳波解析の利用
今後：人物状態自動認識研究の目標
人物の内面状態を，外部への顕れから
推定する技術を確立することにより，
完全無拘束状態における状態認識システムを実現


内部状態（認識対象候補）：
- 集中・居眠り
- 快・不快
- 注視・概観
利用可能な画像情報
- 姿勢： 身体伸び・伏せ・・・
- 動作： 手，首，身体全体，・・
- 表情： 顔部品の局所変形，目線，・・
実験計画中
画像記録
画像記録
脳波波形
モニタリング
呈示・作業内容：
・データ入力
・語学問題
・映画・ドラマ
・スポーツ映像
・ゲーム ～
特異キャラ出現
ご静聴ありがとうございました