Transcript 視線の動きを利用した ブラウザコントローラー

視線の動きを利用した
ブラウザコントローラー
画像処理学講座
s1160224 矢吹遼介
指導教員 矢口勇一助教
研究背景

視線の動きを認識
◦ 虹彩カメラ
◦ 赤外線カメラ
◦ センサーを複数台使用
→装置が高額なものや、大掛かりである。
５つの赤外線センサー
ドライバーの視線認識デバイス
研究背景
•
パソコンやタブレットPCに標準装備されて
いるフロントカメラやWebカメラなどの簡
易な装置で視線の動きを認識
関連研究
•
画像処理による視線検出アルゴリズムの開発
• ヘルメットに小型カメラを装着し比較的近距離から
黒目検出を行っている。(熊本大学 2002年)
•
眼球運動の検出による受講者観察システム
• 被験者をビデオカメラで撮影し、撮影後に画像処理を
行い眼球運動の検出を行っている。(愛媛大学2003年)
•
顔動画像からの特異点抽出を用いた表情認識
• 画像処理による顔のパーツの抽出方法を参考にした
論文(岐阜大学大学院 2005年)
関連研究
•
Senseye
– Eye control for mobile device project
・Webカメラと赤外線を使用したモバイルコントローラー
デバイスの開発 (コペンハーゲン大学)
本研究の目標

Webカメラのみで動作
◦ 他のデバイスを別途必要としない

一般背景での動作
◦ 実験環境は研究室
研究の問題点
•
Webカメラの情報からどのようにして目の位置
を特定するか。
黒目の動きをどのように取得するか。
• 黒目の動きから上下左右どこを見ているのか
特定できるのか。
•
•
タブレットPCになどの非力なデバイスで上記
の処理をリアルタイムで行えるか。
研究手法
Webカメラから
動画像を取得
顔領域の
特定
黒目の動きを
分析
肌色領域の
抽出
RGB to
YCrCb
目領域の
特定
黒目の動きに応じて
端末を操作
黒目の
特定
1.RGB to YCrCB
•YCrCb形式は輝度信号:Yと色差信号:(Cr,Cb)で
表現する色空間
•輝度を取り扱うことができる。
•目の色である、白と黒をYCrCb:(X,128,128)で表
現できる。
黒:(0,128,128),白:(255,128,128)
RGB to YCrCb の変換式
肌色を抽出→顔を特定
•108 ≦ Cr ≦ 128,108 ≦ Cb ≦ 128 の範囲内を肌
色とし、２値化を行う- ①
•最適化を行い面積が最大の場所を顔とする。
-②,③
②
①
③
目の領域の特定-方法1
•顔の領域内から 118 ≦ Cr ≦ 138, 118 ≦ Cb ≦ 138
•の値で2値化を行う -①
•顔の中心座標から各要素への中心距離、各要素
の面積の大きさから 目の位置を特定 -②
①
②
目の領域の特定-方法1

ノイズが入りやすい
◦ 眉毛、もみあげ、鼻の影など
◦ 顔の中心から各ラベル間の角度を特定条
件に加える → あまり効果がない

人によって条件が異なる
◦ 目の大きさ、中心からの距離など

目を閉じたときに検出できない
目の領域の特定-方法２

検出器を利用した目の抽出
◦ 特定のオブジェクト(顔、目、耳、など)
を抽
出するためのもの
◦ Adaboostという学習アルゴリズム
 弱い識別器をたくさんつなげることで高い検出器に

目を閉じていても目を検出可能

両目用の検出器を使用
◦ 右目、左目用は誤検出が多いため
目領域の抽出
◦ 方法2が方法１に比べて精度が高い
◦ 検出器を用いることで汎用性が高い
↓
方法２を採用
黒目の抽出
・目の部分を切り出す
(処理をしやすくするため)
↓
・2値化し、黒い部分を黒目とする
黒目とする値の範囲
0 ≤ Y ≤80
118 ≤ Cr ≤ 138
118 ≤ Cb ≤ 138
YCrCb形式での黒
Y: 0
Cr:128
Cb:128
視線解析-方法１

黒目を利用した視線解析
◦ 黒目の範囲内で黒の頻度を調べる。
視線解析-方法１
(a) looking left
視線解析-方法１
a) looking left (left eye)
b) looking left (right eye)
視線解析-方法１
結果
視線解析-方法１
(a) looking left
視線解析-方法１
a) looking right (left eye)
b) looking right (right eye)
視線解析-方法１
結果
視線解析-方法１
視線解析-方法１
a) looking right (left eye)
b) looking right (right eye)
視線解析-方法１
結果
視線解析-方法1

左右のどちらを向いているか
◦ 左右の目のそれぞれの状態から程度も判断
 右目(中), 左目(右) → 右(小)
 右目(左), 左目(左) → 左(大)

上下の判断は難しい
◦ 上向きは判断できるが、下向きは難しい
→上瞼がさがり、黒目が取得できない。
視線解析-方法2

白目を利用した視線解析
◦ 目の領域を4または、9分割して面積を比較
視線解析-方法2
面積が大きい→ 上向き
 面積が小さい→ 下向き or 目を閉じてる

視線解析

方法１、方法２を併用して利用
◦ 方法１
 どの程度の動きで左右を見ていると判断するか
◦ 方法２
 どの程度の面積で目をとじているとするか
今後の予定

年内
◦ すべての機能の実装を終える
◦ 異常系対応のコードを追加

年明け
◦ 論文執筆
◦ 複数人に使用してもらい細かい修正
最後に
ご清聴ありがとう
ございました。
Original
YCbCr