Transcript WEBカメラを用いた対話時における視線不一致問題の解決手法の提案

move B3 rossi
親 takahiro

Webカメラを使用したビデオ通話の際に発生す
る、お互いの視線が一致しない問題（視線不一
致問題）に対して、特殊な装置を必要としない
解決手法を提案する

インターネットの高速化によるビデオチャットの誕生

視線不一致問題の発生

コミュニケーションをとる上で、  現状のコミュニケーション
ツール(Skype等)では、左記の
視線は重要な機能（役割）を
持っている
視線機能が欠如している
Monitoring（観察）
相手の目を観察して、会話を
続けるべきか判断する機能

既存の研究では、専用の装置
を別に設ける必要がある
Regulation（調整）
相手の目の動きを見て、話の
展開を調整する機能
Expressive（表現）
無言で感情を表現する機能
* Some Functions of Gaze-Direction in
Social Interaction
Kendon.A
1967 Acta Psychologica

マジックミラーの半透過
性を利用する手法
Bodelin technology製
「See Eye 2 Eye」

複数のカメラからの画像
を合成する手法
Ruigang Yang
Zhengyou Zhang
「Eye Gaze Correction With StereoVision for VideoTeleconferencing」
新規装置
の
必要性
出力画像の
歪み・ズレ
ハーフミラー
方式
必要
なし
ステレオカメ
ラ
による合成
必要
合成による大きな
ズレが発生
目的

特別な装置を設置しない
視線不一致問題の解決手
法の提案
機能用件
1.対話相手の目を見て話せる事
2.対話相手側からみて、ユーザがこ
ちらを見ていると感じる事
3．特別な装置を使わない事

以上の３点を同時に満たす事
キャリブレーション

顔の輪郭抽出／特徴点
（目）の抽出

俯角判定
 以下の二つで、顔の俯角
（下向きの角度）を判定
▪ ウィンドウの位置情報
（モニタより）
▪ 顔までの距離情報
（キャリブレーションより）

中心を合わせ、目を上方向に拡大する

黒目の位置を上にずらす

顔を中心に写真を台形に拡張する

各処理の角度や度合いは顔の俯角によって調整
ウェブカメラ
モニタ
（ユーザ側）
映像
輪郭・特徴点抽出機能 ウィンドウの位置情報
出力画像
俯角判定機能
俯角情報
輪郭・位置情報
補正機能
ウェブカメラ
モニタ
（ユーザ側）
映像
輪郭・特徴点抽出機能 ウィンドウの位置情報
出力画像
俯角判定機能
俯角情報
輪郭・位置情報
補正機能
ウェブカメラ
モニタ
（聞き手側）
映像
輪郭・特徴点抽出機能 ウィンドウの位置情報
出力画像
俯角判定機能
俯角情報
輪郭・位置情報
補正機能
1.相手（評価では自分の顔）
と視線が合っているか
2.機能なしに比べて自然な印象
を受けたか
3.導入は簡単だと思うか

以上の３点を複数人に体
験してもらって評価する

今期に関しては、レン
ダリング・処理速度等
は評価対象外とする

使用言語
 C、JAVA

使用マシン
 MacBookPro

使用カメラ
 i-site(マック付属のカメラ)

使用ライブラリ
 openCV

Webカメラを用いた対話時に生じる視線不一致
問題を解決する

顔の俯角を検出し、俯角に基づいて輪郭抽出・
特徴点抽出・画像補正を行い、視線を補正する

既設のWebカメラで利用できるようにする