Transcript ~Lookie~ WEBカメラを用いた対話時における 視線不一致問題の解決

Move B3 rossi
親 takahiro

インターネットの高速化によるビデオチャットの誕生

視線不一致問題の発生

Webカメラを使用したビデオ通話の際に発生する、
お互いの視線が一致しない問題（視線不一致問題）
を解決する事

マジックミラーの半透過
性を利用する手法
Bodelin technology製
「See Eye 2 Eye」

複数のカメラからの画像
を合成する手法
Ruigang Yang
Zhengyou Zhang
「Eye Gaze Correction With StereoVision for VideoTeleconferencing」

問題意識
 既存の研究では特別な装置が必要であった．
 → 普及に至らなかった

Lookie の目的
 特別な装置なしで視線不一致問題を解決する
▪ 導入コストを低くして普及しやすくする
補正前
補正後
１ 顔領域の検出
 顔の位置と大きさを検出
２ 俯角の判定
 俯角（顔の上下方向）を判定
３ 映像の補正
 目の引き延ばしと写真の台形補正
Lookie system
映像
顔領域の検出
camera
顔領域の座標、大きさ
顔の映像
俯角の判定
俯角情報
monitor
画像の補正
補正後の映像
Lookie system
映像
顔領域の検出
camera
顔領域の座標、大きさ
顔の映像
俯角の判定
俯角情報
monitor
画像の補正
補正後の映像
顔の上下の角度
（見下ろす視線の方向と水平面がなす角度）

カメラ
５度
俯角（ふかく）

補正にあたって重要な要素

補正には必ず正確な俯角（上下方向の顔の角度）が
必要
（例）
カメラ
５度
静的に１５度補正すると・・・
カメラ
１０度
５度
Lookie
顔領域認識機能
映像
camera
顔領域の大きさ
距離判定機能
俯角判定機能
ウィンドウ位置
取得機能
画面の情報
ウィンドウの
位置情報
顔までの距離
俯角判定機能
monitor
顔の俯角
補正機構
補正映像
①ユーザーがカメラの前で上下に頭をふる
カメラ
②顔の縦幅(y)が最大になった時の顔を正面顔と判定
③正面顔の縦幅(y)と変化後の縦幅(y’)を比較
・同じ場所にいる限り、横幅(x)は変わらないため
y
下を向いた顔
y’
正面顔
（横幅は変わらない）
x
x
openCVの仕様上、正確な縦横比は取得できず
①右のような模様が５cm間隔で
印刷された紙を用意する
①
５cm
②
②右図のように折る
③
camera
③顔と並ぶ位置で持ち、カメラで撮影する

同じ大きさの物体は、見える大きさが
距離に反比例する
カメラから見える
大きさ
カメラ
b
a
俯角
θ
ウィンドウの位置（相手の目の位置）
a=カメラから画面上のウィンドウまでの距離
b=カメラから画面上のユーザーまでの距離
俯角＝90-atan(b/a)

本手法による俯角の精度を評価

横から撮影した頭部写真の俯角と比較


俯角の少ない画面上方は２〜７度程の誤差が発生
俯角の多い画面下方は１０度程に広がる （平均値）
90
88
86
84
82
rossi
kenz
80
78
naoki
takahiro
techi
76
uemuu
74
average
72

俯角判定アルゴリズムの改良
 俯角判定精度の向上

算出した俯角を用いた画像補正の評価
 画像補正手法の評価

画像補正の動画対応

視線不一致問題を解決する手法、lookieの提案を
行った

視線補正する上で必要となる、俯角判定の精度に重
点を置いて実装・評価を行った

平均して8度程の誤差が見られた

今後は俯角判定の精度向上と提案した画像補正法の
実装・評価を行う予定である