Transcript PTZカメラ
I4-07 遠隔カメラ映像のための 覗き込みインタフェース 山口光太, 渡辺義浩, 小室孝, 石川正俊 東京大学大学院情報理工学系研究科 概要 頭部位置を使って遠隔カメラの映像のPan/Tilt/Zoom (PTZ) を操作するインタフェース Wide Field of View (FOV) カメラあるいは機械式PTZカメ ラがあれば、あとは安価な平面ディスプレイとWebカメ ラで構成可能 ビデオチャットや遠隔会議、あるいはGoogle Street Viewのような固定視点映像に対して直感的なユーザ入 力を実現 システム構成 計測カメラ α (θ, φ ) (X, Y, Z ) 映像取得 カメラ ネットワーク ディスプレイ 遠隔カメラ 映像データをネットワークに流すカメラ。広い視 野角を持っていることが条件である。構成方法 は二種類： －機械式Pan/Tilt/Zoom (PTZ)カメラ －Wide Field of View (Wide FOV) カメラ ディスプレイ ごく一般的な平面ディスプレイを用いる。広視野 角映像の提示には他に没入型ディスプレイ[1] などがあるが、我々のシステムは安価なディス プレイハードウェアでの構成が可能 計測カメラ 顔の三次元位置 (X, Y, Z) を計測するための透 視投影カメラ。正確な計測にはステレオカメラ などの三次元計測機器が必要となるが、弱中 心射影モデルを使い、顔の大きさを仮定する ことで、単眼でも近似的に三次元位置を計測 可能。これによりWebカメラなど安価なカメラを 利用可 K Z f h 画像面 h f 物体面 O K Z 遠隔カメラ Wide FOVカメラ PTZカメラ ビデオチャットや遠隔会議など通信・表示 に機能性が要求される応用向け ネ ッ ト ワ ー ク 監視カメラなど単一の使用者のための応 用向け ネ ッ ト ワ ー ク Renderer 低レイテンシ Controller 高解像度 PTZ操作は全てユーザ側で処理できるため、操 作レイテンシが小さい 一対多通信 より狭い範囲の光線をサンプリングするため解 像度が高めやすい 低計算負荷 通信が一方向で済むので、一対多数のブロー ドキャストが可能 双方向通信への拡張 レンダリングのような重い処理が入らないため 計算負荷が小さい 低通信負荷 視界から相手が消えないので、計測用カメラと 映像取得カメラを兼ねて双方向通信ができる。 ただし透視投影以外での顔位置計測アルゴリ ズムを構築する必要 必要な映像のみを送るため通信負荷が小さい。 Wide FOVでは表示しない範囲の映像も送る必 要あり 操作の対応付け 三次元位置(X, Y, Z )で操作する対象はカメラ の透視投影パラメータ (θ, φ, α )であり、遠隔ロ ボットの操作[2]などとは対応付けが異なる。対 応付け方法は任意のものが設計可能であるが、 例えば次のような対応付けをすることでユーザ は直感的に操作できると考えられる。ユーザビ リティ評価は今後の課題 α near far 2 Z 0 Zoom Pan/Tilt 顔の中心からディスプレイの中心を結ぶ直線が 光軸となるように制御。ただし、近似的にディス プレイ中心を計測カメラ中心で置き換え可能 X Y arctan Z Y arctan X 2 2 顔を近づけるほどズームが拡大、つまり顔を近づ けるほど映像取得カメラの透視投影の視野角を 狭くする。人間の眼はズーム機能を持っておら ず、人間は代わりに近寄って対象を見る。我々は この動作を参考に顔を近付ける動作をズームと 対応付けた X Y Z Z arctan arctan K K 2 2 2 システムの試作 Wide FOVカメラとして魚眼カメラを用いたシステムを構築、実装内容や操作感を評価 魚眼カメラによる取得映像 広視野角映像からの透視投影像のレンダリング 動作画面 •ユーザ環境: Intel Core 2 Duo 2GHz搭載ラップトップPC, TCP/IPネットワーク越しに映像受信 •遠隔カメラ: fθレンズ搭載の魚眼カメラ, 取得映像を圧縮してストリーミング •顔位置計測: Haar-like特徴を用いた顔検出[3] + カルマンフィルタ 動作速度 1280x960px, 最大15/2fpsの魚眼カメラ映像 をストリーミング受信しながら計測カメラか ら得た160x120pxで最大30Hz以上で顔位置 計測可能 結論と今後の課題 遠隔カメラ映像のPan/Tilt/Zoomを顔位置で操 作するインタフェースを提案 魚眼カメラを用いた試作システムにより一般 的なラップトップPCでリアルタイム動作可能な ことを確認 操作感 応答速度は良好だが、顔検出の失敗により 時々操作中断 計測カメラの視野角によって閲覧可能な視野 範囲が制限。しかし狭い範囲で広い視野す べてを閲覧できるようにすると映像酔いしや すく操作性が低下 ユーザビリティの評価: どういった操作の対応 付けが使いやすいと感じるのか 透視投影でないモデルにおける顔位置計測ア ルゴリズムの開発と、それを用いた双方向パノ ラミックビデオチャット 参考文献 [1] [2] [3] C. Cruz-Neira, et al., “Surround-Screen Projection-Based Virtual Reality: The Design and Implementation of the CAVE,” Proc. ACM SIGGRAPH, pp. 135-142, 1993. J.J. Heuring and D. W. Murray, “Visual head tracking and slaving for visual telepresence,” Proc. Robotics and Automation, 1996. P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” Proc. Computer Vision and Pattern Recognition, 2001.