Transcript 移動ロボットの遠隔操縦のための全方位画像提示手法

全方位動画像からの両眼ステレオ画像
生成による移動ロボットの遠隔操縦
米田美里 山澤一誠 竹村治雄 横矢直和
奈良先端科学技術大学院大学
1
発表の流れ
•
•
•
•
•
•
•
•
•
はじめに ー移動ロボットの遠隔操縦についてー
目的
従来のテレプレゼンス手法
提案手法 ー遠隔操縦のためのテレプレゼンス手法ー
提案手法を用いた遠隔操縦システム
操作実験
実験結果
おわりに
今後の課題
2
はじめに
移動ロボットの遠隔操縦に関する研究が注目
されている
テレプレゼンスの技術により操作性が向上する
3
目的
テレプレゼンスを備えた、移動ロボット遠隔操縦
システムを提案する
遠隔操縦のためのテレプレゼンスへの要求
•３６０度の自由な見回し
•奥行きの知覚（ステレオ画像等）
4
従来のテレプレゼンス手法（１）
ステレオカメラを頭の回転に追従させる
（ポータブルネットワークロボット（東大）など)
動的環境にも対応可能である
解像度は高い
見回しに遅延が生じる
5
従来のテレプレゼンス手法（２）
全方位画像センサによるテレプレゼンス
（尾上ら，‘９８）
頭の回転に対して時間遅延なく透視投影画像が
提示できる
解像度は低い
提示画像は単眼の画像である
6
従来のテレプレゼンス手法（３）
全方位画像センサによるステレオ画像作成
（山口ら，‘９９）
右目画像
投影面
頭の回転に対して時間遅延
なくステレオ画像を表示可能 左目画像 p
投影面
である
解像度は低い
左目
ロボットは常に移動している
Q
ことが条件となる
移動経路
操作者の視点と実際のロボットの位置が異なる
右目
7
提案手法
１台の全方位画像センサによる
移動ロボットの状態に応じた画像表示
静的環境を仮定する
操作者によるロボットの操作状態を２種類に分ける
移動状態：ロボットを移動させる
注視状態：ロボットを静止させ、周囲を注視する
注視状態における両眼ステレオ画像
8
HyperOmni Vision
[山澤ら ’96]
双曲面ミラーを用いた全方位画像センサ
センサの周囲３６０度の画像を一度に取得
ミラー焦点からみた透視投影画像に変換可能
HyperOmni Vision
全方位画像
透視投影画像
9
移動状態と注視状態
状態
移動状態
注視状態
表示画像
（奥行きの知覚）
単眼画像
（運動視）
ステレオ画像
（両眼立体視）
ロボットの移動
可
不可
操作者
ロボット
10
移動状態の提示画像
•尾上らの手法（従来手法２）を使う
入力画像
変換画像
11
注視状態の提示画像の生成
１台の全方位画像センサからのステレオ画像作成
①ロボットを一周回転させ、画像を取得
12
注視状態の提示画像の生成
②左右の視点位置の全方位画像を使って、透視投影画像を作成
左目
視点位置
左目
視線方向
頭の向き
頭の向き
右目
視線方向
全方位画像
右目
視点位置
ロボットの回転中心
13
試作した遠隔操縦システムの概要
14
使用した機器
全方位画像センサ ： HyperOmni vision ver.2A
移動ロボット
: Nomad-200
計算機
: SGI Onyx2 IR2
（MIPS R10000 195MHz 16CPU)
磁気トラッカー
： POLHEMUS 3SPACE FASTRAK
HMD
： OLYMPUS Mediamask
無線LAN
： RangeLAN2(1.6Mbps)
画像無線送受信機 ： Premier Wireless
15
操作実験 ー遠隔操縦システムの試作と実験ー
提案手法を用いた遠隔操縦システムにより実験を行う
ロボッ
トの動
作
表示
画像
移動状態
（移動速度）
最高１２．５cm/秒
（方向変換の速度）
最高２０度/秒
注視状態
４５度/秒で１周し（８秒間）
合計８０枚の全方位画像を
取得
頭の向きを検出し、全方
位画像から単眼の透視
投影画像を作成、随時
更新して表示
（回転中）
最初に取得した全方位画像から
の単眼の透視投影画像を表示
（８０枚取得後）
８０枚の画像からステレオ画像を
生成
操作実験 ー注視状態の画像生成ー
視線方向
画像センサ
の軌跡
（半径10cm）
90度
頭の向き
眼間距離
６．５ｃｍ
視線方向
時刻 t+0.2秒
38度
時刻 t+0.1秒
時刻 t秒
画像取得間隔
4.5度
17
実験環境
９２０ｃｍ×９２０ｃｍの屋内実験室
操
作
者
障害物領域
18
実験概要
ー ビデオ －
19
実験結果
移動ロボット
操作者
ー ビデオ －
全方位画像
透視投影画像
実験結果
（移動状態）
一枚の透視投影画像を生成する時間 ： 約16ミリ秒
HMDの画像更新間隔
： 約33ミリ秒
磁気センサのデータ取得間隔
： 約8.3ミリ秒
頭を回転させてから視線方向の
画像が表示されるまで
： 約0.1秒
（注視状態）
画像取得中は移動状態と同じ
ステレオ画像表示時は画像取得時間がかからない
（約５７ミリ秒）
21
実験結果
移動ロボットの操作において
ジョイスティックの命令を取得する間隔 : 0.02秒
移動ロボットに命令を送るタイミング : 約0.04秒から1.5秒
（平均0.08秒）
作成したステレオ画像について
画像センサの軌跡
取得時間の遅れにより
最高0.31cm視点位置がずれる
実際に取得
した位置
0.31cm
取得する
位置
22
おわりに
１台の全方位画像センサによる移動ロボット
の操作状態に応じた画像表示手法を提案
遠隔操縦システムを試作し、自由な見回しと
操作状態に応じた奥行き知覚が可能であるこ
とを確認
23
今後の課題
注視状態における画像取得時間の短縮
動的環境に対応
コミュニケーションのためのツールの設置
（マイク、スピーカー）
移動ロボットを自分の代理身体として利用した
遠隔コミュニケーションの実現
24
HyperOmni Visionの構成
• ２葉双曲面ミラーと
ＴＶカメラから構成
• カメラのレンズ中心を
双曲面ミラーの焦点
位置に配置
X 2 Y 2 Z 2
ミラー面
 2  1(Z  0)
a2
b
ミラーの焦点
OM
(0,0,c)(c  a2  b2 )
カメラのレンズ中心
OC (0,0,c)
25
HyperOmni Visionによる
透視投影画像生成
焦点
Y
y
p(x,y)
x

P(X,Y,Z)
X
双曲面ミラー
Z
OM
c

b
a
P(X,Y,Z)
y
画像面 t a n  = Y = x
X
Z= X2+Y2 tan +c
2 2
b
-1 +c sin  - 2bc
=tan
b2-c2 cos 
2+y2
x
-1
=tan
f
画像面
c
OC
p(x,y)

カメラのレンズ中心
26