Transcript Mixed Reality

バーチャルリアリティ・
制作
Virtual Realityとその応用
複合現実感・テレイグジスタンス
２つのバーチャル世界
された世界


現実空間のモデル
 現実の空間だか直接認識できない空間


教育，訓練や設計


遠方，危険，など感覚器の限界の世界（テレイグジスタンス）
フライトシミュレータ，バーチャルプロトタイピング
超現実空間のモデル
 現実ではない架空の空間



相対性理論の世界
数学（ベクトル場など）の世界
アミューズメントやアート
された世界



リアルタイムのテレイグジスタンス
ロボットの遠隔制御
構成された世界
現実空間のモデル
直接認識できない世界の例

（Virtual Endoscopy）
 CT像より3次元画像を構
築，
を変えることに
より体内に入り込める
 ミクロの決死圏？
 画像の読み方は難しい
構成された世界
現実空間のモデル
直接認識できない世界の例や超現実空間の例
 実際には経験できないシーンを経験


例えば，台風の中の自分，分子構造の中の自分な
ど
教育用途において大きな効果
 アインシュタインの相対性理論の世界を体験する，力
学の世界を体験する，実際に行うのは危険な実験を体
験する，など

から
の理解へ，という教育システム
構成された世界
現実空間のモデル
教育・訓練・設計の例
 バーチャルプロトタイピング



バーチャルな製品で評価することにより無駄
な
を作らない
エネルギーや資源の節約
生産の実現
 一人一人に合わせた製品が安価で制作可能
 好みへの対応だけでなく，障害を持った人のた
めの製品も同等に制作可能
 住居や都市空間についても同様
構成された世界
現実空間のモデル
教育・訓練・設計の例
 手技，特に外科手術のシミュレーション

教育用
 ある手術で起こりうる可能性がある状態を想定し
て，それに対応する手段の教育

計画用
 手術を何度も疑似体験することにより実際の手
術前の具体的なイメージがわき，手術のさらなる
バリエーションに対応できる
伝達された世界
VR+ネットワークで何が出来るか?
Surrogate
Travel
Virtual
Office
Home
Medical care
Virtual Reality
Network
Data Base
Virtual Public Facilities
Museum,Zoo,Library,etc.
Home
Shopping
Virtual
Conference
伝達された世界の例
バーチャルユニバーシティ
•Virtual空間の自分：アバタ
•共同作業が可能
VRMLで
記述され
た校舎
伝達された世界の例
バーチャルホスピタル
 CTやMRI画像などをVirtual空間に再現する事
により病状への理解を深める
 患者の精神的ケア


TV電話などによる「定期検診」
病状や検査についての患者の自己学習など
 遠隔地にいる専門医によるケアや診断
伝達された世界の例
ロボットによる遠隔手術
ダビンチ・サージカルシステム
ダビンチ・サージカルシステム
伝達された世界の例
高臨場感会議
 バーチャル会議室をCGにより生成する
 参加者もCGにより表示される
 送信側の参加者の
や
は，
遠隔地の受け手に送られ，受け手側の
の位置を考慮して
に表示され
る
 バーチャル空間を
して
が
可能
伝達された世界の例
Telexistence
 人間の
と
の制約を解いて自由な空間で自
在に行動することを可能とする
 自分の
であるロボットのいる場所に自分が実際に
存在するような臨場感（視聴覚，力覚機能）を得ながら，
その「
」ロボットを操る
 つまりは「ネットワークを介して
を遠隔地
に瞬時に運び，そこにあたかも存在するような臨場感で
行動する技術」のこと
 災害救助や実際に人間がやるには危険な作業（ロボット
漫画の世界？）などへも応用可能
Telexistenceの研究状況
 実環境に存在する人間型ロボットに
し，
ロボットの手や腕が自分の手や腕であるかのような感覚
で作業を行う



積み木を積み上げる
ランダムに動く台から生卵を握りつぶさずに知覚の人に手渡
す
つり下げられたピンポンを打ち返す（不定な動きへの対応）
 HONDA人型ロボットのスーパーコクピットによる操作
 包囲型ディスプレイと歩行移動機能，音響機能などの追加
テレイグジスタンス
操作
五感情報
Master side
Slave side
Presented by Tachi Labo. in University of Tokyo
スーパーコクピットとロボットの操縦
もっと身近なTelexistence
 ネットワーク技術とロボット技術の結合
 遠くにあるロボットを
からでも
からでも操作できるようにする

で，世界中の
公共施設，公園，博物館，ショッピングセンター，家
庭などの
を自由に操作できる
 通信販売であるにもかかわらず，
確かめて買い物が出来る
 遠隔地にいる家族との
ふれあい
Telexistenceの問題点
 ロボットの操作者は現実空間と変わらない
感覚
 Telexistenceされた側は？
 例えば，Telexistenceシステムで家族とふ
れあう状況を考えてみよう
 Telexistenceされる側にも
が感じられなければならない
 すでに解決のための試作はある
「
」
Mixed Reality（複合現実感）
環境と
環境を重ねることにより，そ
れぞれ単独では得られない情報を獲得する技術
 Augmented Reality


をベースに，その上に
世界を重ねる技術
 Augmented Virtuality

をベースに，その情報を
増強する技術
の情報により
Mixed Realityの例
 Augmented Virtuality
 空間
 virtual space
 物体 (花)
 real information
Digital Museum
Mixed Realityの例
 Augmented Reality
Digital Museum
現実空間に解説文が
表示される
Entertainment
現実空間でCG creature
と戦う
その他のAugmented Reality
 医療応用
 実際の人間の体に，CT等で作成した立体像を重ねて表示（人体
の透視）
 頭部，視線，触覚センサとの合成により，体の外から「体の中を目
視し触診する」ことが可能
 ウェアラブルコンピュータ，GPSとの組合せ

の情報を現実世界へ投影

図鑑的情報

の重ね合わせ

の配管構造の透視
ARの応用例
網膜へ直接投影：Nomad Augmented Vision System
VR・ARの医療応用
支援


支援




キーワード：
ARの要素技術と問題点
 要素技術
型HMD



式
式
 問題点
問題


反射剤を用いた
光学式シースルーHMD
光学式シースルーHMD
 長所


は常に
見えているため安全
同様に，
の把握（足下など）に
優れる
 短所
 バーチャル情報が常に
に投影され
るため
が生じる
 現実の物体とバーチャ
ル情報との
の違いにより違和感が
生じる
遮蔽矛盾とは
光学式
シースルー
Virtual: 四角柱
Real: 円柱
CAVE
Virtual: ボール
Real: 自分の手
ビデオシースルーHMD
ビデオシースルーHMD
 長所



をいったん
として
情報と
融合するため
の問題が少ない
を付ける事で
遮蔽矛盾を避けられる
現実とバーチャルを違和感
なく融合可能
 短所


を合成する
際の
完全遮蔽型のため，電池切
れなどの場合
も見れなくなり危険
光学式シースルーにおける解決案
 Head Mounted Projectorと再帰性反射材の利用






両眼用の画像を別々につくり投影する
を用い眼の位置からスクリーンに向
かって画像が投影される
スクリーンには「再帰性反射材」を用いる
投影された画像はスクリーンから
逆投
影される
必要な位置に再帰性反射材を塗布すれば，その位置に
のみ
を表示できるため，
問題，
問題が解決でき違和感のない空間融合表示が
可能
複雑な機構が無く立体視が可能
再帰性反射材とは？
 光を受けると，
方向に反射を返す材料
通常の反射
（鏡面反射）
再帰性反射
？その原理は？
HMPの原理
左眼用画像投影
左目
ハーフミラー
右目
右眼用画像投影
再帰性反射材を塗布した
スクリーン
このように見えます
箱にのみ再帰性反射材が塗布されているため，
箱には映し出されるが手には映し出されない。
手による遮蔽問題が解決され，箱の中の物体
を違和感なく透視できる。