Virtual Reality and its Application
Download
Report
Transcript Virtual Reality and its Application
バーチャルリアリティ・
制作
~第四回~
システムの実装(2) ディスプレイシステム(続き)
システムの実装(3) シミュレーションシステム
触覚ディスプレイ
人間は鉄の玉をどう認識するか?
触れる事で形状を知る
皮膚?
表面の細かいパターン(テクスチャ)は?
皮膚?
深部?
深部?
「金属」という認識は?
触覚ディスプレイ
人間は鉄の玉をどう認識するか?
触れる事で形状を知る
深部感覚(手袋をしていても判断できる)
自ら体を動かして触れる(能動的触覚)
→筋や腱が刺激される
表面の細かいパターン(テクスチャ)は?
皮膚感覚(手袋をしていては分からない)
能動的触覚により認識精度が向上する
Haptics(触運動知覚)
深部感覚(固有受容感覚)と皮膚感覚が一体となった,
運動を伴う能動的触覚
「金属」という認識は?
温冷を感じる皮膚感覚による
触覚の分類
体性感覚=広義の触覚
皮膚感覚
触圧覚(狭義の触覚),温覚,冷覚,痛覚
深部感覚(固有受容感覚,自己受容感覚)
運動覚,位置覚,深部圧覚,深部痛覚
=Haptics
触覚と感覚受容器
皮膚感覚(触圧覚)
触覚
マーケル触盤(変位)
マイスナー小体(速度)
ルフィニ小体(変位)
圧覚
ルフィニ小体
パチニ小体(加速度)
触覚と感覚受容器
固有受容感覚
運動覚,位置覚
筋肉内の感覚受容器
ゴルジ腱器官
筋の張力情報を延髄経由で中枢に伝達
筋紡錘
筋の長さ情報を中枢に伝達
感覚受容器の場所による分類
皮膚感覚のディスプレイ
触れた,触れないの判定
Cyber Touch
データグローブ+振動子
各指+手のひら(6カ所)
振動周波数125Hz
皮膚感覚のディスプレイ
凹凸による情報伝達(点字など)
テクスチャ感覚の発生
Virtual Sandpaper (M.Minsky, MIT)
細かい凹凸
振幅は小さく,周波数は高い振動を発生
粗い凹凸
振幅は大きく,周波数は低い振動を発生
実際の物体の情報を忠実に記録,再現しなければ
ならない
実際とは違っても同じ感覚刺激を与える事で実現
できないか?
皮膚感覚のディスプレイ
マーケル触盤,マイスナー小体,パチニ小体,ル
フィニ小体を,実際のモノをさわったときと同様に反
応させる
受容器のところだけは同じ振動になるような振動を
作る(現在のところ不可能)
電気刺激で直接的に受容器を刺激する(触原色)
×すべての受容器に電極を埋め込む
○皮膚表面からの経皮的刺激
軸索方向の特異性や存在深度の違いから選択
的刺激可能(3種類について)
(舘研究室,東大)
触原色の研究
東大・舘研究室
圧覚,低周波振動覚,
高周波振動覚の提示
に成功
試作された触覚ディスプレイ
深部感覚のディスプレイ
形状を感じ取れるような触覚再現装置
装着型
手指に装置を装着,装置を動かそうとする人間の行動
を拘束する事で物体の存在感を作り出す
把持型
器具を手にしたときの,その器具による触感だけを作
り出す
遭遇型(研究中)
バーチャルな模型(素片)を置き,素片に実際に触る事
で物体の存在感を実現する
指の動きを検知して素片が手の動きに沿って動く
素片の移動や回転などで物体の形状やエッジを表現
する
深部感覚のディスプレイ
装着型
Cyber Grasp
手指の動きを計測す
るとともに深部感覚を
提示
深部感覚のディスプレイ
装着型
PHANToM
(SensAble Technologies)
指先への深部感覚提示
6自由度
ペンの位置と姿勢を計測す
るとともに深部感覚を提示
PHANToMの使用例
深部感覚のディスプレイ
装着型
SPIDAR (東京工業大学 佐藤研究室)
深部感覚のディスプレイ
装着型
問題点
常に装置をつけているため,装置の重量や装
置の動きが常に感じられる
純粋に「何にも触れていない」感覚を作り出す
事が難しい
力をかけるモーターの応答限界
瞬間的な停止や鋭角の表現が難しい
深部感覚のディスプレイ
遭遇型
Shape Approximation Device (SAD) による形状表現
平面や曲面の表現
エッジの表現
遭遇型触圧覚ディスプレイの研究
(腕については装着型)
シミュレーションシステム
センサシステムからの入力とディスプレイシ
ステムへの出力とを,ある因果関係のもと
で結合するソフトウェアシステム
「因果関係」とは?
物体相互間の世界法則(拘束関係や物理法
則)に基づいた関係
バーチャルリアリティソフトウエアの大きな特
徴
シミュレーションシステムの構成例
VR用基本OS
VRアプリケーション
支援TOOL
VR用オーサリングツール
世界管理OS
法則管理部(機能DB)
形状モデル(形状DB)
VR用基本OS
デバイス駆動ルーチン
VRのハードウェア
センサシステムとディスプレイシ
ステムを動作させる
世界管理OS
形状モデル
バーチャル世界に存在する物
体の形状を定義。CADのデー
タベースをそのまま利用
法則管理部
物体相互間の関係を記述し,
シミュレーションを実行する
支援TOOL
各要素を統合してバーチャル世
界全体を構築する
リアルタイムインタラクションを実
現するレンダリング技術など
システム相互の働き
バーチャル空間でリビングのドアを開ける場合
ユーザがドアに向かって移動
手の位置座標,指の
開閉状況を検出
ユーザの位置を検出
ユーザの視点からの
リビング画像を連続生成
ディスプレイに表示
ユーザがノブをつかもうとする
:実空間での動き
:センサの働き
ノブの形状や位置情報から
手指とノブ間の干渉をチェック
手の動きに合わせて開いて
いくドアの絵を連続生成
ディスプレイに表示
:SSの働き
:ディスプレイの働き
因果関係記述の重要性
先ほどの例で言えば
自由度の拘束
ドアは壁面に対して自由度1で回転
最大可動範囲はドアストッパが有効な角度まで
ノブはドアに対して自由度1で回転
干渉チェック
手はノブの位置で拘束される=衝突検知
干渉:物体同士が交わる 接触:物体が輪郭線のみ共有する
衝突:離れている状態から干渉・接触状態へ移る一連の動作
運動方程式と拘束・干渉状態に従ったシーンの描画
物体を押す場合
衝突検知が無いと
並進運動のみだと
回転(拘束)が加わると
因果関係の算出方法
リアルタイム性(10Hz程度の描画サイクル)
複数物体の空間内での重なり(干渉)の判断
n個の物体間の衝突検知
nC2通りの組み合わせを調べる
2つの物体間の衝突検知
すべての面と稜線の組み合わせで交差の有無を調べる
膨大な計算量=演算軽減策の必要性
効率的な干渉検知の方法は研究中
交差を調べる必要がある面の組み合わせの軽減
運動している物体のみを対象とする
物体の挙動のシミュレーション
運動方程式:微分方程式→差分方程式
m dx
dx
2
dt
2
F (t )
dt v ( t )
x n 1 x n v n t
v n 1 v n a t
衝突検知の研究
レンダリング技術
CG:「コンピュータ内の3次元形状を2次元の画面
へ表示するための変換操作」
VRの場合,レンダリング技術の全感覚への拡張が
必要
触覚レンダリング
ポリゴン化された面の補間にどのような触覚的近似方
法を使うか?
ポリゴンをどれだけ粗くできるか?
聴覚レンダリング
音波のシミュレーション
自然の音を人工的にどのように作成するか?
視覚レンダリング
物体に関するデータ
光源に関するデータ
モ
デ
リ
ン
グ
三
次
元
形
状
モ
デ
ル
レ
ン
ダ
リ
ン
グ
画
像
表
示
視点に関するデータ
三次元形状モデル(多角形(ポリゴン)の組み合わせによる多
面体)が,設定された光源のもと,視点からどのように見える
かを判定しスクリーン上の2D画像を作成する
光源からでた光線がどのような経路をたどって視点に入るか
を調べる「光のシミュレーション」
レイトレーシング(光線追跡法)
視点に到達する光を,光の到来方向を忠実に逆算
してたどる事により,スクリーン上の1画素の輝度を
決定する
物体表面の反射や屈折など複雑な光の現象をシ
ミュレートする
物体表面への背景の写り込み,透明物体の表現
などリアルな表現が可能
すべての物体間での交点計算や物体間陰影の計
算など,かなり複雑な演算を必要とし,リアルタイム
描画は困難
レイトレーシングの例
屈折率固定,球を移動
球の屈折率を変化
レイトレーシングは複雑すぎる
なんとかより簡単な方法で
リアルタイムに
それらしい画像描画を
視覚レンダリングの3プロセス
透視変換
3D座標を,画像を定義するスクリーン上の2D
座標に変換する
隠面(線)消去
物体の中で,視点の位置から見える物,見え
ない物を選別する
シェーディング
光源や視点の位置,物体表面の角度に基づ
き物体表面の見え方(明るさと色)を定める
透視変換
スクリーン
物体
スクリーン上の座標
視点
透視変換による
ワイヤーフレーム画像
隠面消去
Zバッファ法
Edward Catmull (1974)
透視変換されたスクリーン上の画像について,各画素ごと
に各物体(面)のZ値を調べ,比較しながら,より小さいZ値
とそのときの輝度値をバッファ(一時メモリ)に保存(更新)
していく
最も小さいZ値をもつ輝度値をスクリーンに描画する
最もスクリーンに近い物体のみが描画される(自動的に隠
面消去が行われる)
Z値の比較のみで描画する物体(面)を決める
複雑な計算が不必要,高速な処理が可能
透明物体の表現は困難
シェーディング
光源や物体の表面の性質などから明暗や色の差
を求める作業
物体に立体感を与え,表面の形状や状態を明瞭に
表現できる
グローシェーディング
面内の色を連続的に変化
面(ポリゴン)が大きくても擬似的に滑らかな表現が可
能
ラジオシティ法
間接照明の効果を考慮したシェーディング
面同士の光のやりとりを計算する方法
Zバッファ法による隠面消去と
陰影付け(シェーディング)
テクスチャマッピング
少ないポリゴンでリアルな画像
ポリゴンへ写真や画像(テクス
チャ:物体表面の色や模様)を貼
り付け
ポリゴン数を減らしながらフォトリ
アリスティックな三次元世界を実
現
描画時間の大幅な節約
テクスチャの選択によりシェー
ディングもそれらしく表現可能=
環境マッピング
CGによる形状モデルを利用しな
い例
あらかじめ録画しておいた空間をバーチャ
ル空間として利用
インタラクションの幅はかなり制限される(あ
らかじめ録画されているシーン以外は再生
できない)
簡単にバーチャル空間の合成が可能
ランダムに撮影された映像から自由に散策
できるバーチャル空間の生成が研究中
バーチャル環境構築支援ソフトウェア
World Tool Kit
代表的なVR/3Dアプリ
ケーションソフトウェア
リアルタイムシミュ
レーションを実現
1000以上の関数から
なるCライブラリ
多くの3Dデバイスを
サポート
中間テストについて
実施:11/13(木),15:10~16:10
第一回~第四回のパワーポイントを中心に
出題
各回より2題ずつ出題
説明を求める問題が多いので,単なる丸暗
記ではなく,しっかりと理解しておく事が重
要