Transcript 岸野・西尾・北村・塚本・正城・有川グループ

1
マルチメディア･コンテンツのデータベースからの
仮想空間･拡張現実空間の生成と活用
大阪大学 岸野･西尾･北村･塚本･正城
広島市立大学 有川
JSPS Multimedia Contents Project
2
仮想空間・拡張現実空間の生成と活用
仮想空間・拡張現実空間を生成
 マルチメディア・コンテンツDBを検索・加工･提示
仮想空間･拡張現実空間の活用
 実映像を用いた3次元シーンの獲得とインタラク
ティブ操作への適用
 モーバイルコンピューティングによる仮想空間と
実空間の人々のコミュニケーション（透明人間シ
ステム）
JSPS Multimedia Contents Project
3
拡張現実を基本とするマルチメディア
コンテンツの提示法
（広島市立大学 有川）
JSPS Multimedia Contents Project
時空間情報ベースと空間ハイパー
メディア
大規模仮想空間をネットワーク環境下で扱う
技術の確立
実時間ビデオ映像と３次元仮想空間の融合
アバタの振る舞いに応じた仮想空間の動的
再構成
現実世界の実時間映像のハイパーメディア化
JSPS Multimedia Contents Project
4
大規模仮想空間をネットワーク環境下で
扱う技術の確立
JSPS Multimedia Contents Project
5
実時間ビデオ映像と３次元仮想空間の
融合
JSPS Multimedia Contents Project
6
アバタの振る舞いに応じた仮想空間の
動的再構成
JSPS Multimedia Contents Project
7
現実世界の実時間映像の
ハイパーメディア化
8
各種センサー、マーカーと地図データを用い
た物体の同定
空間情報ベースからの検索結果を実時間映
像にオーバーラップ
現実世界の物体へのアンカーの取り付け
ネットワーク環境下で、現実世界へ仮想物体
を配置し、共有する枠組みの確立
JSPS Multimedia Contents Project
9
実映像を用いた3次元シーンの獲得と
インタラクティブ操作への適用
（大阪大学 岸野）
JSPS Multimedia Contents Project
10
実世界3次元シーンの獲得
Real world
Virtual world
JSPS Multimedia Contents Project
11
各種インタラクションの例
観察
捕獲
様々な
ｲﾝﾀﾗｸｼｮﾝ
接触
餌付け
JSPS Multimedia Contents Project
12
実世界3次元シーンの獲得(Fish tank)
Virtual world
Real fishtank
JSPS Multimedia Contents Project
13
インタラクティブ操作
魚を捕る
視点移動
魚の見え隠れの観察
餌をやる、手を叩く、水槽を叩く．．．
JSPS Multimedia Contents Project
14
モーバイルコンピューティングによる
仮想空間と実空間の人々のコミュニケーション
（大阪大学 塚本･西尾 ）
JSPS Multimedia Contents Project
15
透明人間環境
実空間と仮想空間を相互にマッピング
実空間から仮想空間の状況を，仮想空間か
ら実空間の状況を知ることが可能
両空間からのインタラクションが可能
 利用例
遠隔会議，在宅勤務，ホームオートメーション，
旅行，旅行ガイド，電子秘書，アンパイアなど
JSPS Multimedia Contents Project
16
透明人間環境
仮想空間
実空間
Invisible Person
Host (IPH)
実人間
Existence-Sensitive
Pad (ESP)
透明人間
ESPer
JSPS Multimedia Contents Project
17
透明人間環境
遠隔地のユーザ（透明人間）は，グラフィック
ワークステーションを用いて仮想的に実空間
に訪れる．
実空間において，透明人間の姿は（もちろ
ん）見えない．
実人間は，ESPを用いることで透明人間の姿
が見える．
ESPを持つ人をエスパー（ESPer）と呼ぶ．
JSPS Multimedia Contents Project
18
JSPS Multimedia Contents Project
19
イメージ図（実装中）
JSPS Multimedia Contents Project
20
研究課題
 多視点動画像解析・処理による対象物の追跡と切り
出し、3次元位置の計測
 仮想世界とのインタラクション
⇒ 動物体との接触、隠蔽関係の処理
 動物体の把持 ⇒ 当該対象物を背景色でマスキング
 視点に対する前後関係の判断 ⇒ 他の視点のカメラ
を利用したマスキングレイヤの調整
 動物体の生態に基づくシーンの切り出しと、インタラ
クションの局面に応じた再生
JSPS Multimedia Contents Project