Transcript 全ページ - 西尾研究室

1
JSPS未来開拓学術研究推進事業
研究プロジェクト
知能情報･高度情報処理
マルチメディア･コンテンツの高次処理の研究
大阪大学工学研究科
情報システム工学専攻
西尾 章治郎
JSPS Multimedia Contents Project
2
ハードウェア･ソフトウェアの発達
CPU高速
大容量
ソフト高機能
マルチメディア・コンテンツ
ハードウェア･ソフトウェアからコンテンツへ
JSPS Multimedia Contents Project
3
コンテンツとは？
赤、青
サッカー
積み木
シュート
原因
結果
サッカー
ストーリー
素材となるデータ
ゴール!
構造化・意味付けされたデータ
JSPS Multimedia Contents Project
4
マルチメディア・コンテンツの管理
第１世代
異なるメディアの
画像
統合管理
テキスト
第２世代
時間による関連を付加
第３世代
音声
男･運動している･
ボールを持っている
空間的な関連を付加
3次元データ
第４世代
内在する知識の導出機能を付加
動画像データ
JSPS Multimedia Contents Project
5
マルチメディア・コンテンツの表現モデル
統一モデル： 統一的な表現モデル．
完全には実現されていない．
統合モデル： 複数レイヤの統合モデル．
各レイヤに適した表現が可能．
プレゼンテーションレイヤ
リンクレイヤ
データベースレイヤ
JSPS Multimedia Contents Project
6
マルチメディア・コンテンツの流通
物理メディア
 CD-ROM, DVD-ROM
通信メディア （１対１）
 広帯域ネットワーク
 移動体通信
放送メディア （１対多）
 ディジタル衛星放送
 無線ネットワーク
Broadband
Network
JSPS Multimedia Contents Project
7
コンテンツの創生
マルチメディア･コンテンツ
検索・加工･編集
ユーザ
獲得･蓄積
ＤＢ
要求
アクセス管理機構
JSPS Multimedia Contents Project
8
研究組織機構図
マルチメディア･データモデルとコンテンツの知的構造
リーダー 龍谷大学教授
有木 康雄
神戸大学教授
上原 邦昭
プロジェクトリーダー
西尾 章治郎
大阪大学工学部教授
マルチメディア･コンテンツのアクセスアーキテクチャ
リーダー 神戸大学教授
田中 克己
大阪大学助教授
下條 真司
神戸大学助手
田島 敬史
大阪大学助手
春本 要
マルチメディア･コンテンツのデータベースからの仮想空間･
拡張現実空間の生成と活用（モーバイルDBを含む）
リーダー 大阪大学教授
岸野 文郎
広島市立大学助教授 有川 正俊
大阪大学助教授
北村 喜文
大阪大学助教授
塚本 昌彦
大阪大学助手
正城 敏博
JSPS Multimedia Contents Project
9
マルチメディア･コンテンツの高次処理
有木康雄 : マルチメディア･データモデルと
コンテンツの知的構造化
田中克己 : マルチメディア･コンテンツのアク
セスアーキテクチャ
岸野文郎 : マルチメディア・コンテンツのデー
タベースからの仮想空間･拡張
現実空間の生成と活用
JSPS Multimedia Contents Project
10
マルチメディア･データモデルと
コンテンツの知的構造化
有木 康雄*1
上原 邦昭*2
*1
龍谷大学
*2 神戸大学
JSPS Multimedia Contents Project
11
マルチメディア環境
メディアのディジタル化と統合




放送（テレビ）
出版（新聞、書籍）
娯楽・教養（映画、講義）
通信（インターネット）
マルチメディア環境




電子図書館
仮想博物館
仮想美術館
仮想キャンパス
知的活動を行う情報空間
[ 興味ある情報の収集と分析 ]
JSPS Multimedia Contents Project
12
マルチメディア・コンテンツの構造化
構造化されているデータ
本
構造化されていないデータ
索引（概念）
目次（構成）
要約（文脈・粗筋）




アニメ
ドラマ
映画
ビデオ




ドキュメンタリ
ニュース映像
スポーツ映像
個人の映像
コンテンツへのアクセス・絞り込み
コンテンツの構造化
JSPS Multimedia Contents Project
13
コンテンツの知的構造化のプロセス
コンテンツ
概念
因果関係の検索
状況
状況検索
記号
イベント検索
記述の抽象化＆意味付け
構
造
化
／
自
己
組
織
化
時空間における関係付け
ハ（
知
イ的
フ構
ェ
ー造
ズ化
）
従来の
データベース
認識＆索引付け
パターン パターン検索
セグメンテーション＆分類
データ
信号
信号検索
ロ（
自
ー己
フ組
ェ織
ー
ズ化
）
JSPS Multimedia Contents Project
14
マルチメディア・データの自己組織化
コンテンツ構造化の要求
– 映像中のイベント 検索
– 映像の 分類、要約、編集
 自己組織化
– 人手を介さない大量データの処理
– ハイフェーズへのブラウザ提供
基本課題
 構造抽出
 イベント統合
[ 目次 ]
– ショットやシーン
 イベント抽出 [ 索引 ]
– 音声・映像・文字メディア
– 各種メディアのイベント統合
– 階層間のイベント統合
（信号・パターン・記号）
– イベント系列を上位のイベント
へ統合
JSPS Multimedia Contents Project
15
ＴＶニュース映像の自己組織化
ＴＶで放映されているニュース映像
 多チャンネル化
– ＮＯＤ
– イベント検索
粒
度
時間
 多様な検索要求
– 関連する日本語ニュース
– 関連する英語ニュース
– ニュースの要約
– ニュースの解説（背景・予想）
トピック
JSPS Multimedia Contents Project
16
ＴＶニュース映像の自己組織化
表現メディアの特質
– 音声
– 文字
– 映像
状況
内容を表現
内容を要約
情景・状況を伝達
関係付け
記号
認識
索引付け
コンテンツ構造化のプロセス
パターン
セグメンテーション
分類
 シーンカットとニュース記事の抽出
（信学論ＤＩＩ 97年9月）
 バイグラム音声認識による内容理解
信号
（ CoopIs97）
 テロップやフリップ文字認識による内容理解
（ICDAR97）
 顔やシーンの映像認識による情景･状況理解
（IPSJ97､ ACCV97）
JSPS Multimedia Contents Project
ニュース映像の情報検索
JSPS Multimedia Contents Project
17
ニュース映像の索引付けと分類
JSPS Multimedia Contents Project
18
19
コンテンツの知的構造化のプロセス
コンテンツ
概念
因果関係の検索
状況
状況検索
記号
イベント検索
記述の抽象化＆意味付け
構
造
化
／
自
己
組
織
化
時空間における関係付け
ハ（
知
イ的
フ構
ェ
ー造
ズ化
）
従来の
データベース
認識＆索引付け
パターン パターン検索
セグメンテーション＆分類
データ
信号
信号検索
ロ（
自
ー己
フ組
ェ織
ー
ズ化
）
JSPS Multimedia Contents Project
20
マルチメディアコンテンツの構造化
と概念獲得
JSPS Multimedia Contents Project
21
コンテンツ･プロバイダからの依頼
CATV 会社（チャネルＫ）の場合
 2,000 本の VCR テープ
 秋の六甲山の風景を再利用したい
映画会社（東映）の場合
 2,000 本の映画予告編
 いつでも見たいシーンをすぐに取り出したい
JSPS Multimedia Contents Project
マルチメディアコンテンツの構造化
と概念獲得
研究目標
意味内容を考慮した映像検索方式
 見たい映像をどのように検索するか
ビデオデータの内容記述形式の定式化
 ビデオデータの意味表現言語の開発
ビデオデータからの概念獲得
 ビデオデータの共有と再利用
JSPS Multimedia Contents Project
22
23
内容記述モデル
静的･トップダウン的なモデル （CODAS-96）
 シナリオが予め与えられている場合
 おとぎ話など、ストーリが単純な映像
動的･ボトムアップ的なモデル （DMIB-97）
 ドラマなど、ストーリが複雑な映像
断片的記述によるモデル
（DEXA-97）
 映画の予告編、スポーツなど、ストーリが
含まれない映像
JSPS Multimedia Contents Project
ストーリの文法に基づく
ビデオデータベースの機能
ストーリの因果関係に基づく検索
 ストーリ全体を見て必要なサブストーリを選択
登場人物や行動に基づく検索
 特定の人物や行動を検索
動画像のダイジェスト化
 意味的に余分なシーンを省略して、ビデオの
24
ス
ト
ー
リ
グ
ラ
フ
ダイジェストを作成
JSPS Multimedia Contents Project
ストーリ文法に基づく
ビデオデータベース
25
検索設定用のウィンドウ
ストーリの文法による記述
出力映像
自然言語による検索文の入力
JSPS Multimedia Contents Project
26
内容記述モデル
静的･トップダウン的なモデル （CODAS-96）
 シナリオが予め与えられている場合
 おとぎ話など、ストーリが単純な映像
動的･ボトムアップ的なモデル （DMIB-97）
 ドラマなど、ストーリが複雑な映像
断片的記述によるモデル
（DEXA-97）
 映画の予告編、スポーツなど、ストーリが
含まれない映像
JSPS Multimedia Contents Project
プロトタイプの概念に基づく
ビデオデータベース
内容記述の効率化
 意味的な関連性によるデータの抽象化
 典型的なシーンの発見
 性質の似た内容記述のグループ化
 典型的なシーンのクラスタリング
データ管理の効率化
 半構造性を持つデータ構造の管理
 視認性が高いデータ構造
JSPS Multimedia Contents Project
27
28
プロトタイプ
特徴
 静的なクラス定義を持たない
 既存のオブジェクトをプロトタイプとして利用する
オブジェクトのコピーにより
新たなオブジェクトが生成される
プロトタイプ
修正
コピー
…オブジェクト
JSPS Multimedia Contents Project
プロトタイプの概念に基づく
ビデオデータベース
典型的なシーンの選択
プロトタイプに基づく内容記述
映像に関する情報
ユニットの内容記述
実際の映像
シーンの内容記述
JSPS Multimedia Contents Project
29
30
これまでの成果
静的・トップダウン方式による内容記述モデル
 ストーリの文法に基づくビデオデータベースの開発
動的・ボトムアップ方式による内容記述モデル
 プロトタイプの概念に基づくビデオデータベースの開発
知識表現からの共通構造の発見と概念獲得
への応用
 ネットワークと並列化による高速なグラフマッチングアルゴ
リズムの開発
JSPS Multimedia Contents Project
31
コンテンツの知的構造化のプロセス
コンテンツ
概念
因果関係の検索
状況
状況検索
記号
イベント検索
記述の抽象化＆意味付け
構
造
化
／
自
己
組
織
化
時空間における関係付け
ハ（
知
イ的
フ構
ェ
ー造
ズ化
）
従来の
データベース
認識＆索引付け
パターン パターン検索
セグメンテーション＆分類
データ
信号
信号検索
ロ（
自
ー己
フ組
ェ織
ー
ズ化
）
JSPS Multimedia Contents Project
32
マルチメディア・コンテンツの
アクセスアーキテクチャ
田中克己*1
下條真司*2
田島敬史*1
春本 要*2
*1
神戸大学
*2
大阪大学
JSPS Multimedia Contents Project
33
コンテンツを取り巻く状況
通信，放送の融合
 技術的にも政治的にも
デジタルコンテンツ
 デジタル化による多様なサービス提供
 権利・課金管理の変貌
 メディアミックスによるコンテンツ再利用
 生産者と消費者の境がなくなっていく
新しいアクセスアーキテクチャが求められている
JSPS Multimedia Contents Project
34
研究目的
 コンテンツ情報の共有・再利用のための要素技術と
アクセス・アーキテクチャ
 コンテンツの構造化と検索
 コンテンツの流通管理
 コンテンツ配送と情報フィルタリング
深い意味レベルでの構造化
自己組織化
知的構造化
アクセス
アーキテクチャ
DBからの空間生成
空間上での検索
仮想空間・拡張現実空間
JSPS Multimedia Contents Project
35
対象コンテンツ
 ビデオ、文
書、空間
データ、
モーション
データ、３
ＤＣＧデー
タ、放送
データ
仮想スタジオ用素材
モーションデータ
都市空間データ
テクスチャ素材
実写映像
JSPS Multimedia Contents Project
36
研究内容
 コンテンツの構造化と検索
 映像などの連続メディアの記述・検索モデル
 コンテンツベースの構造化機構
 半構造データの再構造化
 素材の組み合わせ検索
 コンテンツの流通管理
 コンテンツのアクセス権管理
 コンテンツの版権管理
 放送型コンテンツ配送
 コンテンツ検索と動的組織化
 PUSH型に対応したNews On Demandシステム
JSPS Multimedia Contents Project
37
マルチメディアコンテンツの特性 (1)
半構造性
 完全なスキーマを持たない
 データ項目の出現位置が不定
 再構造化機構（コンテンツベースの分類、集合型
再構造化言語、ビュー定義）の必要性
JSPS Multimedia Contents Project
38
マルチメディアコンテンツの特性 (2)
多様性
 メタデータ（内容記述情報）の多様性（多レベル
性）
 ビュー統合、レイヤ構造、ハイブリッド化の必要性
 表示・サービスの多様性
 マルチバージョン、自律的管理の必要性
 利用者の視点の多様性
 印象や使用履歴に基づく類似検索、ビューの必要性
JSPS Multimedia Contents Project
39
マルチメディアコンテンツの特性 (3)
連続性
 情報単位や検索単位が連続的
 連続オブジェクトに適したオーサリング・検索モデ
ルの必要性
JSPS Multimedia Contents Project
40
アプローチ
 半構造性
 インスタンスベース、オブジェクトモデル（プロトタイプ、メディエータ）
 ビュー
 動的構造化、自己組織化
 多様性




ビュー・知識の統合
分散オブジェクト
インスタンス・オブジェクトのビュー
印象・感性検索
 連続性
 ストリーム＋半構造のデータ操作
 連続オブジェクトの記述・検索モデル
 ストリームと内容記述の一体化（MPEG7）
JSPS Multimedia Contents Project
コンテンツの構造化と検索
－連続メディアの記述と検索－
サイボーグ
サイボーグ
怪獣
怪獣
戦闘
41
区間１
区間２
区間３
 質問：「サイボーグが怪獣と戦っている区間？」
 AND解釈：サイボーグ AND 怪獣 AND 戦闘
 区間１，２，３のintersectionが解？
 OR解釈：サイボーグ OR 怪獣 OR 戦闘
 {区間１，２，３}が解？
 区間１，２，３の拡張unionが解区間
 解区間中でキーワードはどこかに出現（somewhere）
 解区間中のノイズの扱いと解の評価尺度JSPS Multimedia Contents Project
コンテンツの構造化と検索
－内容記述モデル－
42
 時刻印付きオーサリンググラフ
 区間指定の困難さへの対処 (DEXA97)
 解区間の動的合成とキーワー
ドの成立範囲・同時性を考慮し
たモデル




記述の有効範囲と同時性
記述の半順序関係による近似解検索
情処国際シンポ97
x*: everywhere
x^: surface (この範囲のみ）
x : somewhere (どこか）
x・y : xとyが同時
内容記述
JSPS Multimedia Contents Project
コンテンツの構造化と検索
－コンテンツベースの構造化－
43
 ハイブリッド型構造化機構
コンテンツとメタ情報併用に
よるコンテンツ群の自己組
織化 (DMIB’97)
 分類精度の向上
 メタ情報記述の軽減
 Kohonenの自己組織化マッ
プの3D化 (DASFAA’97)
 インターネットで収集した文
書・動画の動的な分類
(DASFAA’97)
３次元自己組織化マップ
JSPS Multimedia Contents Project
コンテンツの構造化と検索
－半構造データの再構造化－
 内容処理による再構造化




木構造、部分木が実体に対応
同一タグの出現レベルが不定
コンテンツベースの再構造化
メイリングリスト, web, VRMLデータ
 半構造データの再構成
 半構造データ再構造化言語の開発
(情処全大9709)
 Web・VRMLデータのビュー定義
 仮想空間上でのwalkthrough
による質問形成 (投稿中)
 サンプルによる質問ベクトル形成
JSPS Multimedia Contents Project
44
コンテンツの構造化と検索
－映像制作素材の組み合わせ検索－
３ＤＣＧ素材の組み合わせ検索 (DMIB97)
 3D CGオブジェクト（大道具・小道具）の組合せ検索
印象語
ベクトル空間モデルでの部分マッチング
VRMLデータの検索と合成
 VRML検索エンジン(投稿中)
VRMLの論理構造に基づく検索
 VRML空間の対話的生成 (実装中)
空間による型制約
JSPS Multimedia Contents Project
45
46
仮想スタジオセット
JSPS Multimedia Contents Project
コンテンツの構造化と検索
－モーションデータの内容記述と検索－
47
拡張ビデオ代数の利用
(DMIB97)
 マルチストリーム
 マルチレイヤ
 階層記述
VRML空間での合成・表示
JSPS Multimedia Contents Project
コンテンツの構造化と検索
－ News On Demand －
48
マルチメディア情報
の意味抽出
JSPS Multimedia Contents Project
コンテンツの流通管理
－アクセス権管理－
49
 マルチメディアコンテンツのア
クセス権管理（WWCA97）




多レベルの詳細度を持つ
利用者毎に異なる詳細度
複雑な部分・全体関係
従来のDBMSのアクセス権管理はallor-nothing
 Non all-or-nothingなアクセス
権管理方式の必要性（投稿
中）
 マルチメディアDBのための新しいアク
セス権管理手法の確立が求められる
JSPS Multimedia Contents Project
コンテンツの流通管理
－版権管理－
50
 コンテンツと認証機構の分散オブジェクト化
 自律的な認証・配送
 DEXA97および投稿中
 認証レベルに応じたサービス多様化
マルチメディアデータ
オブジェクト化
認証要求
認証された
画像オブジェクト
認証されていない
画像オブジェクト
Level1 index
Level2 Index
Level3 Index
Methods
JSPS Multimedia Contents Project
放送型コンテンツ配送
－コンテンツ検索と動的組織化－
 デジタル衛星放送の電子番組ガイド
 フィルタリングと動的リンク付与：連続問合せ機構
 動的再構築方式
 PACRIM97
受信
送出システム
ｔ
JSPS Multimedia Contents Project
51
放送型コンテンツ配送
－ AgentCast －
52
コンテンツにまつわるさまざまな問題を新しい
放送をベースに考える。
ベースとなる技術
 コンテンツの記述と構造化
 エージェント（Mobile Code, Intelligent Agent)
 Mass/Communityからのフィードバック(Data Mining)
 個人からのフィードバック(情報フィルタリングと学習)
JSPS Multimedia Contents Project
53
放送型コンテンツ配送
 生産のための技術
 再利用，再構成のためのメディア蓄積技術
取材エージェント，編集エージェント
 コンテンツのモデル化
 安全に流通させる技術
 課金，認証，委譲
 エージェントとセキュリティ

 消費のための技術
 大量のマルチメディアコンテンツを短時間でアクセスするためのメディ
ア処理技術
 情報フィルタリング，情報エージェント
 広域放送のためのネットワーク技術
 情報配送，異機種分散環境への適応，QoS
JSPS Multimedia Contents Project
放送型コンテンツ配送
－ AgentCast －
54
User Agent
AgentCast
Server
down link
Media
Agent
ﾋﾞﾃﾞｵ
ﾋﾞﾃﾞｵ
Directory
Server
Communication
Agent
up link
User Terminal
AgentCastのアーキテクチャ
JSPS Multimedia Contents Project
ﾏﾙﾁﾒﾃﾞｨｱ・ｺﾝﾃﾝﾂのﾃﾞｰﾀﾍﾞｰｽからの
仮想空間・拡張現実空間の
生成と活用
岸野文郎*1 西尾章治郎*1 北村喜文*1
塚本昌彦*1 正城敏博*1 有川正俊*2
*1
*2
大阪大学
広島市立大学
JSPS Multimedia Contents Project
ﾏﾙﾁﾒﾃﾞｨｱ・ｺﾝﾃﾝﾂのﾃﾞｰﾀﾍﾞｰｽからの
仮想空間・拡張現実空間の生成と活用
56
知的構造化されたﾏﾙﾁﾒﾃﾞｨｱ・ｺﾝﾃﾝﾂを用い，
利用者の目的に応じたｱｸｾｽ・配送方式により，
利用者が所望する新たなﾏﾙﾁﾒﾃﾞｨｱ・ｺﾝﾃﾝﾂを
生成する
利用者に解り易いﾏﾙﾁﾒﾃﾞｨｱ・ｺﾝﾃﾝﾂの提示
→仮想現実空間構築技術の積極的活用
JSPS Multimedia Contents Project
リアリティに富む仮想現実空間の生成
57
－実空間映像の積極的活用－
仮想現実空間の一部に実空間映像を融合
→拡張現実を基本とするﾏﾙﾁﾒﾃﾞｨｱ・ｺﾝﾃﾝﾂの提示
 データビジュアリゼーション
実映像から仮想現実空間を生成、実空間に重畳
→実映像を用いた3次元ｼｰﾝの獲得とｲﾝﾀﾗｸﾃｨﾌﾞ操作
 創造性支援
現実空間に仮想空間映像を重畳
→ﾓｰﾊﾞｲﾙｺﾝﾋﾟｭｰﾃｨﾝｸﾞによる拡張現実空間の構築
 コミュニケーション支援
JSPS Multimedia Contents Project
58
時空間情報ベースと
空間ハイパーメディア
大規模仮想空間をネットワーク環境下で扱
う技術の確立 [IWQOS97][SPIE-DVV97]
実時間ビデオ映像と３次元仮想空間の融合
アバタの振る舞いに応じた仮想空間の動的
再構成
JSPS Multimedia Contents Project
大規模仮想空間をネットワーク
環境下で扱う技術の確立
JSPS Multimedia Contents Project
59
実時間ビデオ映像と
３次元仮想空間の融合
JSPS Multimedia Contents Project
60
アバタの振る舞いに応じた
仮想空間の動的再構成
JSPS Multimedia Contents Project
61
リアリティに富む仮想現実空間の生成
62
－実空間映像の積極的活用－
仮想現実空間の一部に実空間映像を融合
→拡張現実を基本とするﾏﾙﾁﾒﾃﾞｨｱ・ｺﾝﾃﾝﾂの提示
 データビジュアリゼーション
実映像から仮想現実空間を生成、実空間に重畳
→実映像を用いた3次元ｼｰﾝの獲得とｲﾝﾀﾗｸﾃｨﾌﾞ操作
 創造性支援
現実空間に仮想空間映像を重畳
→ﾓｰﾊﾞｲﾙｺﾝﾋﾟｭｰﾃｨﾝｸﾞによる拡張現実空間の構築
 コミュニケーション支援
JSPS Multimedia Contents Project
63
背景
仮
想 仮想世界 物体単位に
・
モデリング
現
実
混
TVカメラで
現実世界
在
撮影
空
間
物体単位に
操作可能
フレーム
単位で操作
映像中の特定の対象に注目した
コンテンツベースの操作
直
感
的
・
直
接
操
作
イ
ン
タ
フ
ェ
ー
ス
JSPS Multimedia Contents Project
実映像を用いた3次元ｼｰﾝの獲
得とｲﾝﾀﾗｸﾃｨﾌﾞ操作
多視点実映像を用いた仮想・現実混在
空間の生成
映像コンテンツの切り出しと3次元
トラッキング
映像コンテンツに対する直感的・直接操作
のインタフェース
仮想・現実物体に作用する物理法則を
考慮した統一的物体操作の枠組み
[HIS97][VRST97]
JSPS Multimedia Contents Project
64
野生動物園における
各種インタラクションの例
観察
捕獲
様々な
ｲﾝﾀﾗｸｼｮﾝ
接触
餌付け
JSPS Multimedia Contents Project
65
66
ディジタル野生動物園
real world
virtual world
JSPS Multimedia Contents Project
67
ディジタル水族館
Virtual world
Real fishtank
JSPS Multimedia Contents Project
68
水槽に対するインタラクティブ操作
魚を捕る
視点移動
魚の見え隠れの観察
餌をやる，手を叩く，水槽を叩く….
JSPS Multimedia Contents Project
69
研究項目
実映像を用いた3次元ｼｰﾝの
獲得とｲﾝﾀﾗｸﾃｨﾌﾞ操作
 多視点動画像解析・処理による対象物の追跡と
切り出し，3次元位置の計測
 仮想世界とのインタラクション
 動物体との接触，隠蔽関係の処理
 動物体の把持， 捕獲，操作
⇒ 当該対象物を背景色でﾏｽｷﾝｸﾞなど
 視点に対する前後関係の判断
⇒ 他の視点のｶﾒﾗを利用したﾚｲﾔの調整
 動物体の生態に基づくｼｰﾝの切り出し・蓄積と，
ｲﾝﾀﾗｸｼｮﾝの局面に応じた再生
JSPS Multimedia Contents Project
70
仮想世界と現実世界の融合
現実世界
実・仮想物体が同一の
枠組で扱える
実物体に作用する物理法則に
制限を設ける
融合世界 妥協点を見つける
仮想物体に対して
一部の物理法則を模擬する
仮想世界
JSPS Multimedia Contents Project
仮想物体と実物体の統一的な
操作実験環境
現実世界
接合
仮想世界
物
体
の
各
面
に
磁
石
を
貼
付
け
衝突検出
仮
想
磁石 的 ・ 接触面で物体の
ﾒﾀﾌｧの な
運動を拘束
磁
利用
接合
石 ・ 物体同士の
を
非透過性を確保
模
擬 ・ 正確な物体配置
を支援
JSPS Multimedia Contents Project
71
リアリティに富む仮想現実空間の生成
72
－実空間映像の積極的活用－
仮想現実空間の一部に実空間映像を融合
→拡張現実を基本とするﾏﾙﾁﾒﾃﾞｨｱ・ｺﾝﾃﾝﾂの提示
 データビジュアリゼーション
実映像から仮想現実空間を生成、実空間に重畳
→実映像を用いた3次元ｼｰﾝの獲得とｲﾝﾀﾗｸﾃｨﾌﾞ操作
 創造性支援
現実空間に仮想空間映像を重畳
→ﾓｰﾊﾞｲﾙｺﾝﾋﾟｭｰﾃｨﾝｸﾞによる拡張現実空間の構築
 コミュニケーション支援
JSPS Multimedia Contents Project
73
透明人間環境
[DiCoMo97][信学研資DE97]
[PacRim97]
実空間と仮想空間を相互にマッピング
実空間から仮想空間の状況を，仮想空間か
ら実空間の状況を知ることが可能
両空間からのインタラクションが可能
 利用例
遠隔会議，在宅勤務，ホームオートメーション，
旅行，旅行ガイド，電子秘書，アンパイアなど
JSPS Multimedia Contents Project
74
透明人間環境
仮想空間
実空間
Invisible Person
Host (IPH)
実人間
Existence-Sensitive
Pad (ESP)
透明人間
ESPer
JSPS Multimedia Contents Project
75
透明人間環境
遠隔地のユーザ（透明人間）は，グラフィック
ワークステーションを用いて仮想的に実空間
に訪れる．
実空間において，透明人間の姿は（もちろ
ん）見えない．
実人間は，ESPを用いることで透明人間の姿
が見える．
ESPを持つ人をエスパー（ESPer）と呼ぶ．
JSPS Multimedia Contents Project
76
JSPS Multimedia Contents Project
77
JSPS Multimedia Contents Project
78
年度別研究計画
平成９年度
 マルチメディア･コンテンツ処理のベースとなるマ
ルチメディア･データモデルの構築
平成１０年度
 マルチメディアコンテンツの共有･再利用･加工技
術およびコンピュータ･ネットワーク技術に関する
研究
 国際会議 International Conference on Advanced
Multimedia Contents Processing を企画中
JSPS Multimedia Contents Project
79
年度別研究計画
平成１１年度
 マルチメディア･コンテンツの高次処理技術システム
を構築
平成１２年度
 マルチメディア･コンテンツを含む情報ベースに知識
システムを導入
平成１３年度
 研究成果の評価および、より高度なネットワーク環境
におけるデータベース･アーキテクチャの検討
JSPS Multimedia Contents Project