Transcript マルチメディア・コンテンツの高次処理の研究

JSPS - RFTF
AMCP Project
知能情報・高度情報処理
マルチメディア・コンテンツの
高次処理の研究
平成９年度開始
西尾 章治郎
大阪大学大学院工学研究科
情報システム工学専攻
[email protected]
1
JSPS - RFTF
AMCP Project
AMCP‐Project 参加研究者
プロジェクトリーダー
西尾 章治郎 （大阪大学）
参加研究者
上原 邦昭 （神戸大学）
下條 真司 （大阪大学）
有川 正俊 （東京大学）
コアメンバー
北村 喜文 （大阪大学）
有木 康雄 （龍谷大学）
塚本 昌彦 （大阪大学）
岸野 文郎 （大阪大学）
角谷 和俊 （京都大学）
田中 克己 （京都大学）
春本 要 （大阪大学）
田島 敬史 （北陸先端大）
正城 敏博 （大阪大学）
原 隆浩
（大阪大学）
2
JSPS - RFTF
AMCP Project
Hardware
Software
void
main()
・・ ・・
}
Multimedia
Contents
3
JSPS - RFTF
AMCP Project
マルチメディア・コンテンツと
情報化社会
ビジネス
(eコマース，仮想組織)
家庭・娯楽
（放送など）
コンテンツ
データベース
アクセス環境
文化
（電子図書館・
博物館・美術館）
国土
（空間データ基盤, GIS）
インターネット
放送
教育
（遠隔教育）
4
JSPS - RFTF
AMCP Project
マルチメディア・コンテンツの流通の現状の課題
適切な収入
が得られない
ユーザ
クリエータ
登録
効果的な
検索が困難
購入
コンテンツ
データベース
検索
ユーザ
不正ユーザ
不正入手
求めるサービスを
適切な価格で利用できない
購入したコンテンツを
不正利用
5
JSPS - RFTF
AMCP Project
マルチメディア･コンテンツ処理技術
マルチメディア・コンテンツ
⑤提示機構
①組織化
機構
共有・
再利用
部品化
・蓄積
⑥生成支援機構
ユーザ
②内容記述・検索モデル
DB
③アクセス管理機構 ④配送・フィルタリング
6
JSPS - RFTF
AMCP Project
プロジェクトの成果の例
7
JSPS - RFTF
AMCP Project
マルチメディア・コンテンツの特徴(1)
 ３つの連続性
Video image (1-D data)
時間
Computer graphics (3-D data)
Map (2-D data)
s
品質
空間
8
JSPS - RFTF
AMCP Project
マルチメディア・コンテンツの特徴(2)
 半構造性
 Webコンテンツの場合
9
JSPS - RFTF
AMCP Project
マルチメディア・コンテンツの特徴(2)
 半構造性
 ニュース番組の場合
ニュース番組間の
半構造ネットワーク
•同一トピックのニュース
•同一地域のニュース
•同一ジャンルのニュース．．．
個々のニュース番組
にも半構造性
10
JSPS - RFTF
AMCP Project
マルチメディアシステム開発の要件
適応性(Adaptation)
ネットワーク環境
端末環境
(author intention)
ユーザの嗜好 (user preference)
コンテンツ制作者の意図
個別化(Personalization)
ユーザの嗜好によるコンテンツ適応
User adaptation = Personalization
11
JSPS - RFTF
AMCP Project
AMCP-Project のねらい

マルチメディア・コンテンツの高次処理の実現
 マルチメディアデータベースとしての高度機能
• 連続メディア，半構造メディア処理機能など
1.
2.
3.
4.
5.
6.
組織化機構
内容記述・検索モデル
アクセス管理機構
配送機構
提示機構
生成支援機構
マルチメディアデータベースの6機構
マルチメディアデータベース
の新しいソフトウェアプラット
フォームの確立
新分野の開拓の可能性
連続メディアの科学
演出工学
放送とデータベース
12
課題へのアプローチ
情報のパーソナライゼーション
情報の組織化・構造化
情報組織化
連続メディアデータと
半構造データ
情報流通
情報の配送と提示
コンテンツ権利処理
協調アノテーション
コンテンツのアクセス管理
情報フィルタリング
情報検索
情報の検索と探査
JSPS - RFTF
AMCP Project
3研究主題と6機構の関わり
組織化機構
知的構造化
内容記述・検索モデル
有木：メディア解析
上原：人工知能技術
提示機構
仮想空間・拡張現実
西尾：
マルチメディア
データ工学
組織化機構
内容記述・検索モデル
管理機構
空間の生成と活用
岸野：拡張現実技術
内容記述・検索モデル
提示機構
田中：データベース技術
下條：ネットワーク技術
生成支援機構
配送機構
提示機構
アクセスアーキテクチャ
14
JSPS - RFTF
AMCP Project
研究の方法
高次処理のための
重要な要素技術の洗い出し
マルチメディア・コンテンツ
の特性を考慮
できうるかぎり現実の
具体的な応用システム
を対象とする
要素技術に関する提案
とシステムの開発・実装
全体で一つの大きな
統一システムの構築は
目指さない
15
JSPS - RFTF
AMCP Project
応用システムの例
各研究グループでの成果が核となって構築されたシステム
組織化機構
– 放送番組検索のための自動索引付けシステム
内容記述・検索モデル
– テレビニュース，ドラマの要約版自動作成システム
管理機構
– 建築物データサービスの版権・課金管理システム
配送機構
– ニュース・オン・デマンドシステム
提示機構
– 歴史的遺産のウォークスルーシステム
生成支援機構
– インタラクティブ仮想水族館
16
JSPS - RFTF
AMCP Project
基礎研究に関する最終成果のイメージ
マルチメディア・コンテンツの特性
連続性
組織化
検索
編集
半構造性
QoS機構
空間メディアの有効性
基本アーキテクチャの提案
基礎的要素技術の開発
適応化・個別化
管理
配送
提示
従来のデータベース技術の枠組みを超えたマルチメディア・
コンテンツの処理技術のための研究開発
17
JSPS - RFTF
AMCP Project
これまでの研究業績
（平成9年度のプロジェクト開始以降）
特許出願
– 6件(＋手続き中2件)
公開を目的としたソフトウェア開発
– 19件(一部，公開予定も含む)
研究成果の出展
– 11回
招待講演
– 48件(うち国際会議8件)
招待論文(英文誌)
– 5件
本プロジェクトを紹介した特集英文論文誌
– NGC, Vol.18, No.4, 2000
学術雑誌掲載論文
– 90編
国際会議録掲載論文
– 182編
国内シンポジウム・研究会・学会大会等
– 409件
解説記事
– 19編
新聞掲載
– 4件
テレビ番組取材
– 2件
18
JSPS - RFTF
AMCP Project
プロジェクト成果の要約
組織化
• 流通コンテンツを部品化する技術
精度に関する国際的な
競争で評価を得る
受賞
18件
• 部品から編集技術への発展
内容記述・検索・アクセス管理
• コンテンツの検索に関する数学的基盤の確立(IEEE TKDE)
• Webコンテンツの代数的な扱いへの挑戦(ACM Hypertext)
配送・フィルタリング
• コンテンツフィルタリングの数学的基盤の確立(VLDB2001)
• QoS機構に関する基盤技術の確立と大規模実験の実施
提示
学会において受賞多数
• 時空間を活用した効果的な提示方法の提案とシステム開発
生成支援
マスコミ取材
• 拡張現実＋データベース＋インタラクションの統合技術
19
JSPS - RFTF
AMCP Project
プロジェクトの情報分野における貢献
第2期科学技術基本計画(2001年開始)
従来のハードウェア・ソフトウェアの重要性
＋
コンテンツの重要性
本プロジェクトはその重要性を先取りして
さまざまな成果をあげた
20
JSPS - RFTF
AMCP Project
学問体系の確立に寄与
情報学の体系の確立を目指した
岩波講座「マルチメディア情報学」 （長尾，安西，岸野，西尾
編）
編集・執筆にプロジェクトメンバーが積極的に参画
特に以下の巻の刊行に貢献
–
–
–
–
–
–
第3巻 「情報の表現」
第5巻 「画像と空間の情報処理」
第6巻 「情報の可視化」
第7巻 「情報の共有と統合」
第8巻 「情報の構造化と検索」
第12巻「相互の理解」
21
JSPS - RFTF
AMCP Project
国内外との連携・交流
AMCP’98で関連分野の著名な研究者6名を招聘
– 継続した研究交流
オランダCWI，Univ.of Twenteの研究グループとの交流
– 同様な国家プロジェクトを推進
米国San JoseのNECの研究所，シンガポールNUS
– 協調的な研究の継続
DBWeb2000の共催
– 我が国のデータベース研究領域における最大規模のシンポジウム
「マルチメディア・コンテンツの知的構造化」研究会共催
– 2000年11月
DBWeb2001の招待講演特別セッション(本報告会)
– データベース，Web分野の研究者との交流を図る
DBWeb2001で関連分野で活発な研究を展開している研究者5名を招聘
– 意見交換，共同研究の可能性を探る
22
JSPS - RFTF
AMCP Project
AMCP-Projectの大規模応用システム
実コンテンツと関連したプロトタイプ
バーチャル適塾・懐徳堂
•エデュテイメントとデータベースの一例
•ＡＭＣＰプロジェクトの最終年
大阪大学グループ
２００１年５月完成予定
大阪大学７０周年
記念事業
23
JSPS - RFTF
AMCP Project
適塾塾生データベース
検索画面
人物情報画面
24
JSPS - RFTF
バーチャル適塾
ナビゲーションシステム
AMCP Project
座標系対連動法により，等身大視点と環境を大局的に眺め
る鳥瞰視点を関連付けて操作
大阪大学創立70周年記念事業として作成された
3次元仮想空間バーチャル適塾において
効率的なウォークスルーを支援
25
JSPS - RFTF
AMCP Project
バーチャル適塾ナビゲーションシステム
プラズマディスプレイ
半透明スクリーン
回転盤
プロジェクタ
パッド
インタフェース
スライド機構
26