Transcript 講演スライド
2001 JSPS - Symposium AMCP Project 知能情報・高度情報処理 マルチメディア・コンテンツの 高次処理の研究 平成９年度開始 西尾 章治郎 大阪大学大学院工学研究科 情報システム工学専攻 [email protected] 1 2001 JSPS - Symposium AMCP Project AMCP‐Project 参加研究者 プロジェクトリーダー 西尾 章治郎 （大阪大学） 参加研究者 上原 邦昭 （神戸大学） 下條 真司 （大阪大学） 有川 正俊 （東京大学） コアメンバー 北村 喜文 （大阪大学） 有木 康雄 （龍谷大学） 塚本 昌彦 （大阪大学） 岸野 文郎 （大阪大学） 角谷 和俊 （神戸大学） 田中 克己 （神戸大学） 春本 要 （大阪大学） 田島 敬史 （神戸大学） 正城 敏博 （大阪大学） 原 隆浩 （大阪大学） 2 AMCP Project 2001 JSPS - Symposium 本日の講演の内容 プロジェクトの概要 本年度の成果 平成9年度以降の活動の特記事項 「インタラクションによるコンテンツの 生成と提示」の研究内容 3 2001 JSPS - Symposium AMCP Project Hardware Software void main() ・・ ・・ } Multimedia Contents 4 2001 JSPS - Symposium AMCP Project マルチメディア･コンテンツ処理技術 マルチメディア・コンテンツ ⑤提示機構 ①組織化 機構 共有・ 再利用 部品化 ・蓄積 ⑥生成支援機構 ユーザ ②内容記述・検索モデル DB ③アクセス管理機構 ④配送・フィルタリング 5 AMCP Project 2001 JSPS - Symposium AMCP-Project のねらい マルチメディア・コンテンツの高次処理の実現 マルチメディアデータベースとしての高度機能 • 連続メディア，半構造メディア処理機能など 1. 2. 3. 4. 5. 6. 組織化機構 内容記述・検索モデル アクセス管理機構 配送・フィルタリング 提示機構 生成支援機構 マルチメディアデータベース の新しいソフトウェアプラット フォームの確立 新分野の開拓の可能性 連続メディアの科学 演出工学 放送とデータベース 6 AMCP Project 2001 JSPS - Symposium プロジェクトの成果の例 7 2001 JSPS - Symposium AMCP Project マルチメディア・コンテンツの特徴(1) ３つの連続性 Video image (1-D data) Time Computer graphics (3-D data) Map (2-D data) s Quality Space 8 2001 JSPS - Symposium AMCP Project マルチメディア・コンテンツの特徴(2) 半構造性 A News Story ニュース番組の 半構造ネットワーク time time time time Micro-topic 個々の ニュース番組も 半構造表現 9 2001 JSPS - Symposium AMCP Project マルチメディアシステム開発の要件 適応性(Adaptation) ネットワーク環境 端末環境 (author intention) ユーザの嗜好 (user preference) コンテンツ制作者の意図 個別化(Personalization) ユーザの嗜好によるコンテンツ適応 User adaptation = Personalization 10 AMCP Project 2001 JSPS - Symposium 映像メディアに対する知的構造化 解析系 音声・話者認識の統合 による構造化(H9) 映像・文字認識による クロスメディア検索(H10) 1 組織化機構 2 内容記述・検索モデル 5 提示機構 6 生成支援機構 記述系 映像データ中の内容記述モデルの開発(H10) 映像データ中の意味的構造の発見(H11) 編集系 映像メディア編集支援システム(H12) 11 2001 JSPS - Symposium AMCP Project 映像メディア編集支援システム ロケ ディレクターは 絵コンテを 作成する ディレク ター カメラマンは 絵コンテにあう 映像を撮影する カメラマン 映像 文法 指示 素 材 映 像 エディター インデキシング 撮り下ろし映像 のデータベース 結 果 検 索 映像 生成 検索 素材映像 データベース 12 ユ編映 ー集像 ザ支メ イ援デ ンシィ タスア フテ ェム ー スの ショットの代表フレームを表示 代表フレーム 番組の映像として使用できるショットの自動抽出 ショットの切れ目 素材映像 カメラワーク 人 フォーカス 動作 色 構図の方向 pan fix 1S/FF/F right fix 0S TS static R 1S/CU/F TS FS 0S LS static R L left F AMCP Project 2001 JSPS - Symposium 適応型コンテンツ配送アーキテクチャ 1 組織化機構 適応型Webコンテンツ配送 4 配送・フィルタリング ネットワーク環境への適応 5 提示機構 (Adaptation) 端末，個人プロファイルの取り込み(Personalization) PDAのためのコンテンツ詳細度制御(Synchronization) インタラクティブコンテンツの品質制御 サービス品質を考慮した配送アーキテクチャ • 複数サーバへの負荷分散 • マルチキャストの利用，詳細度制御 (Adaptation) 14 2001 JSPS - Symposium AMCP Project 適応型 Webコンテンツ配送 コンテンツ提供者 (abc company) (bbb company) (xyz company) コンテンツ配送サービスの適用 • 端末プロファイル • 個人プロファイル メタデータ ユーザ プロファイル ユーザプロファイル の登録・更新 コンテンツ 適応機構 コンテンツ WWWサーバ コンテンツ要求 個人化，同期化 端末・個人への適応 ブラウザ（ユーザ） 適応コンテンツの配送 ネットワーク環境への適応 15 AMCP Project 2001 JSPS - Symposium 情報放送環境のためのデータベース コンテンツの受動的視聴技術 ディジタルTV・携帯端末の ためのWebコンテンツの 受動的視聴技術の開発 1 組織化機構 2 内容記述 4 フィルタリング 5 提示機構 6 生成支援機構 • Webコンテンツの自動番組化技術 • 番組コンテンツ記述のためのscript記述言語 Relax ! (S-XML) 16 2001 JSPS - Symposium AMCP Project コンテンツの受動的視聴技術の開発 Webの受動的視聴 意味構造解析 （部分文書抽出， タグ解析による 同期化領域の発見） 高橋尚子が国際千葉駅伝を欠場 左ひざ痛で（17：55） 台本自動生成 （提示パス生成） 高橋尚子が国際千葉駅伝を欠場 左ひざ痛で シドニー五輪女 子マラソンで金メダルを獲得した高橋尚子（積水化学）が、五輪後 初の公式レースとして出場を予定していた23日の国際千葉駅伝 を左ひざ痛のため欠場することになった。 ニュース news.com SMIL （映像ストリーム） A1 S-XML 通常のWeb （HTML文書） 台本記述 (S-XML) 同期化 コンテンツ 生成 TVML （音声読み上げ， CGアニメ） 17 AMCP Project 2001 JSPS - Symposium 空間メディア統合による マルチメディア・コンテンツの提示 空間メディア統合 映像空間メディア， 1 組織化機構 2 内容記述・検索モデル 5 提示機構 6 生成支援機構 静止画空間メディア， 言語空間メディアとその統合手法の確立 これらの空間メディアを基本として構築した 位置情報の統合管理・利用基盤の構築 応用システムの構築 18 AMCP Project 2001 JSPS - Symposium 遠隔地ユーザの 操縦するシステ ム 遠隔地ユーザの画面 現実空間にいるユー ザ HMD-TOPとROBO-TOPによる 現実空間でのコンテンツ共有 19 AMCP Project 2001 JSPS - Symposium インタラクションによる コンテンツの生成と提示 映像データベース インデックス 1 組織化機構 2 内容記述・検索モデル 5 提示機構 6 生成支援機構 • 映像特有の特徴パラメータ(形状，動き等) 検索キー • 特徴パラメータを直感的に入力(ジェスチャ) 検索結果 • コンテンツの生成に利用 20 AMCP Project 2001 JSPS - Symposium AMCP-Projectの大規模応用システム 実コンテンツと関連したプロトタイプ バーチャル適塾・懐徳堂 •エデュテイメントとデータベースの一例 •ＡＭＣＰプロジェクトの最終年 大阪大学グループ ２００１年５月完成予定 大阪大学７０周年 記念事業 21 AMCP Project 2001 JSPS - Symposium 適塾塾生データベース 検索画面 人物情報画面 22 AMCP Project 2001 JSPS - Symposium 国内外との連携・交流 AMCP’98で関連分野の著名な研究者を6名を招聘 →これらの研究者との継続した研究交流 同様な国家プロジェクトを推進しているオランダCWI，Univ. of Twenteの研究グループとの情報交換 米国San JoseのNECの研究所，シンガポールNUSなどとの 協調的な研究の継続 DBWeb2000の共催 我が国のデータベース研究領域における最大規模のシンポジウム 「マルチメディア・コンテンツの知的構造化」の研究会を共催 （2000年11月） 23 AMCP Project 2001 JSPS - Symposium これまでの研究業績 （平成9年度のプロジェクト開始以降） 特許出願中 1件 公開を目的としたソフトウェアの開発 １３件 招待講演 ３４件 招待論文（英文誌） 5編 本プロジェクトを紹介した特集英文論文誌 （ＮＧＣ Vol. 18, No. 4, 2000) 論文誌掲載論文 ７９編 国際会議録掲載論文 １４８編 国内シンポジウム・研究会・学会大会等 ３００編以上 岩波講座「マルチメディア情報学」 第７，８，１２巻 24