Transcript 有木グループ
マルチメディア･コンテンツの組織化機構 マルチメディア･コンテンツ ①組織化機構 ＤＢ 道具：メディア解析技術， 人工知能技術 解体・整理の仕事 現実世界に流通するマルチ メディア・コンテンツを部品に 解体する． 部品が大道具・小道具として 共用・再利用できるように特徴 づけを行う． 有木，田中，有川，田島 マルチメディア・コンテンツに対して 要求される機能(1) 放送（テレビ映像） （今見ているニュースに関係している ＢＢＣのニュースが見たい） （手短に，分かり易く） •類似したトピックの検索 •放送内容の要約･解説 •索引付け •トピック抽出， トピッククラスタリング 通信（Ｗｅｂ文書） •希望するトピックの検索 （宇宙飛行について知りたい） •Ｗｅｂ文書の自動分類 •ユーザ視点による分類の修正 •トピック抽出 マルチメディア・コンテンツに対して 要求される機能(2) ストーリの無い映像 •映像中のオブジェクトに対する情報検索 （この建物は何？） •空間記述データ （位置と方位，ＧＰＳ） •地球･都市空間データ （３次元） 映像とすり合わせて統合 ストーリのある映像 •因果関係の検索 •予測 （何故こうなったの？） （今後はどうなるの？） •トピック抽出と内容記述の統合 テレビ映像の組織化プロセス コンテンツ 概念 意味検索 記述の抽象化＆意味付け 構 造 化 ／ 組 織 化 トピック トピック検索 記号 オブジェクト 検索 構 造 化 時空間における関係付け 認識＆索引付け パターン パターン検索 セグメンテーション＆分類 データ 信号 信号検索 部品 組 織 化 テレビ映像の組織化の内容 概念 •類似トピック •複数言語 •類似トピック •複数言語 •シーンタイプ トピック •トピック抽出 •トピック分類 •トピック抽出 •トピック分類 •イベント抽出 •状況記述 •ディクテーション •重要語抽出 •話者認識 •文字認識 •形態素解析 •重要語抽出 •フレームの認識 •動物体抽出と追跡 •静止物体の認識 •音声/音楽の分離 •話者区間の検出 •重なり検出 •フレーム抽出 •カット検出 •文字領域抽出 •動領域抽出と追跡 •文字抽出 •静止領域の分割 統合 トピック 抽出 記号 認識 パターン セグメン テーション 信号 音声 文字 映像 テレビ映像の組織化システム ニュース映像の情報検索 ディジタル ビデオ ＴＶ ＷＳ この単語 は？ 画像指示 この人は 誰？ スポーツ・野 球？ 音声入力 Loop Point A2 PKOって 何？ A1 記事クラスタ Cut Point A3 NHK 日本、PKOに参加 ニュース記事のリアルタイム切り出し 記事切り出し率 99.2% 音声ディクテーションによる ニュース記事の組織化 単語正解精度 67.6% 記事分類率 87.3% キャスター音声 分類表索引 制裁 期限 を 目的 に 控えた 日米 自動車 問題 を めぐる ニュース 記事 10分類 総類 政治 経済 労働 文化 科学 社会 事件 スポーツ 国際 制裁 大蔵 日米 自動車 問題 分類確率 分類結果 政治 ディクテーション 時間 テロップ解析による ニュース記事の組織化 文字認識 （ａ） ニュース映像 フレーム検出率 91.7% テロップ文字認識率 81.4% 記事分類率 83.8% （ｂ） 文字領域の切り出し （ｃ） 認識結果 北朝鮮浬不届 コメ援助要請 （ｆ） 分類 国際、経済 （ｅ） キーワード 北朝鮮，コメ，援助，要請 （ｄ） 形態素 ＊北朝鮮，15-浬， 10-不，10-届，10-コメ， 10-援助，16-要請，16 フレーム特徴を用いたスポーツ ニュース映像の組織化 分類率 98.6% 自己組織化マップを用いた Web文書の組織化 自己組織化マップ(SOM) T. Kohonen， 教師無し学習モデル SOMの3次元表示とWeb文書・映像コンテ ンツの自己組織的分類 キーワード記述とSOMを併用した映像の 分類とオーサリング環境の実現 SOMとの対話による分類修正 ユーザインタラクションによる分類・質問の 段階的修正． 検索エンジンgooの出力結果の分類 Web文書の部分グラフの分類 自己組織化マップを用いた Web文書の組織化と対話型修正 SOMに対する対話型操作(拡大・合併等）による修正 goo検索エンジンへの質問修正とSOM再計算 Web検索エンジンの出力結果を，ユーザの視点から組織化 することが可能 選手スキー応援 聖火 会場 競技 ボランティア協力 活動 開催 信州 大 商品 五輪 放送 会 ニュース 委員会 長野五輪のURLの自動分類例 聖火販売商品放送 ニュース 選手スキー協力 応援 開催 大 ボランティア信州 特集 会場野市 五輪 競技 会 活動 スケート 競技に注目した再計算例 Web文書グラフからの意味の抽出（1） WWWページの文書単位の検索 WWW上の一つの文書は，複数 のノードに亘っていることがある． 複数キーワードによる検索では， それらが同一文書中の異なる ページに現れる場合がある． 隣接ノードの文書間の類似度を 用いて一つの文書に対応する 連結サブグラフを発見し，検索 の単位とする． 検索：｛ｈｙｐｅｒｔｅｘｔ， ｑｕｅｒｙ｝ Web文書グラフからの意味の抽出（2） Webグラフ中の順路の検出 ページ著者は順路を仮定 し，そのページへの順路上 で記述済みの情報を省略 することがある． 各ページへの順路を発見 し，順路上のページ中の単 語で索引を補完． 順路の発見には，ＵＲＬ中 のディレクトリ構造に基づく ヒューリスティクスを用いる． ＤＢグループ 研究 論文リスト 順路リンク 非順路リンク 検索：｛ＤＢグループ，論文リスト｝ 空間ハイパーメディア Name-at の基本原理 リアルタイムビデオと 都市空間情報の合成 空間ハイパーメディア Name-at の画面例（１） 空間ハイパーメディア Name-at の画面例（２）