Transcript インクリメンタル画像検索システム Echatting Searcher

IPS:インクリメンタル画像検索システム
tomomi＠ECN
親 ichiriki さん
サブ親 masato さん
環境情報学部4年 中村友美
アウトライン






絵チャットとは
既存絵チャットの紹介と問題点列挙
インクリメンタル画像検索システム（IPS）
の提案
IPSの設計
IPSの定量的評価と定性的評価
まとめ
背景


Web上でのコミュニケーションの多様化
描画コミュニケーションの確立



描画アプリケーション・インフラの普及
描画を利用したコミュニケーションの浸透
絵チャットの普及
絵チャットとは

Ｗｅｂ上の描画コミュニケーションステム


同時に複数のユーザと描画が可能
充実した描画ツール

マスキング など
描画領域
チャットスペース
絵チャットの意義

描画テーマによってユーザが集合


趣味の共有が可能
描画によるコミュニケーション


共同作業による一体感
言語に依存しない即時的な情報伝達
絵チャットの問題点
1.
2.
3.
既存の絵チャット検索エンジン
画像検索
類似画像検索
既存の絵チャット検索エンジン


描画中絵チャットの発見が困難
透過的、段階的な検索が不可
異なる
キャンバス
同描画テーマ
でも発見不可
描画テーマ
変更
描画情報送信
再度検索
の必要
既存の絵チャット検索エンジン


テキストベースの検索のみ
登録された絵チャットの情報の不審性
検索要請
絵チャット
発見
リンク切れ
登録時と違う
描画テーマ
画像検索の問題

ユーザの描画スキルに依存
同じ絵だと認識
するのが困難
類似画像検索

類似テーマ検索が不可
似ている絵
検索される
テーマは異なる
似ていない絵
テーマは同じ
検索
されない
システム提案

インクリメンタル絵チャット検索システム（IPS）
1.
2.
3.
描画中ユーザの検索
描画スキルに依存しない検索
ユーザのニーズにあった絵チャットの検索
機能要件
1.
2.
3.
インクリメンタル画像検索
描画コンテンツ解析機能
類似テーマ検索
（1）インクリメンタル画像検索

サーバのデータベースを定期的に検索


開催中の絵チャット
類似したテーマで描画中の絵チャット


描画コンテンツ解析機能
類似テーマ検索機能を利用
（2）描画コンテンツ解析機能

特徴からの画像推測


蓄積された画像情報を利用
汎用的な画像パターンを学習する


輪郭情報を利用
例）特徴＝頭の角 ⇒ 魔人ブゥ
（3）類似テーマ検索

テーマ相関探索機能


サーバに蓄積される画像情報を利用
関連が強い描画コンテンツの発見


各ユーザに描画された個々の画像は関連が強い
類似テーマ検索機能

テーマ相関管理表をもとに絵チャット検索
システム構成
Client PC
②
④
① サーバ起動
Server
①
②クライアント起動
③
③ 一定時間毎に
画像情報抽出
⑥
Client PC
⑤
Data
base
④ 画像情報送信
⑤ 絵チャット検索
⑥ 絵チャット
情報送信
Clientシステム構成
①絵チャット情報
取得
クライアント
絵チャットのキャンバス
①
コンテンツ情報抽出
②
メッセージ送信
②描画コンテンツ
情報抽出
絵チャット情報
受信
③
④
ネットワーク
③絵チャット情報
コンテンツ情報
送信
④絵チャット情報
受信
Serverシステム構成
①メッセージ受信
サーバ
テーマ
相関
管理表
テーマ
相関探索
参照
ユーザ
情報
管理表
絵チャット検索
③
参照
コンテンツ
解析
②
画像
情報
管理表
②絵チャット情報
コンテンツ情報
受け渡し
③絵チャット検索
参照
メッセージ受信
①
ネットワーク
④
④絵チャット情報
送信
実装



使用言語 Ｊａｖａ
Windows XP
実装した機能

絵チャット基本機能


描画ツール、チャット機能
IPS検索機能を搭載



インクリメンタル検索
学習アルゴリズム
類似テーマ検索
デモ

デモを行います


描画中の検索
インクリメンタル絵チャット検索の結果
評価
コンテンツ解析率
インクリメンタル検索機能
1.
2.



描画途中の解析率
描画段階における検索率の上昇率
検索時間
消費帯域
3.


描画ユニット当たりのトラフィック量
全体のトラフィック量
コンテンツ解析率

10 人の被験者に模倣してもらう



画像８枚用意
画像８枚のうち1枚を検索用画像とする
コンテンツ解析率の評価


描画した画像が用意した画像と一致する割合
評価手法


描画開始後、情報がサーバに送信され検索開始
検索終了後、一致率の高い画像テーマがクライア
ントに上位3位まで通知される
コンテンツ解析率

画像8 枚を用意

10 人の被験者に初見にて模倣してもらう

描画用画像を指定
コンテンツ解析率

描画画像が検索結果と一致する割合

3 位に入る割合：100％
IPS による画像解析率は高い
ユーザの目的とする絵チャット検索に有用
インクリメンタル検索機能

被験者による描画実験


描画順を3 段階指定
描画途中の各段階毎に結果を検証
インクリメンタル検索機能

描画途中の検索率
描画途中でも目的とする絵チャットの検索が可能
インクリメンタル検索機能

描画段階における検索率の上昇率

描画段階を進めたときの上昇率：75％
特徴のある部分から描画すると
より早く適切な検索が可能

平均検索時間：2452.9 ms
インクリメンタル検索による
描画への負荷は少ない
消費帯域
クライアント数増加による影響

描画ユニット当たりのトラフィック量の計測

1 クライアント数増加毎に260 bytes ～356 bytes
増
クライアント数が増加しても描画に影響は少ない
消費帯域
インクリメンタル検索機能追加による影響

全体のトラフィック量を計測、比較

トラフィック量は1.18 倍しか増加しなかった
インクリメンタル検索機能によるオーバヘッドは少ない
定性的評価

関連研究との比較を行う



描画コミュニケーションツール
検索システム
評価項目



検索機能
描画機能
悪質なユーザ対策機能
関連研究
描画コミュニケーションツール

TheBroth

複数のユーザが四角いタイルを貼り付け1枚
の絵を描画
関連研究
描画コミュニケーションツール

絵チャット

数のユーザで一枚の絵を描画
関連研究
検索システム

Retrievr

色情報を利用し検索
関連研究
検索システム

絵チャット検索エンジン

データベースに登録された情報をもとに検索
関連研究の検証

描画コミュニケーションツール

TheBroth、絵チャット


検索機能を備えていない
検索システム

Retrievr


色情報を使用するため、類似テーマ検索を考慮しない
絵チャット検索エンジン

テキストベースによる検索しかできない

登録情報の信頼性がない
IPSの評価

検索機能

検索手法


インクリメンタル検索機能



画像を検索キーワードとした検索
描画途中の検索
描画テーマの変化へ対応可能
代替検索機能

テーマの類似度をもとに検索
適切な絵チャットを、随時発見できるため有用
IPSの評価


描画機能 整備
悪質なユーザへの対策機能 整備
描画コミュニケーションに必要な基本機能
も備えている
まとめ



インクリメンタル絵チャット検索システムの提案
と実装

プロトタイプ実装

定期的な画像解析
実際のユーザによる実験
評価

描画途中でも検索が可能

画像テーマによる適切な絵チャット検索が可能