Transcript インクリメンタル画像検索システム Echatting Searcher

IPS:インクリメンタル画像検索システム
tomomi＠ECN
親 ichirik さん
サブ親 masato さん
環境情報学部4年 中村友美
アウトライン






絵チャットとは
既存絵チャットの紹介と問題点列挙
インクリメンタル画像検索システム（IPS）
の提案
IPSの設計
IPSの定量的評価と定性的評価
まとめ
絵チャットとは

Web上でのコミュニケーションの多様化


描画を利用したコミュニケーションの浸透
絵チャットの普及


同時に複数のユーザと描画が可能
充実した描画ツール

マスキング など
描画領域
チャットスペース
絵チャットの意義

描画テーマによってユーザが集合


趣味の共有が可能
描画によるコミュニケーション


共同作業による一体感
言語に依存しない即時的な情報伝達
絵チャットの問題点
1.
2.
3.
既存の絵チャット検索エンジン
画像検索
類似画像検索
既存絵チャット検索システムの問題


描画中絵チャットの発見が不可
透過的、段階的な検索が不可
異なる
キャンバス
同描画テーマ
でも発見不可
描画テーマ
変更
描画情報送信
再度検索
の必要
既存絵チャット検索システムの問題


テキストベースの検索のみ
登録された絵チャットの情報の不審性
検索要請
絵チャット
発見
リンク切れ
登録時と違う
描画テーマ
画像検索の問題

ユーザの描画スキルに依存
同じ絵だと認識
するのが困難
類似画像検索の問題

類似テーマ検索が不可
似ている絵
検索される
テーマは異なる
似ていない絵
テーマは同じ
検索
されない
システム提案
インクリメンタル絵チャット検索システム（IPS）

1.
2.
3.
描画中ユーザの検索
描画スキルに依存しない検索
ユーザのニーズにあった絵チャットの検索
機能要件
インクリメンタル画像検索
1.

既存絵チャット検索システムの問題を解決
描画コンテンツ解析機能
2.

画像検索の問題を解決
類似テーマ検索
3.

類似画像検索の問題を解決
（1）インクリメンタル画像検索機能

サーバのデータベースを定期的に検索


開催中の絵チャット
類似したテーマで描画中の絵チャット


描画コンテンツ解析機能
類似テーマ検索機能を利用
（1）インクリメンタル画像検索機能
①画像情報抽出
①
②サーバに画像 情
報を送信
②
描画テーマ
変更
③検索
画像コンテンツ解析
類似テーマ検索
Data
base
④
④同じ描画テーマと認
識し描画交流を促す
③
描画コミュニケーションの成立
（2）描画コンテンツ解析機能機能

特徴からの画像推測


蓄積された画像情報を利用
汎用的な画像パターンを学習する


輪郭情報を利用
例）特徴＝頭の角 ⇒ 魔人ブゥ
（2）描画コンテンツ解析機能機能

汎用的な画像パターンの学習
画像情報
送信
輪郭情報が近似する画像を収集
Data
base
ニューラルネットワークを利用し
輪郭情報の学習・平滑化を行う
汎用パターンを生成し、次回の検索に利用
（3）類似テーマ検索機能

テーマ相関探索機能


サーバに蓄積される画像情報を利用
関連が強い描画コンテンツの発見


各ユーザに描画された個々の画像は関連が強い
類似テーマ検索機能

テーマ相関管理表をもとに絵チャット検索
（3）類似テーマ検索機能
A
B
AとBは
関連が強い
と認識
同じキャンバスで描画
されたコンテンツ
データベース
に保存
システム構成
Client PC
②
④
① サーバ起動
Server
①
②クライアント起動
③
③ 一定時間毎に
画像情報抽出
⑥
Client PC
⑤
Data
base
④ 画像情報送信
⑤ 絵チャット検索
⑥ 絵チャット
情報送信
Clientシステム構成
①絵チャット情報
取得
クライアント
絵チャットのキャンバス
①
コンテンツ情報抽出
②
メッセージ送信
②描画コンテンツ
情報抽出
絵チャット情報
受信
③
④
ネットワーク
③絵チャット情報
コンテンツ情報
送信
④絵チャット情報
受信
Serverシステム構成
①メッセージ受信
サーバ
テーマ
相関
管理表
テーマ
相関探索
参照
ユーザ
情報
管理表
絵チャット検索
③
参照
コンテンツ
解析
②
画像
情報
管理表
②絵チャット情報
コンテンツ情報
受け渡し
③絵チャット検索
参照
メッセージ受信
①
ネットワーク
④
④絵チャット情報
送信
実装



使用言語 Ｊａｖａ
Windows XP
実装した機能

絵チャット基本機能


描画ツール、チャット機能
IPSを搭載



インクリメンタル画像検索機能
描画コンテンツ解析機能
類似テーマ検索機能
デモ

デモを行います


描画中の検索
インクリメンタル絵チャット検索の結果
評価
コンテンツ解析率
インクリメンタル画像検索機能
1.
2.



描画途中の解析率
描画段階における検索率の上昇率
検索時間
消費帯域
3.


クライアント数増加による影響
インクリメンタル検索機能追加による影響
(1)コンテンツ解析率
描画コンテンツ解析結果の妥当性検証


画像8 枚を用意
10 人の被験者に初見にて模倣してもらう

描画用画像を指定
検索用
画像⇒

評価


描画した画像が用意した画像と一致する割合
サーバが一致率の高い上位3位の画像テーマを通知
(1)コンテンツ解析率

描画画像が検索結果と一致する割合

3 位に入る割合：100％
IPS による画像解析率は高い
ユーザの目的とする絵チャット検索に有用
(2)インクリメンタル検索機能
インクリメンタル検索機能の妥当性検証

被験者による描画実験


描画順を3 段階指定
描画途中の各段階毎に検索結果を検証

データベースはコンテンツ解析率の評価で使用し
たものと同一
(2)インクリメンタル検索機能

描画途中の検索率
描画途中でも目的とする絵チャットの検索が可能
(2)インクリメンタル検索機能

描画段階における検索率の上昇率

描画段階を進めたときの上昇率：75％
描画段階を進める毎に適切な
絵チャットが絞り込まれる

平均検索時間：2452.9 ms
インクリメンタル検索による
描画への負荷は少ない
(3)消費帯域


描画ユニット当たりのトラフィック量の計測
実験環境



ローカルホスト
想定ユーザ数：2人～6人
IPS 上で四角を5 つ描画、平均トラフィック量計測
(3)消費帯域
クライアント数増加による影響

1 クライアント数増加毎に260 bytes ～356 bytes 増
クライアント数が増加しても描画に影響は少ない
(3)消費帯域
インクリメンタル検索機能追加による影響

全体のトラフィック量を計測、比較

トラフィック量は1.18 倍しか増加しなかった
インクリメンタル検索機能によるオーバヘッドは少ない
定性的評価

検索機能における関連研究との比較




絵チャット検索エンジン
類似画像検索
絵チャット
評価項目



検索機能
描画機能
悪質なユーザ対策機能
関連研究の検証

絵チャット検索エンジン



類似画像検索


テキストベースによる検索しかできない
登録情報の信頼性がない
類似テーマ検索を考慮しない
絵チャット

検索機能を備えていない
IPSの評価

検索機能

画像を検索キーワードとした検索

描画途中の検索、描画テーマの変化へ対応可能

テーマの類似度をもとに検索
適切な絵チャットを、随時発見できるため有用
IPSの評価


描画機能 整備
悪質なユーザへの対策機能 整備
描画コミュニケーションに必要な基本機能
も備えている
まとめ



IPS：インクリメンタル絵チャット検索システム
の提案と実装

プロトタイプ実装

定期的な画像解析
実際のユーザによる実験
評価

描画途中でも検索が可能

画像テーマによる適切な絵チャット検索が可能