Transcript インクリメンタル画像検索システム Echatting Searcher

インクリメンタル画像検索システム
Echatting Searcher
tomomi＠ECN
親 ichiriki さん
サブ親 masato さん
環境情報学部4年 中村友美
アウトライン








背景
絵チャット概要と意義
既存絵チャットの紹介と問題点列挙
インクリメンタル画像検索システム（IPS）
の提案
設計
実装
評価
まとめ
背景


Web上でのコミュニケーションの多様化
描画コミュニケーションの確立



描画アプリケーション・インフラの普及
描画を利用したコミュニケーションの浸透
絵チャットの普及
絵チャットとは

Ｗｅｂ上の描画コミュニケーションステム


同時に複数のユーザと描画が可能
充実した描画ツール

マスキング など
絵チャットの意義

描画テーマによってユーザが集合


趣味の共有が可能
描画によるコミュニケーション


描画による共同作業で一体感を感じる
言語に依存せず即時的な情報伝達が可能に
なる
既存システム

絵チャット


描画領域
タカミンのエチャット
らくがきチャット
チャットスペース

画像検索システム

タカミンの絵チャットの実行例
エチャットサーチエンジン
絵チャットの問題点
描画中絵チャットの検索が不可
1.

ユーザが入室済みの絵チャットの発見が困難

既存の絵チャット検索システムでは不十分


テキストベースの検索しかできない
データベースに登録された絵チャットの情報が間違ってい
る可能性もある
類似画像検索の問題
2.

ユーザは画像の類似ではなく、テーマが類似したも
のを探したい
システム提案

インクリメンタル絵チャット検索システム（IPS）
1.
2.
3.
描画中ユーザの検索
描画スキルに依存しない検索
ユーザのニーズにあった絵チャットの検索
機能
インクリメンタル画像検索
1.


随時画像情報の抽出
データベースを定期的に検索
描画コンテンツ解析機能
2.


輪郭情報を利用した汎用パターンの学習
描画スキルに依存しない検索
類似テーマ検索
3.


類似画像ではなく類似テーマの検索が可能
輪郭情報が同一の場合

同じキャラクタあるいはテーマを描画中と判断
（1）インクリメンタル画像検索

サーバのデータベースを定期的に検索


開催中の絵チャット
類似したテーマで描画中の絵チャット


描画コンテンツ解析機能
類似テーマ検索機能を利用

同じテーマの絵チャットを検索する
（2）描画コンテンツ解析機能

特徴からの画像推測


蓄積された画像情報を利用
汎用的な画像パターンを学習する


輪郭情報を利用
例）特徴＝頭の角 ⇒ 魔人ブゥ
（3）類似テーマ検索

テーマ相関探索機能


サーバに蓄積される画像情報を利用
1つの絵チャットに2人以上のユーザ

関連が強い描画コンテンツの発見


各ユーザに描画された個々の画像は関連が強いと判断
類似テーマ検索機能

テーマ相関管理表をもとに絵チャット検索
実装



使用言語 Ｊａｖａ
Windows XP
実装した機能

絵チャット基本機能


描画ツール、チャット機能
IPS検索機能を搭載



インクリメンタル検索
学習アルゴリズム
類似テーマ検索
システム構成
Server
① サーバ起動
Client
PC
②
④
①
③
②クライアント起動
③ 一定時間毎に
⑥
画像情報を抽出
④ 画像情報送信
Client
PC
⑤
⑤ 絵チャット検索
Data
base
⑥ 絵チャット
情報送信
Clientシステム構成
①絵チャット情報取得
クライアント
絵チャットのキャンバス
②描画コンテンツ情報抽出
①
コンテンツ情報抽出
③絵チャット情報
コンテンツ情報送信
②
メッセージ送信
絵チャット情報受信
④絵チャット情報受信
③
④
ネットワーク
Serverシステム構成
①メッセージ受信
サーバ
絵チャット検索
テーマ
相関
管理表
テーマ
相関探索
参照
ユーザ
情報
管理表
③
コンテンツ
解析
参照
②絵チャット情報
コンテンツ情報受け渡し
画像
情報
管理表
③絵チャット検索
参照
②
メッセージ受信
①
ネットワーク
④絵チャット情報送信
④
デモ

デモを行います
1.
2.
3.
4.
クライアント起動
描画開始
絵チャットテーマ設定
インクリメンタル絵チャット検索の開始
評価
1.
消費帯域

サーバにおける描画ユニット当たりのトラフィック量

描画ユニット


2.
サーバにおける全体のトラフィック量
コンテンツ解析率

3.
ユーザが描画した際にサーバに送られる通信メッセージ
試験ユーザのコンテンツ解析率
インクリメンタル検索機能


描画途中コンテンツの解析率
検索完了時間
(1) 消費帯域

描画ユニット当たりのトラフィック量の計測

クライアント数増加による影響を評価



IPS 上で四角を5 つ描画し、平均トラフィック量を計測
想定ユーザ数：2人～6人
全体のトラフィック量を計測

インクリメンタル検索機能追加による影響を評価

インクリメンタル絵チャット検索を行った場合と通常の
絵チャットのみを行った場合
描画ユニットのトラフィック量の計測

トラフィック量


1 クライアント数増加：260 bytes ～356 bytes
増
最大人数（6 人）での描画：2156bytes
考察

要因

描画ユニット当たりのトラフィック量


検索用描画コンテンツのトラフィック量


44 bytes
28bytes
クライアント数が増加しても描画に影響は
少ないと言える
全体のトラフィック量を計測

トラフィック量


絵チャット使用時：13087 bytes
インクリメンタル検索使用時：15445 bytes

インクリメンタル検索使用時は、絵チャット使用時と
くらべおよそ2358 bytes増加
考察

トラフィック量の比較

インクリメンタル検索使用時の増分


絵チャットのみ使用時におけるトラフィック量のわ
ずか1.18 倍
インクリメンタル検索機能によるオーバヘッ
ドは少ないといえる
(2) コンテンツ解析率


画像8 枚を用意
10 人の被験者に模倣してもらう



用意した画像のうち1枚を検索用画像とする
ユーザは初見にて描画する
コンテンツ解析率の評価


ユーザが描画した画像が用意した画像と一致する割
合
評価手法


描画開始後、描画情報がサーバに送信され検索開始
検索終了後、一致率の高い上位3 位までの画像テーマがク
ライアントにサーバから通知される
評価結果

検索結果上位3位に検索用画像が入る割合



1 位に入る割合：40％
2位に入る割合：80％
3 位に入る割合：100％
考察

被験者10人全員



通知された検索結果と描画した画像が一致
IPS による画像解析率は非常に高い
ユーザの目的とする絵チャット検索に有用
である
(3) インクリメンタル検索機能

被験者による描画実験



描画順を3 段階指定
描画途中の各段階毎に結果を検証
インクリメンタル検索機能の評価

描画途中の検索率


上昇率


描画終了時までに被験者の描画画像がサーバ側の検索結
果と一致する割合
描画段階を経る毎に検索結果と描画画像との一致率が上昇
する割合
検索時間
評価結果

描画途中の検索率



第1 段階で描画画像と検索結果が一致：80％
第2段階：被験者全員
上昇率

第1段階から第2段階へすすめたとき


検索順位の上昇：75％
検索時間：平均2452.9 ms
考察

描画段階


第2段階で検索一致率が上昇


第1 段階：鼻と眉の描画、第2 段階：目
より特徴のある部分から描画を開始すると、
全てを描画しなくてもユーザの目的とする絵チ
ャットの検索が可能である
検索完了時間：約2 秒

インクリメンタル検索による描画への負荷は少
ない
定性的評価

検索機能

検索手法





テキストベース以外の検索が可能であるか
インクリメンタル検索機能

描画途中の検索が可能であるか

描画テーマの変化に対応できるか
代替検索機能
描画機能
悪質なユーザ対策機能
考察

検索機能

輪郭情報を利用した検索機能


インクリメンタル検索機能



描画中でも随時検索が可能
類似テーマ推測機能


学習アルゴリズムによる描画スキルに依存しない検索
描画テーマによる検索を行うため、類似テーマの代替絵チャ
ットの提示が可能
描画機能 整備
悪質なユーザへの対策機能 整備
まとめ

インクリメンタル絵チャット検索システム
の提案と実装


オンライン画像コミュニケーションツールのプロ
トタイプ実装
定期的な画像解析

画像情報の抽出（輪郭・色）