Transcript インクリメンタル画像検索システム Echatting Searcher

インクリメンタル画像検索システム
Echatting Searcher
tomomi＠ECN
親 ichiriki さん
サブ親 masato さん
環境情報学部4年 中村友美
アウトライン







背景
既存システムについて
現在の問題
インクリメンタル画像検索システムの提案
設計
スケジュール
まとめ
背景


Web上でのコミュニケーションの多様化
描画コミュニケーションの確立



描画アプリケーション・インフラの普及
描画を利用したコミュニケーションの浸透
絵チャットの普及
絵チャットとは

Ｗｅｂ上の描画コミュニケーションステム


同時に複数のユーザと描画が可能
充実した描画ツール

マスキング など
絵チャットの意義

描画テーマによってユーザの集合


趣味の共有
描画によるコミュニケーション


描画による共同作業で一体感を感じる
視覚情報は、言語に依存されない情報伝達を
可能にする
既存システム

絵チャット


描画領域
タカミンのエチャット
らくがきチャット
チャットスペース

画像検索システム

タカミンの絵チャットの実行例
エチャットサーチエンジン
絵チャットの問題点

検索システムの問題点
1.
インクリメンタル画像検索が不可


2.
描画中キャンバスの検索方法がない
キャンバスのテーマ情報など、言語に依存する
類似画像の検索の問題

ユーザは画像の類似ではなく、テーマが類似し
たものを探したい
システム提案：
Echatting Searcher

インクリメンタル画像検索機能付き絵チャット
1.
描画中絵チャットの検索を可能にする

2.
描画スキルによる検索力の差をなくす

3.
定期的に画像パターンマッチング
汎用パターンを利用した画像推測
ユーザのニーズにあった絵チャットを検索する

絵チャットの描画履歴のクラスタリング
機能
画像テーマを推測
1.

汎用パターンの抽出
インクリメンタル画像検索
2.


随時画像情報の抽出
データベースへの保存
絵チャットテーマを推測
3.

絵チャットの履歴をクラスタリング
１ 画像テーマを推測

一定期間ごとに画像情報を抽出する



輪郭・色・範囲．．．など
抽出した画像情報を蓄積
蓄積情報を利用した検索


開催中の絵チャット
自分と同じテーマの絵チャット
２ インクリメンタル画像検索


汎用パターンの抽出
特徴からの画像推測


蓄積された画像情報から学習
例）頭のツノ ＋ ピンク ⇒ 魔人ブゥ
３ 絵チャットテーマを推測

履歴の相関関係による推測




ユーザの描画中テーマの推測
描画履歴の相関を計算
相関関係の高い絵チャットを提示
例
（ピッコロ）
緑、角
逆三角の顔…
相関が高い
（魔人ブゥ）
ピンク、丸顔…
絵チャットのキャンバス
システム構成
Server
Demand
Searcher
Client
PC
③
②
Canvas
Analyzer
④
①
① サーバ起動
②クライアント起動
③ 一定時間毎に
⑥
画像情報を抽出
④ 画像情報送信
⑤
Client
PC
⑤ 絵チャット検索
Canvas
Analyzer
Data
base
⑥ 絵チャット
情報送信
Clientシステム構成
CanvasAnalyzer
①絵チャット情報抽出
Canvas
②ログイン情報管理
①
③画像情報管理
ImgInfoGrabber
②
⑥
④情報送信
③
Login
Feature
Sender
④
CanvasInfo
Receiver
Network
⑤
⑤エチャット情報受信
⑥ユーザに通知
Serverシステム構成
DemandSearcher
①クライアントから
画像情報受信
CanvasInfoSender
⑥
DB
③
Data
Table
② Login
①
Realtime
Matching
②ログイン情報管理
③データテーブル保存
④画像情報管理
⑤
FeatureReceiver
MessageReceiver
Network
⑤DBを参照し、
絵チャット検索
④
⑥絵チャット情報を
クライアントに送信
デモ

プロトタイプのデモを行います

定期的に輪郭抽出を行います
最終目標の実装

使用言語


Ｊａｖａ
実現機能

検索機能つき絵チャットの作成




簡易エチャット作成（済）
画像情報抽出（輪郭・色の抽出（済））
パターンマッチング
画像をキーワードとしたコミュニティの検索


インクリメンタル画像解析を実現
画像の推測アルゴリズムを備える
関連研究

Retrievr(University of Washington)



http://labs.systemone.at/retrievr/
Fast Multiresolution Image Querying (1995)
Image Completion with Structure
Propagation

Jian Sun; Lu Yuan; Jiaya Jia; Heung-Yeung
Shum（MSR)、 SIGGRAPH 2005
Retrievr
スケジュール




7月 ネタ詰め終了
8月 パターンマッチング
汎用パターン抽出
卒業論文執筆開始
9～11月 推測アルゴリズム
12月～ 詰め
まとめ



インクリメンタル画像検索システムの提案
オンライン画像コミュニケーションツールの
プロトタイプ実装
定期的な画像解析

画像情報の抽出（輪郭・色）