Transcript Document
パネル型クエリ生成インタフェース 画像検索システムの改良 木下研究室 200702915番 倉橋大地 研究背景 • 画像検索がネットで普及している • 「類似画像検索」は監視カメラ、医療などにお いて欠かせないシステムである • 欲しい画像のデータをより正確に効率的に検 索したい 画像検索の種類 • テキストをクエリとする画像検索 Text-Based Image Retrieval（TBIR） • 画像の内容をクエリとする画像検索 Content-Based Image Retrieval（CBIR） 従来のCBIRの研究 • 問題点 – 検索するキーとなる画像が手元にないと検索が できない。 従来のCBIRの研究 • 研究自体（CBIRの研究）は1990年前半から研 究されている。最新の手法では、色、形状、テ クスチャ、特徴点などさまざまな特徴量を用 いて類似度を判定する。 • 肉眼では色、形状の2つで物体を判断するの でその2つに着目し、木下研究室では「パネ ル型クエリ生成インタフェース」を用いた類似 画像検索を研究している。 従来の木下研究室の研究 「パネル型クエリ画像検索システム」 パネルに色を塗って目的の画像を検索 問題点 • 問題点１ （１）メタデータの計算に時間がかかる。 （２）従来の研究ではメタデータの種類が少ない ため精度が低い。 • 問題点２ パネルのユーザビリティ ⇒パネルのマス目の数が少ないため精度が低い 問題点１-（１） • 画像データベースのメタデータ作成を検索ご とに行っているので、検索に時間がかかる。 画像処理 検索 Click! メタデータ 画像データ ベース ※省略 所望画像の 入手 ユーザーによる 所望画像の確認 比較 類似度算出 所望画像の 類似画像群 問題点１-（１） • メタデータをあらかじめ保存することで解消で ユーザはここ きる。 からスタート 時間の短縮 メタデータ 比較 類似度算出 所望画像の 入手 ユーザーによる 所望画像の確認 所望画像の 類似画像群 問題点１-（２） ・（２）メタデータの種類が少ない クラスタリング （RGB値・HSV値） 領域 画像 画像デー タベース （原画像） ヒストグラム 構造解析 ・多数決 ・領域の重心 ・包含関係 メタ データ パネルが少ない ため描写が大雑 問題点２ 把になってしまう ・パネルのマス目の数が少ないため精度が低い 検索したい画像 消化器はおろか、指定したところに赤色 図：従来のシステムの検索結果 が入っている画像は一枚もなかった。 パネルのマス目を増やすことで 検索精度が上がるか検証した 改良インターフェース 改良したシステムでの検索結果 細かい描写ができるように なり、消化器のイメージが 上位4番目にでてきた。 消化器以外にも検索 意図（赤色の中に白 色が混じっている） を汲み取ることができ 検索された画像 ※ただし、パネルの数を増やしたことによって パネルに色をつけるユーザの負担が増える。 提案 ・あらかじめ用意されたキー画像をパネルに読み込め るようにする。 提案 ・さらに、パネル上で追加書き込みできるようにする。 右図は「机の上に乗ったりんご」の画像を検索するために 読み込んだりんごをベースに机を追加した。 まとめ ①メタデータ • 検索時間短縮、精度向上のためのメタデータ作成を提案。 ②ユーザビリティ • パネルの数を増やしたことによってユーザの検索意図をうまく 汲み取ることができるようになった。 • パネルの数を増やすことによって生じるユーザへの負担の解 消を提案。 課題 • 今回提案したメタデータについてどれが有効 なのか評価する。 • マス目を増やしたが、ユーザへの負担と検索 精度の兼ね合いを考えたときの最適なマス目 の数の検証が必要。