Transcript スライド 1

マルチ識別器を用いた
花画像検索システムの構築
神戸大学
福田恵太・滝口哲也・有木康雄
研究背景
道端、庭先、山にある自然物の情報が知りたい
検索対象の大半が、「イメージ」である
「キーワード」分類の従来図鑑の不便さ
ICタグで扱えない自然物認識
知りたい情報をユーザー
が負担なく得るために…
「イメージ」から検索可能な図鑑システム
本研究について
従来手法
花という一点からの特徴を捉えているため、
どの花に対しても同じ特徴量を扱う。
提案手法
花の構造により分類し、構造に依存した特徴量を
選択するマルチ識別器を構成する。
システム全体の流れ
検索画像
•表示画像
花弁領域抽出
•特徴量
特徴量抽出
データベース
•花の名前
•科名
マルチ識別器
結果表示
•属名 etc..
花弁領域抽出
面積最大領域
画像入力
輪郭抽出
HSV色空間に変換
画像出力
K-平均法による減色処理
中央でなおかつ画素の多
い色の領域を自動抽出
マウス操作により修正
特徴量抽出
色特徴量
10×10次元のHS色空間における
二次元ヒストグラム (分布量)
形特徴量
低周波数成分における30次元の
正規化されたスペクトルの強さ
色特徴量
Power
d
DFT
l
一次元形状グラフ
形特徴量
Freq
構造による分類
円形度
エントロピー
平均
構造のタイプ
高
中
低
円形に近い花
低
高
高
複数の花弁をもつ花
低
低
中
明確な花弁をもつ花
円形に近い花
複数の花弁をもつ花
明確な花弁をもつ花
各構造に依存した特徴を重視することが可能になる。
Fuzzy C-means法
 １つのサンプルが複数のクラスタ
に属することを想定している．
 ０～１で帰属度を示す．
｛円形花らしさ，複数花らしさ，明確花らしさ｝
というベクトル空間を構成する．
円形:0.04
複数:0.03
明確:0.93
複雑
円形:0.53
複数:0.07
明確:0.40
その目的として
検索画像と帰属度が類似したものに候補を絞る．
円形
検索画像の重視すべき特徴がわかる．
明確
認識法
識別器
検索画像の帰属度
検索画像
円形
0.04
複数
0.03
明確
0.93
FCM
呼び出し
候補の削減
データベース
小データベース
類似度
結果表示
各識別器の構成
類似度計算：ヒストグラムインターセクション
色特徴量：10×10次元の色特徴量
形特徴量：30次元の形特徴量＋α
タイプ
周波数領域ガウス重み
＋形状特徴量
円形
低周波数
円形度
複数
高周波数
複雑度
明確
ピーク値
動径最小/最大
※ 動径最小/最大は，花弁が長いほど値が低く，短いほど値が高くなる．
形類似度計算
ピーク値
検索画像
形類似度
Histogram
Intersection
画像
i
ガウス重み
N(5,1^2)
実験条件
112種類花画像×４枚
1枚を検索用，残りをDBとしたCV法
評価方法：MRR (Mean Reciprocal Rank)
評価実験(1)
ファジィ化の度合いによる認識率の変化
評価実験(2)
識別器の統合による認識率の変化
評価実験(1)
0.57
0.562
0.565
2.0
2.5
MRR
0.56
0.560
3.0
3.5
0.548
0.55
0.54
0.561
0.538
0.53
0.52
1.0
1.5
ファジィ係数が大きくなればなるほどファジィ化の度合いが大きい．
特にファジィ係数=1.0のときは，クリスプ C-means法となる．
評価実験(2)
各識別器で最もMRRが高かった時の形色重み比率を
採用しマルチ識別器を構成．
0.580
0.569
0.570
0.560
0.560
0.552
0.550
0.541
0.540
0.530
0.520
円形
複数
明確
マルチ
第３候補まで68.5％，第５候補まで79.2%，第10候補まで92.0%の認識率
まとめ
考察
 特に輪郭形状が安定した花は認識率が高い．
 ファジィ化を行うことで精度が向上．
 識別器の統合により精度が向上．
今後の課題
 同じ花でも色形が異なる花の認識率の精度向上．
 アジサイのような集合花などへの対応．
 さらに多くの自然物に対応する図鑑システムの構築．
本研究について
従来手法
花という一点からの特徴を捉えているため、
どの花に対しても特徴量が同じ。
提案手法
花の構造により分類し、構造に依存した特徴量を
重視するマルチ識別器を構成する。
花弁領域抽出
画像入力
RGBからHSV
H
K-means
S
面積最大
輪郭抽出
V
K-means
K-means
画像出力
例．黄色領域
花弁領域抽出
Yes
H：60度付近
S：0.3以上
No
マウスによる修正
V：0.6以上
抽出成功例
抽出失敗例
FCM処理結果(1)
帰
属
度
べき乗パラメーター
m = 2.5のとき
エントロピー
FCM処理結果(2)
帰
属
度
べき乗パラメーター
m = 2.5のとき
円形度
Histogram Intersection
ピーク値
検索画像
形類似度
Histogram
Intersection
画像
i
ガウス重み
N(5,1^2)
類似度計算
w1  Dc  w2  Ds  w3  Dh
Vij 
w1  w2  w3
Vij ：識別器jにおける画像iとの類似度
w1, w2 , w3 ：類似度の重み
Dc , Ds , Dh
：MAX 1 min 0
の各類似度
識別器の統合
円形:0.03
複数:0.91
一花:0.06
のとき，
検索画像
M (i)  0.03Vi1  0.91Vi 2  0.06Vi3
Vij ：識別器jにおける画像iとの類似度
この場合，「複数」を扱う識別器の結果が重視される．
クラスタリング精度
1.0
1.5
2.0
2.5
3.0
3.5
エラー率（%）
5.13
4.02
1.56
1.12
0.67
0.22
削減率(%)
62.5
61.0
55.9
45.9
30.0
14.0
エラー率：正解の３サンプルが小データベースに入らなかった割合
削減率：（除外されたデータ数/データベースのデータ数)の割合
マルチ識別器の評価(2)
色類似度の重み w1と形類似度の重み w2を w1 + w2 = 1.0とし，
W1の値を0.0から0.1刻みで1.0まで変化させたときの認識率順位
1st
2nd
3rd
4th
円形
0
1
4
4
複数
1
4
1
3
一花
3
1
3
2
マルチ
6
3
1
0
MRR
シングル識別器
0.52
0.5
0.48
0.46
0.44
0.42
0.4
0.497
0.508 0.509
0.495
0.47
0.448
1.0
1.5
2.0
2.5
3.0
3.5
各識別器で用いた識別器をそのまま特徴量に用いた場合．
Mean Reciprocal Rank
順位逆数の総和を平均した評価法（平均逆順位法）
１位
1
２位
0
３位
0
４位
2
1 1 1
MRR  (   2)  0.5
3 1 4
マルチ識別器の評価
0.580
0.569
0.570
0.560
0.560
0.552
0.550
0.541
0.540
0.530
0.520
円形
複数
明確
マルチ
各識別器で最もMRRが高かった時の形色重み比率を
採用しマルチ識別器を構成．
色が異なる花への対処
現時点のシステムでは対処できない．(例．チューリップ)
色別にモデルをデータベースに登録する．
個々に知識データベースを用意しておく．
(個々の花ごとに重要な特徴量を定義しておく．)
再検索の要求
フィードバック機能
現時点のシステムは再検索機能がない．
類似度が低かった場合に再検索を要求する．
色または形特徴量の重みをユーザーが変更．
既知の情報などにより精度の向上．
ファジィ化の目的
輪郭が不安定であるため，３つの構造いずれに属する
か決定することが困難である．
K-平均
ファジィ
エラー率(%)
5.13
1.12
削除率(%)
62.5
45.9
MRR
0.538
0.565
サクラソウ
0.6
15
"fourier/sakurasou4.data"
"inverse/sakurasou4.data"
10
0.5
5
0.4
0
0.3
-5
0.2
-10
0.1
-15
0
-20
0
20
40
60
80
100
120
140
160
180
200
0
5
10
15
20
25
30
評価実験


112種類花画像×４枚
3枚をDBに１枚を検索用とするクロスバリデーション
ファジィ化の度合いによる変化ごとのMRR (Mean Reciprocal Rank)
0.57
0.562
0.565
2.0
2.5
0.56
MRR

0.560
3.0
3.5
0.548
0.55
0.54
0.561
0.538
0.53
0.52
1.0
1.5
第３候補まで68.5％，第５候補まで79.2%，第10候補まで92.0%の認識率
アプリケーション