Transcript 基于特征融合的图像分类问题研究

基于特征融合的
图像分类问题研究
计思平
09软件
目录
•
•
•
•
•
课题背景和研究意义
图像分类流程概述
特征融合策略
实验结果分析
总结与展望
2/38
课题背景和研究意义
• 图像分类问题定义
输入
图像分类系统
输出
3/38
课题背景和研究意义
• 研究意义
4/38
课题背景和研究意义
• 研究意义
5/38
课题背景和研究意义
• 难点和挑战
6/38
课题背景和研究意义
• 难点和挑战
类内差异性
类间相关性
7/38
图像分类过程概述
• 特征提取
• 学习分类
8/38
图像分类过程概述
• 特征提取
- Global low-level feature
- Intermediate Semantic Representation
- Intermediate Local Patch-Based Representation
9/38
图像分类过程概述
• 特征提取
Global Low-Level Feature
10/38
图像分类过程概述
• 特征提取
Intermediate Semantic Representation
11/38
图像分类过程概述
• 特征提取
Intermediate Local Patch-Based Representation
12/38
图像分类过程概述
• 特征提取
特征检测
特征描述
13/38
图像分类过程概述
• 向量量化编码(vector quantization)
Bag of Visual Words
14/38
图像分类过程概述
• 学习分类
SVM
NN-Based Method
Random Forest
15/38
特征融合策略
• 动机
不同特征区别于在不变性和
判别能力间的取舍程度
不同的图像数据集需要不同
的取舍
16/38
特征融合策略
• 动机
图像数据集本身具有类内差
异性，类间相关性
冲突
适合数据集的最优取舍
为：特征在类内具有不变
性，在类间具有判别能
力。
17/38
特征融合策略
• 动机
Shape Feature or Color Feature ?
Maybe we need both of them!
18/38
特征融合策略
• Decision-Level Fusion
Feature 1
Classifier 1
Feature 2
Classifier 2
Ensemble
Feature K
Classifier K
19/38
特征融合策略
• Feature-Level Fusion
Feature 1
Feature 2
…
Feature K
降维
Reduced Feature
Classifier
20/38
特征融合策略
• Feature-Level Fusion
L1-SVM
Sparsity
Feature
Selection
21/38
特征融合策略
• Kernel-Level Fusion
Feature 1
Kernel 1
Feature 2
Kernel 2
MKL
Feature K
Kernel K
22/38
特征融合策略
• Kernel-Level Fusion
Multiple Kernel Learning
23/38
实验结果分析
• 数据集
数据集
类型
类别 每类样本数
训练集
测试集
Scene
Categories
场景
分类
15
200-400
100/每类
剩余所有
101
50-800
15(30)/每类
最多50/类
Caltech 101 目标
识别
24/38
实验结果分析
• 图像特征
特征
类型
特征维度
实现
PHOW Gray
Appearance
6300
VLFEAT
PHOW HSV
Appearance
6300
VLFEAT
PHOG 180
Shape
1700
Bosch
PHOG 360
Shape
3400
Bosch
25/38
实验结果分析
• 分类器
实验策略
分类器
多类分类策略
实现
单特征
SVM
One vs Rest
LibSVM[
特征级别融合
L1-SVM
One vs Rest
LibLinear
决策级别融合
SVM
One vs Rest
LibSVM
核函数级别融合
MKL
One vs Rest
Shogun toolbox
26/38
实验结果分析
• 预处理
Min-max Scale
No Model Selection
27/38
实验结果分析
• 分类效果
83.00%
81.00%
79.00%
准确率
77.00%
75.00%
73.00%
71.00%
69.00%
67.00%
65.00%
系列 1
phog 180
phog 360
phow gray
phow hsv
决策级别融
合
特征级别融
合
核函数级别
融合
67.68%
70.03%
79.51%
79.14%
75.77%
78.35%
80.84%
Scene Categories
28/38
实验结果分析
• 分类效果
Scene Categories – Heat Map
Accuracy 81.64%
29/38
实验结果分析
• 分类效果
Caltech 101上的分类结果
80.00%
75.00%
分类准确率
70.00%
65.00%
60.00%
55.00%
50.00%
45.00%
phog 180
phog 360
phow
gray
phow
hsv
决策融合
l1-svm
mkl
训练集样本数=15/类
49.51%
51.41%
65.37%
57.61%
60.44%
63.38%
66.64%
训练集样本数=30/类
57.80%
60.16%
74.28%
67.84%
69.88%
73.13%
76.38%
3038
实验结果分析
• Performance of MKL
MKL在caltech 101上与其他方法对比
80.00%
75.00%
分类准确率
70.00%
65.00%
60.00%
55.00%
50.00%
SPM
SVM-KNN
SCSPM
LLC
MKL
训练样本数=15/类
56.40%
59.50%
67%
65.43%
66.64%
训练样本数=30/类
64.60%
66.23%
73.20%
73.44%
76.38%
31/38
实验结果分析
• 时间效率
Caltech 101上训练时间对比
12000
10000
8000
训练样本数=15/类
6000
训练样本数=30/类
4000
2000
0
phog 180
phog 360
phow gray
phow hsv
l1-svm
32/38
实验结果分析
• Linear Scalability of L1-SVM
L1-SVM训练时间
1800
1600
1400
Axis Title
1200
1000
训练时间
800
600
400
200
0
5
10
15
20
25
30
33/38
实验结果分析
• 其他结果
MKL_norm对结果的影响
76.50%
76.00%
75.50%
准确率
75.00%
74.50%
74.00%
1
2
4
8
10
16
34/38
实验结果分析
• 学习金子塔权重对MKL分类效果的影响
80.00%
75.00%
70.00%
feature-wise
65.00%
level-wise
60.00%
55.00%
50.00%
phog 360
phow gray
四种特征
35/38
结论与展望
• 结论
特征融合可有效提高分类效果
使用MKL的Kernel Level Fusion策略具有良好的分类效
果，对单特征分类效果提升明显
使用L1-SVM的Feature Level Fusion策略具有良好的时间
效率，可扩展性好，适用于实时性强的应用
36/38
结论与展望
• 展望
使用更多互补特征, 利用L1-SVM的线性可扩展性
提高MKL时间效率，如使用Explicit Kernel Mapping
37/38
谢谢！