Transcript ppt
基于信息融合的地形分类
报告人：顾迎节
2011年8月24日
目录
一．信息融合
二．特征提取
三．实验
四．总结
一．信息融合
信息融合
• 按融合的层次，可分为：
– 像素级融合
– 特征级融合
– 决策级融合
信息融合
特征级融合
• 对不同传感器图像分别进行特征提取，得
到特征 f f … f
• 对特征进行融合，得到新的融合特征：
1
2
f [ f1
n
f2
fn ]
• 将融合得到的特征用于训练和分类
信息融合
决策级融合
• 基于后验概率估计的多分类器组合
• 假设模式可用M个特征来描述：
x1 , x2 , xM
• 对每个特征 x j ，分别使用K个分类器来识
别决策，运用相应的后验概率估计方法得
到后验概率估计值
Pk (i | x j )(i 1,..., c, j 1,..., M , k 1,..., K )
信息融合
• 基于后验概率估计的多分类器组合判决规
则如下：
P( j | X ) max P( i | X ) X j
1i c
• 其中
1 M K
P(i | X )
Pk (i | x j )
MK j 1 k 1
信息融合
• 常用的后验概率估计方法：
• 设 d i (i 1,2,...c) 为待识别样本 X 到模式类 i 的
最近距离。
1. 反比法
1
P (i | x )
di
c
1
j 1 d j
2. 线性法
di
1
P(i | x)
(1 c
)
c 1
d j
j 1
信息融合
3. 基于类条件置信变换估计后验概率
设样本 X 的最近邻类 i ，次近邻 j
– NN分类器的决策结果可信度：
di
conf ( X ) 1
dj
假设：对每一个模式类 i ，都有一个类条件
置信变换函数 hi () ，使得
p(i | X ) hi (conf ( X )), i 1,2,...c
信息融合
• 同类条件置信变换函数 hi () 可以用统计方法
由训练样本估计得到。具体做法是：将可
信度划分为T个连续区间：
[a1 , a2 ), [a2 , a3 ),..., [aT , aT 1 ],
• 其中，a1 0 aT 1 1
• 若错分样本数小于10，则使每个区间有1个
错分样本，即T=错分样本数。若大于10，
则将其平均分布在10个区间内，即T=10。
信息融合
count{C ( X ) i , X i , conf ( X ) [at , at 1 )}
hi (at )
count{C ( X ) i , conf ( X ) [at , at 1 )}
• C ( X ) 即分类器C对样本X的分类结果
• 对区间内的任意一点，后验概率值可用区
间端点通过插值得到。
• 已知最近邻的后验概率，可求出次近邻的
后验概率。余下其它类别后验概率为0。
p( j | X ) h j (conf ( X ))
p(k | X ) 1 p( j | X )
p( | X ) 0, (i j, i k , i 1,2,..., c)
i
二．特征提取
特征提取
可见光图像特征提取
• 图像按 8 8 窗口提取特征：
– 代数特征：RGB->YCbCr，64*3位特征 vi _ color
– DCT特征：64位特征 vi _ dct
– Haar小波特征：16位特征 vi _ haar
• 可见光图像特征
f vi [vi _ color
vi _ dct vi _ haar ]
特征提取
红外图像特征提取
• 图像按 8 8 窗口提取特征：
– 代数特征：64位特征 in _ color
– DCT特征：64位特征 in _ dct
– Haar小波特征：16位特征 in _ haar
• 红外图像特征
f in [in _ color in _ dct in _ haar ]
特征提取
• 对可见光图像、像素级融合图像，按彩色
图像方式进行特征提取
• 对红外图像，按灰度图像方式进行特征提
取。
三.实验
实验
• 数据库：
– 夜晚乡村：水泥路，沙子路
• 对水泥路和沙子路分别进行实验
• 每种 各40张图像，20张可见光图像，20张
红外图像。可见光与红外图像已匹配好。
• 取一半做训练，另一半做测试。
实验
• 每张图像为道路，草地，天空三种类别。
对每张图像每个类别提取20个特征窗口。
• 每张图像共60个样本，包含3个类别
• 数据归一化
• 分别采用最近邻分类器
实验
特征级融合实验
表1 特征级融合与单传感器图像实验结果比较
识别率
特征级融合
可见光图像
红外图像
沙子路
0.9333
0.8800
0.7217
水泥路
0.9933
0.8917
0.7700
实验
图1)a 原可见光图像
图1)c 特征级融合
图1)b 原红外图像
图1)d 可见光图像
图1)e 红外图像
图1 水泥路 特征级融合与单传感器图像实验结果比较
实验
图2)a 原可见光图像
图2)c 特征级融合
图2)b 原红外图像
图2)d 可见光图像
图2)e 红外图像
图2 沙子路 特征级融合与单传感器图像实验结果比较
实验
决策级融合实验
后验概率分别通过反比法，线性法，类条件置
信变换法求得。
表2
特征级与决策级融合的实验结果比较
识别率
特征级
决策级融
合1
决策级融
合2
决策级融
合3
沙子路
0.9333
0.9533
0.9500
0.9150
水泥路
0.9933
0.9900
0.9867
0.9850
实验
图3)a 原可见光图像
图3)c 决策级融合1
图3)b 原红外图像
图3)d 决策级融合2
图3)e 决策级融合3
图3 水泥路 三种决策级融合的实验结果比较
实验
图4)a 原可见光图像
图4)c 决策级融合1
图4)b 原红外图像
图4)d 决策级融合2
图4)e 决策级融合3
图3 沙子路 三种决策级融合的实验结果比较
实验
• 从整体来看，比起单独使用可见光图像或
红外图像，信息融合后的识别率有明显的
提高。
• 对于水泥路，融合后的能得到满意的识别
效果。对于沙子路，融合后的识别率仍有
待提高。
Thanks!