Transcript Regional Principal Color based Saliency Detection

Regional Principal Color based Saliency Detection
(PLoS ONE 2014)
楼竞，任明武，王欢
南京理工大学计算机科学与工程学院
http://www.loujing.com/rpc-saliency/
1
Regional Principal Color based Saliency Detection
Outline
Outline
2
1
显著性简介
2
基于全局对比度的显著性区域检测
程明明 (CVPR 2011)
3
我们的工作
楼竞
Regional Principal Color based Saliency Detection
Outline
Outline
3
1
显著性简介
2
基于全局对比度的显著性区域检测
程明明 (CVPR 2011)
3
我们的工作
楼竞
Regional Principal Color based Saliency Detection
显著性简介
显著性简介
• 显著性（Saliency）
– 物体在一幅场景中的特殊性或吸引视觉注意的能力
– 通常来自于物体与周围的差异性，或物体在整个场景中的稀缺性
• 显著性检测（Saliency Detection）
– 从图像中检测出最能引起人的视觉注意的物体区域
原始图像
4
显著图(Saliency Map)
楼竞
Ground Truth
Regional Principal Color based Saliency Detection
显著性简介
显著性简介
• 显著性（Saliency）
– 物体在整个场景中的稀缺性
5
楼竞
Regional Principal Color based Saliency Detection
显著性简介
显著性简介
普遍认为分为两类
• 眼动预测 （Fixation Prediction） • 显著物体分割 （Saliency Object
Segmentation）
• ITTI [Itti et al. PAMI 98]
• FT [Achanta et al. CVPR 09]
• AIM [Bruce et al. NIPS 06]
• GC [Cheng et al. CVPR 11]
• GBVS [Harel et al. NIPS 07]
• SF [Perazzi et al. CVPR 12]
• DVA [Hou et al. NIPS 08]
• PCA-S [Margolin et al. CVPR
• SUN [Zhang et al. NIPS 08]
13]
• SIG [Hou et al. PAMI 12]
6
楼竞
Regional Principal Color based Saliency Detection
显著性简介
显著性简介
• 眼动预测评价（Fixation Prediction）
原始图像
眼动追踪实验
眼动数据
[Yin Li et al., CVPR 2014]
7
楼竞
Regional Principal Color based Saliency Detection
显著性简介
显著性简介
• 显著物体分割评价（Saliency Object Segmentation）
原始图像
显著图
人工标注结果
[Ming-Ming Cheng et al., CVPR 2011]
8
楼竞
Regional Principal Color based Saliency Detection
显著性简介
显著性简介
• 常见数据集
9
楼竞
Regional Principal Color based Saliency Detection
显著性简介
显著性检测的应用
• 图像/视频分割
目标识别
• 图像/视频压缩
• 目标识别
• 图像缩放
基于内容感知的
图像缩放
• 感兴趣区域检测
• 图像拼接
理想很美好~~~
非真实感渲染
10
楼竞
Regional Principal Color based Saliency Detection
Outline
Outline
11
1
显著性简介
2
基于全局对比度的显著性区域检测
程明明 (CVPR 2011)
3
我们的工作
楼竞
Regional Principal Color based Saliency Detection
Ming-Ming Cheng
Ming-Ming Cheng
• (1) 颜色量化
– 在RGB颜色空间，左图中包含62,743种颜色，但其中
75.2%的颜色只出现了一次（即仅占一个像素），这些
像素的总和占整个图像面积的39.32%
– 采用均匀量化方式，将每个通道量化为12级
（12^3=1728）
12
楼竞
Regional Principal Color based Saliency Detection
Ming-Ming Cheng
Ming-Ming Cheng
• (2) 基于颜色直方图的全局显著性检测
– 统计颜色直方图并抛弃低频出现的颜色（只保留95%）
– 颜色差异度量（Lab空间）
– 全局颜色显著性计算-----即：对颜色𝒄的显著性值而言，颜
色差异大、数量多的颜色对𝒄的贡献越大
13
楼竞
Regional Principal Color based Saliency Detection
Ming-Ming Cheng
Ming-Ming Cheng
• (3) 颜色显著性平滑
– 噪声：相似颜色量化为不同的值需要去除
– 其中，
– 即： 𝒄的显著性是由与它最相似的𝒎个颜色平滑得到 (𝒎 = 𝒏/𝟒)。
颜色越相似，被赋予的权值越大 (权值的∑=1)。
– 基于颜色直方图对比 (HC) 方法结束！
14
楼竞
Regional Principal Color based Saliency Detection
Ming-Ming Cheng
Ming-Ming Cheng
• (4) 区域对比 (RC)
– 区域比像素更能引起人的关注、图像内蕴着空间关系
– Graph-based segmentation (IJCV 2004)
– 其中，
– 即：对区域𝒓𝒌 的显著性而言，颜色差异大、像素多、距离近的区域
对𝒓𝒌 的贡献越大。𝛔𝒔 越大，越远的区域贡献越大。
RC方法结束！
15
楼竞
Regional Principal Color based Saliency Detection
Outline
Outline
16
1
显著性简介
2
基于全局对比度的显著性区域检测
程明明 (CVPR 2011)
3
我们的工作
楼竞
Regional Principal Color based Saliency Detection
我们的工作
大致如下
• (1) 采用最小方差量化
• (2) 每个区域仅使用一个主色表示
• (3) 修改了区域显著性计算方法
• (4) 增加了中心偏置（Center bias）
• (5) 实验及参数选择
17
楼竞
Regional Principal Color based Saliency Detection
我们的工作
(1) 采用最小方差量化
• 将原图最小方差量化为256色
– 动机：弥补均匀量化对相似颜色量化为不同值的不足；最小方差量化
更能体现原始的颜色分布
18
楼竞
Regional Principal Color based Saliency Detection
我们的改进
(1) 采用最小方差量化
19
楼竞
Regional Principal Color based Saliency Detection
我们的工作
(2) 每个区域仅使用一个主色表示
• 动机：
① 基于“颜色对”比较的执行效率较低（MATLAB中的多层嵌套循环）
② 每个区域具有高度的颜色一致性
• 计算每个区域的时间复杂度：
20
楼竞
Regional Principal Color based Saliency Detection
我们的工作
(3) 改进了区域显著性计算方法
• 动机：
① 对于原显著性区域而言，自身的显著性应予以保留
② 对于原非显著性区域，显著性值不应被其它显著性区域间接影响
• 优点：抑制了原非显著性区域的值
• 缺点：原显著性区域的显著性值也受到一定程度的抑制
21
楼竞
Regional Principal Color based Saliency Detection
我们的工作
(4) 增加了中心偏置（Center bias）
• 动机：显著性区域更可能位于图像的中心（抑制非中心区域）
• 将所有区域中心与图像中心的距离归一化到[0,1]
– 即：距离中心越远，权值越小；𝛔越小，权值越小，越远的区域受
抑制程度越大（越集中于图像中心）
22
楼竞
Regional Principal Color based Saliency Detection
我们的工作
(5) 实验及参数选择
• 数据集：MSRA-1000
– Learning to Detect A Salient Object, CVPR 2007
– Frequency-tuned Salient Region Detection, CVPR 2009
23
楼竞
Regional Principal Color based Saliency Detection
我们的工作
(5) 实验及参数选择
• 我们的结果
24
楼竞
Regional Principal Color based Saliency Detection
我们的工作
(5) 实验及参数选择
• (1) 固定阈值分割：将每张显著图在阈值范围[0,255]做256次分割，针对每
个阈值，计算1000张图的平均的Precision、Recall、F-measure
• (2)自适应阈值分割：
• (3)对F-measure的两种计算方式
– 2*P*R/(P+R)
–
25
楼竞
Regional Principal Color based Saliency Detection
我们的工作
(5) 实验及参数选择
• 动机：对PR曲线的定量评估
• 在Recall区间
对Precision做插值并求均值 (N/A表示去除Center
bias)
26
楼竞
Regional Principal Color based Saliency Detection
我们的工作
(5) 实验及参数选择
27
楼竞
Regional Principal Color based Saliency Detection
我们的工作
(5) 实验及参数选择
实验： 76+24+1=101 组
统计：(101+10+13*2)*257*1000=35209000 张二值图
28
楼竞
Regional Principal Color based Saliency Detection
Thanks！
29
楼竞
Regional Principal Color based Saliency Detection