基于边界和中心关系的显著性检测方法

郭 伟,洪 倩

(辽宁工程技术大学 软件学院,辽宁 葫芦岛 125105)

0 概述

人们在处理视觉信息时,通常筛选其中的一个或几个显著目标[1]而选择性地忽略其他信息,以减少信息处理量并提高信息处理速度。与上述过程类似,显著性检测是机器识别并提取出显著目标的过程。在目标识别[2]、图像分割[3]等研究领域,显著性检测得到广泛应用并发挥着重要作用。

研究人员相继提出多种显著性检测模型,其中主流研究思路是对显著物体在图片中的位置、与背景的颜色差异等性质进行研究,以得到结果图。Itti[4]方法利用多尺度特征和“中心-边界对抗”方法提取特征图,最后融合特征图得到结果显著图。GBVS[5]方法在Itti方法的基础上构建马尔科夫随机链,求解平衡分布然后得到结果显著图。COV[6]方法以区域协方差为特征,描述不同的特征维度对整体视觉显著性的影响。DSR[7]方法利用多角度的重构差异并引入贝叶斯公式进行积分以得到显著图。FES[8]方法在贝叶斯框架下,利用稀疏采样和密度估计计算局部特征对比度的显著性。GR[9]方法使用兴趣点来估计显著目标的中心从而得到显著图。PCA[10]方法根据中心环绕对比度和全局稀缺性2个特征,利用分段和主成分分析进行显著性检测。SDSP[11]方法结合带通滤波能模拟视觉机制检测显著性目标、中心区域更引人注意、暖色更引人注意这3种简单先验以进行显著性检测。文献[12]提出一种多尺度超像素显著性检测方法,其对图片进行超像素处理后,对不同尺度显著图实现自适应中心环绕处理并进行融合以得到最终显著图。文献[13]在超像素分割后建立无向图,在该无向图上进行惰性随机游走,结合颜色对比度实现优化以得到最终显著图。

在进行显著物体检测时,上述方法会出现背景噪声、将背景区域误当前景显著区域等问题。为此,最近背景先验及其显著性检测模型相继被提出[14-15]。对背景点显著度进行提取,得到背景显著图,然后利用背景显著图找到显著目标。文献[16]将背景先验和多尺度相结合,其在不同的尺度下进行超像素分割,利用超像素块的特征差提取出背景区域,然后计算显著区域并对不同尺度下的显著图进行融合得到最终显著图。但该方法存在显著物体接近边界位置会被误认为是背景区域的问题,导致其准确率与普适性较低。

本文提出一种基于边界和中心关系的显著性检测方法。提取中心点和边界点的关系并计算出两者的显著度,结合背景连续性和显著目标边缘闭合性,利用伽马变换背景抑制得到一张显著图。依据边界和中心的关系选取背景种子点,由此改进流行排序结果并利用伽马变换背景抑制得到另一张显著图。在像素级上计算合适的阈值,融合上述2张显著图并作为最终的结果显著图。

1 显著性检测

1.1 方法流程

如图1所示,本文方法使用引导滤波[17]处理原图像,达到平滑处理的效果并降低高频噪声对显著信息提取的干扰。本文方法的步骤分为:

1)超像素分割平滑处理后的图像为超像素块,结合边界中心关系计算中心显著度和前景权重,通过伽马变换得到显著图1。

2)基于边界中心关系改进流行排序算法,使用伽马变换背景抑制得到显著图2。

3)在像素级上利用像素差寻找阈值并融合2张显著图。

图1 基于边界和中心关系的显著性检测方法框架

1.2 引导滤波平滑处理

图像的高频信息在一定程度上能干扰显著性检测的准确度,而大部分显著信息蕴含在低频信息中。因此,为了提高结果显著图的准确性,可以先对输入图像进行平滑处理。本文通过引导滤波的方法进行平滑处理,引导滤波同时能够减少噪声对显著图的影响。

引导滤波选取窗口并在窗口内使用局部线性模型,设q为输出图像,I为引导图像,k是窗口中心点的位置,ωk是窗口内所有点的集合,ak、bk均为线性系数。在计算完一个窗口后,窗口往后滑动,直到计算出所有像素点的值:

qi=akIi+bk,∀i∈ωk

(1)

为了得到输出图像,需要通过式(2)最小化损失函数以求解得到线性系数ak和bk的值:

(2)

(3)

(4)

图2 平滑处理示例

1.3 超像素分割

本文利用SLIC[18-20]超像素分割方法将经过平滑处理的图片分割为超像素块。超像素处理可以在模糊图像、弱化纹理的同时保持图片的边缘信息。像素聚类而成的超像素块作为基本单位,相比像素点数量大幅减少,从而能够降低计算量并提高运行效率。

1.4 基于中心边界关系的显著图

1.4.1 中心显著度

显著物体与周围环境存在差异性,其在颜色、位置、纹理等属性特征上具有独特性。根据观察,图片的显著物体一般具有以下3种特性:

1)显著目标在图片中的位置一般在中心区域。

2)显著目标的亮度与边界区域差异明显,并且显著目标的边缘是闭合的。

3)显著目标的颜色与图片边界区域有明显的差异。

本文根据第1个、第3个特征得到图片中心点显著度,具体计算方法如下

Sc=exp[-Mid·min{d(gc,hk)}]

(5)

(6)

其中,gc是中心超像素块,hn是一般超像素块,hk是图片4个角的边界超像素块,超像素块gc和hk的颜色距离用欧氏距离d(gc,hk)表示。

1.4.2 显著度计算

背景区域具有连续性,前景区域与背景区域有明显的对比度,并且前景区域边界闭合。如图3所示,条形区域a背景连续,中间部分与两端边界区域相似度高、对比度低,且具有连续性;条形区域b的中间部分与两端边界区域相似度低、对比度高,且中心区域边缘闭合,可以理解为中心区域的显著目标隔断了背景区域的连续性。

图3 图像背景连续性示例

S(αi)=exp[-d(gc,αi)·Sc·MIN]

(7)

MIN=min{d(α1,αi),d(αi,αm)}

(8)

其中,欧式距离d(α1,αi)是超像素块α1和αi的颜色距离。式(7)中第一项和第二项描述超像素块αi与中心超像素块gc的显著相似度,最后一项描述αi与左右边界超像素块的差异性。通过超像素块αi的最短路径会有多条,能够计算出多个不同的值,为了检测结果的准确性,选取显著值最小的值作为该点的显著度。图4所示为基于中心边界关系的显著图示例。

图4 基于中心边界关系的显著图

1.4.3 伽马变换背景抑制

伽马变换如式(9)、式(10)所示,调节γ的值能增强低灰度区域或高灰度区域。取γ>1,能够抑制灰度级低的区域,增强图片的对比度。

s=crγ

(9)

(10)

其中,Gg表示背景抑制后的图像,Gq表示输入的前景显著图,c和γ是正值常数。

对前景显著图进行伽马变换实现背景抑制,可以提高显著图的对比度,减少背景区域对前景区域的影响,得到初步显著图1。从图5可以看出,荷花上下的灰色非显著性区域被明显抑制,显著检测结果更贴合真值。

图5 基于中心边界关系的背景抑制显著图

1.5 改进的流行排序算法

流行排序算法在显著性检测领域得到广泛应用,其利用4个边界的点作为种子点计算显著图。本文将与中心点显著度差值大于差值平均值的点作为背景种子点。

(11)

其中,ci和cj分别为超像素i和超像素j在CIE Lab颜色空间上的平均值,σ是权重控制因子。

利用式(5)、式(7)分别计算4个边界上所有超像素块的显著度和中心显著度的差值,取差值总和的平均值作为阈值,将所有大于阈值的超像素块作为背景种子构造指示向量Y=[y1,y2,…,yn]。流行函数的计算方法为:

f*=(D-aW)-1Y

(12)

(13)

其中,f*是记录所有节点排序得分的N维向量,归一化该向量得到节点i的背景显著度Sbq,生成背景显著图。

寻找合适的阈值对背景显著图进行阈值分割,阈值的获取方式是取图像显著度的均值,得到前景种子点并作为新的指示向量,利用式(12)对所有超像素块进行排序,归一化处理得到前景显著图Sfq:

(14)

此处同样利用伽马变换对前景显著图Sfq进行背景抑制,得到初步显著图2,从图6可以看出,非前景区域被抑制,对比度增强。

图6 基于改进流行排序的背景抑制显著图

1.6 显著图像素差融合

从图5、图6可以看出,初步显著图1的荷花上部分有一块背景区域被误认为前景区域,初步显著图2的2片花瓣的灰度值变低且上部分有一小片背景区域没有被完全抑制。为了解决上述问题,本文对这2张初步显著图在像素级上进行融合。对于同一像素点πi,在2张初步显著图中的显著值分别为X1(πi)、X2(πi),除去显著值差值为0的像素点,计算剩下所有像素点显著值总差值的平均值DDis,以DDis作为阈值计算像素点πi在融合的显著图中的显著值Sfn,计算公式如下:

H(πi)=Xi(πi)-X2(πi)

(15)

(16)

(17)

其中,count是显著差值不为0的像素点个数,a、b分别为X1(πi)、X2(πi)的权重因子,通过实验确定a=0.3,b=0.7。若不去除显著值相同的点,大量显著值相同的像素点将拉低阈值,降低显著性检测效果,如图7(d)所示。如图7(e)所示,在最终结果中,显著图的前景背景区域区分明显,且荷花的细节得到了更好地保留,2幅图的背景区域得到较好地处理,表明2幅初步显著图的融合能大幅提升显著性检测效果。

图7 像素级融合显著图

2 实验结果与分析

2.1 实验环境

本文实验数据集来自MSRA10K,其包含10 000张图片和对应的显著真值图。将本文方法与COV、DSR、FES、GBVS、GR、PCA和SDSP 7种显著性检测方法进行对比分析。实验环境为WIN 7操作系统,MATLAB R2016a。

2.2 评价指标

本文选取P-R曲线、F-Measure、平均绝对误差MAE 3个传统指标,以及S-Measure[21]、E-Measure[22]2个新指标来评价方法性能。F-Measure是对准确率(P)和召回率(R)的综合评价,其计算方法如式(18)所示。根据文献[23],β2取值为0.3,以增加准确率的权重。MAE计算方法如式(19)所示。

(18)

(19)

其中,S(x,y)是结果显著图,Gt(x,y)是真值显著图,W和H分别代表结果显著图的长和宽。

S-Measure是针对人类视觉对显著目标结构具有高度敏感的特性提出的一种结构性相似度量,其注重调亮度比较、差异对比度和色散概率,针对属于[0,1]实数非二进制进行映射,具体计算方式如下:

S-Measure=α·S0+(1-α)·Sr

其中,S0表示对象感知的结构相似度,Sr表示区域感知的结构相似度。

认知视觉研究表明,人类对全局信息和局部细节信息都敏感,因此文献[22]提出能很好应对二进制映射的E-Measure评价指标,其结合像素级和图像级均值,同时捕捉图像级信息和像素级匹配信息,具体计算方式如下:

φI=I-μI·A

(20)

(21)

φFM=f(ξFM)

(22)

(23)

2.3 结果分析

图8、图9(a)和图9(b)是在3种经典评价指标下的对比结果。从中可以看出,在P-R曲线上,本文方法略低于GR方法且明显优于其他方法。对于F-Measure值,本文方法高于其他方法。对于平均绝对误差MAE值,本文方法略高于DSR方法且远低于其他方法。图9(c)和图9(d)分别为2种新评价指标E-Measure和S-Measure下的结果对比,从中可以看出,本文方法和GR方法的S-Measure值相近且仅次于DSR方法,本文方法、GR方法和DSR方法的E-Measure处于同一水平,优于其他方法。

图8 P-R曲线对比

图9 不同方法的评价指标直方图对比

图10是各方法的运行结果,从中可以看出,COV方法、FES方法和GBVS方法像素降低且失去边缘信息,PCA方法和SDSP方法在简单背景下能准确提取出显著目标,但是在复杂背景下,大量的背景信息并未很好地去除,被误认为是前景显著区域。DSR方法、GR方法和本文方法都能取得较好的效果,但是本文方法的背景抑制效果更彻底,对比度明显且很好地保留了边缘信息,例如图10中荷叶围绕中的一朵荷花、石头上的一片枫叶,DSR方法和GR方法的显著图中都有一些背景区域没有被很好地抑制,本文方法的显著图对比明显,背景抑制彻底,更接近真值。

图10 各方法运行结果对比

除了上述5种评价指标,本文还测试了各种方法的平均运行时间,结果如表1所示。可以看出,本文方法的运行时间虽然高于DSR方法,但是比GR方法低很多,运行速度在可接受的范围内。综合各评价指标和运行时间结果可知,本文方法具有一定优势。

表1 各方法运行时间结果对比

3 结束语

本文提出一种基于边界和中心关系的显著性检测方法。使用引导滤波处理图像,在降低高频信息干扰的同时模糊图像。结合中心显著度和边界显著度关系计算显著图,以准确提取显著目标。利用边界中心关系选取背景种子点并改进流行排序算法,得到更可靠的前景显著图。在此基础上,通过伽马变换进行背景抑制,从而减弱背景区域对前景区域的干扰,增强对比度。实验结果表明,与COV、DSR等显著性检测方法相比,该方法在F-Measure、S-Measure等评价指标上能取得更好的结果。本文方法在复杂背景环境下对背景抑制仍不够彻底,解决该问题并进一步提升结果显著图的准确率将是下一步的研究方向。