全局对比和背景先验驱动的显著目标检测

邓 晨，谢林柏

江南大学 物联网工程学院，江苏 无锡 214122

1 引言

人类的视觉系统拥有迅速理解场景并从中抓取最感兴趣区域的能力，显著性检测就是让计算机模拟人类的这种能力，降低计算机对图像理解的复杂程度，从而让计算机更加高效地工作。显著性检测作为图像预处理的基础研究在图像分割[1]、图像压缩[2]、目标识别[3]等方面都有广泛的应用。

基于局部和全局对比的显著性检测算法大都是直接计算显著目标（前景）的显著性，故被称之为“前景优先”。Itti[4]作为最早期的显著性研究算法，在多个尺度上融合颜色、亮度、方向特征通过“中心-周围”对比得到显著图，但是这种方法计算复杂度高，显著区域容易产生空洞。文献[5]对图像进行分块处理，将像素块与周围相邻像素块作对比得到局部显著图。文献[6]在LAB空间计算每种颜色与其他颜色之间的空间距离之和表示显著性值。文献[7]分别以颜色差异、空间距离值进行高斯滤波，最后综合考虑颜色和空间信息得到显著值。文献[5-7]中的方法简单快速，但当背景杂乱时，背景容易获得高显著值，对背景的抑制能力较弱。文献[8]提出了背景先验的概念，首先假定所有的边界点都为背景，然后计算像素块与边界像素块的测地线距离作为显著值。文献[9]通过边界颜色直方图对比，将满足阈值要求的两条特定边界作为背景。文献[10]通过对比单个超像素与全体边界超像素的颜色均值对比来筛选背景。文献[11]通过对比每个边界超像素和其他所有超像素之间的颜色差异大小来筛选背景。由于文献[9-11]均为通过边界内部之间的对比来筛选属于背景的边界超像素，当边界颜色差异较大且杂乱时，容易将噪点当成显著目标并排除在背景外，因此依然存在背景选择不明确的问题。

针对上述问题，本文提出全局对比和背景先验驱动的显著目标检测方法。通过全局对比得到基于全局的显著图，并选择其中显著值较大的点作为前景种子点；以前景种子点为参照得到背景种子点，并进一步得出基于背景的显著图；在融合全局和背景显著图的基础上，选取其中显著值较高的超像素作为兴趣点集合，最终以每个超像素与兴趣点之间的最短距离为高斯权重对显著图进一步优化。与其他主流算法对比，本文算法可以更好地应对信息复杂的背景，均匀突出显著目标。

2 显著图计算方法

2.1 基于全局对比的显著图提取

简单线性迭代聚类（Simple Linear Iterative Clustering，SLIC）[12]可以将图片分割为若干个具有相同颜色信息的超像素，在较好保留图像边界信息的同时能够降低图像后续处理的复杂度。故本文采用SLIC方法对图像进行预处理，将图片分割成K个超像素，每一个超像素包含[l,a,b,x,y]五维特征，其中[l,a,b]为超像素在CIELAB空间的颜色平均值，[x,y]为每个超像素的空间位置。全局颜色对比可以让颜色相近的超像素分配有相同显著值，故能更均匀突出整个目标区域。与临近超像素相比拥有较大差异的点往往会引起人类视觉的更多关注，在计算每个超像素的对比度时，将超像素之间的空间与颜色因素同时考量。把超像素之间的空间距离作为权值，空间距离越大的超像素对对比度的贡献越小。本文考虑显著区域在整幅图像中占比较小，同时为了减少显著值在相似颜色块之间的小数值累加，设定当两个超像素的颜色差异小于阈值α时，累加值为零，其中Sg(i)为第i个超像素基于全局的显著值：

其中d(Ci,Cj)表示第i与第j个超像素在[l,a,b]特征之间的颜色距离，d(Pi,Pj)表示第i个与第j个超像素在[x,y]特征之间的空间距离，所有距离归一化[0,1]，δf是控制空间距离权重的因子，δf越大则邻近超像素贡献越大，α为控制颜色差异的阈值。

在基于全局的显著图提取方面，本文所设定的阈值α可以有效减少显著值在相似颜色超像素之间的累加，降低由累加带来的背景区域显著值上升干扰，使背景区域和前景显著目标的对比更加明显。

2.2 基于背景的显著图提取

传统背景提取方法假定边界全部为背景区域，而很多图像中存在前景显著区域延伸到边界的情况，此时会产生噪声点并极大程度干扰背景先验检测的可靠性。本文将2.1节所得基于全局的显著图Sg中显著值较大的点作为前景种子点，通过对比边界超像素与前景种子点的相似度，筛选出属于背景的边界超像素。本文假定所提取的前景种子点为{Fj},j=1,2,…,m，由原图提取出来的边界超像素为{Bi},i=1,2,…,n。每个边界超像素的显著值定义为边界超像素Bi与前景种子点Fj在欧氏空间上的颜色距离。当PB(i)小于设定的阈值时，认为边界超像素Bi属于前景显著区域并在背景中剔除，从而得到属于背景的边界超像素集合PB作为背景种子点，背景超像素集合PB的定义式为为图像的显著目标区域，t为集合中的个数。

与背景种子点颜色相似度越高空间位置越近的超像素更有可能成为背景，因此被赋予更低的显著值。以上述更为精确的背景种子点为对比提取基于背景的显著图，Sb(i)为第i个超像素基于背景的显著值：

其中d(Ci,Cj)表示第i与第j个超像素在[l,a,b]特征之间的颜色距离，d(Pi,Pj)表示第i与第j个超像素在[x,y]特征之间的空间距离，超像素j属于背景集合PB,δb为控制距离权重的因子。

在背景检测方面，与传统方法只通过边界超像素之间的颜色对比得到背景种子点不同，本文通过参照前景种子点可以得到更为精确的背景种子点，能够避免边界中颜色差异性较大以及属于前景显著区域超像素的干扰，同时使得基于背景的显著图更加清晰。

2.3 显著图融合

基于全局的显著图可以让全局占比较小的显著目标获得高显著值，基于背景的显著图可以让与背景相似度高的超像素被抑制，突出与之差异性较大的前景显著目标。出于以上的考虑，两幅图中对应超像素的显著值均较高时则更有可能成为显著区域，反之则可能成为背景。因此需要一种融合方法可以让前景目标突出并抑制背景。以往显著图大部分采用相乘或加权融合的方法，虽然直接相乘的方法会让背景显著值更低，但是这种简单的方法同时会使得显著目标被过度抑制，而加权的方法难以有效抑制背景噪声。因此，本文提出了一种新的融合方法，第i个超像素显著值的计算公式如下：

由式（4）可以看出，当基于全局的显著值和基于背景显著值对应的超像素均大于各自的阈值时，这个超像素更有可能属于显著目标，因此把两者取平均减小对显著目标的抑制；反之则以基于全局的显著值作为高斯权值进行融合，让背景得到更多的抑制，在不减弱显著目标融合的同时，有效加强对背景抑制。

2.4 基于多兴趣点的高斯模型

传统算法将图像中心[14]或者凸包中心[15]作为显著中心并被赋予较高的显著值，然而图像中的显著物体可能存在于图片的任何位置，并且显著区域的形状可能不规则，如果仅使用单个基于图像中心或者凸包中心的高斯模型会得到一个光斑，对显著区域的边界抑制较大。另外由于只有一个中心，所以为保证显著区域能大范围被覆盖，通常需要选取较大的滤波半径，会降低对背景的抑制能力。针对单个中心点高斯模型的不足，提出了基于多个兴趣点为中心的高斯模型。通过对融合显著图Scom的分析，首先求出质心Ο，为了避免一些噪声点的影响，在以Ο为圆心r为半径的范围内寻找显著值大于Δ的超像素作为兴趣点集合{Mj},j=1,2,…,s。任意一个超像素Scom(i)与兴趣点的距离为：

其中xsi,ysi分别为超像素的横纵坐标，xmi,ymi分别为兴趣点的超像素的横纵坐标。然后以每个超像素与兴趣点的最小距离作为权重，并重新设定像素块的显著值为：

其中Dmin=min{D1,D2,…,Ds}为超像素与兴趣点的最小距离。η为固定设置的权值，η增大对背景抑制能力增强，但是当η过大时则会抑制前景目标。r为设置的固定值，r增大则收集兴趣点的范围越宽。Δ为筛选兴趣点的阈值。

相比单个中心的高斯模型，文中所提方法的优势在于，用融合显著图Scom的质心作为圆心，寻找设定范围内的高显著值超像素作为兴趣点，使得图中存在多个中心，在更全面覆盖显著区域的同时减少孤立高显著值噪点的影响。再以超像素与兴趣点的最小距离为权重，可以得到与显著区域形状相似的高斯权重图，在高亮显著目标抑制背景噪点的同时能够改变单中心高斯模型中显著区域边界抑制严重的问题。

3 算法步骤实现

全局对比和背景先验驱动的显著目标检测方法的流程图如图1所示，主要步骤如下：

步骤1使用SLIC进行图像预处理，将图1（a）分割为一系列感知均匀的像素块，如图1（b）。

步骤2按照2.1节所提方法得到基于全局的显著图Sg如图1（c）所示，并筛选出前景种子点。

步骤3通过边界对比前景种子点得到真实背景超像素集合如图1（d）所示，再由2.2节步骤得到基于背景的显著图Sb，如图1（e）。

步骤4通过公式（3）融合基于全局的显著图Sg和基于背景的显著图Sb得到融合显著图Scom，如图1（f）。

图1 算法流程图

步骤5最后通过基于多兴趣点的高斯模型得到最终显著图，如图1（h）。

4 仿真实验分析

本文算法运行的软件环境为MATLAB 7.8.0（R2009a）。系统运行环境为Windows XP，因特尔3.10 GHz CPU，2 GB内存。实验中使用公开数据集MSRA-1000中的1 000幅图像[16]作为测试集，图库中包含人、动植物、车辆、建筑物等各种自然场景，其中每幅图像提供了对应的人工标注二值图（Ground Truth，GT）作为显著目标模板。文中参数k,δ2f,δb2,α,Δ,r,μ,η经过多次测试分别为250，0.2，0.2，30，0.6，0.4，15，10。

为评价本文所提的显著性检测方法，选择6种主流方法与本文算法（Saliency using Global contrastand Background priors，SGB）进行比较，包括 HC[6]，SF[7]，GS[8]，CHB[17]，FT[16]，PCA[18]。在实验中，采用国际主流的数据评价方式全面评价本文方法。图2为本文算法和主流算法以及GT图的直观比较图。

图2 本文与主流算法的直观比较图

限于篇幅关系且为了更加直观地感受本文算法的处理效果，图2仅列出对MSRA数据库处理后的1 000幅图形里的5幅进行对比。由图2可以看出，本文算法SGB中显著图像边缘轮廓更清晰，背景的干扰更小，更能均匀突出前景目标。HC，SF，FT算法仅仅从前景出发，没有考虑边界背景对与前景显著目标的突出效果，因此显著图受背景干扰较大；GS算法单从背景出发，当显著目标处于边界时，容易受到干扰，同时一些孤立噪点容易获得较高显著值；CHB和PCA算法中只采用了单兴趣点高斯模型对背景进行抑制，难以完全地克服背景干扰。而本文算法综合考虑了全局对比，剔除干扰超像素后的背景边界以及多兴趣点高斯模型，能够更好地抑制背景，并均匀高亮显著目标。

为进一步验证本算法的正确性和有效性，本文采用查准率P、查全率R和F值三个指标来评价算法性能。P、R、F值越大表示性能越好。通过自适应阈值Yu对算法得到的显著图进行二值分割，并将得到的二值图与人工标注图GT对比，得到图像的查全率和查准率，并进一步计算F值综合考虑算法性能，如图3所示。F值、自适应阈值Yu的计算公式如下。

与文献[16-18]一致，其中β2取值为0.3，W,H为显著图的长和宽。

图3 F-measure柱状图

从图3可以看出，本文算法的P值和综合评价指标F明显高于其他几种算法，而R值明显高于GS、FT和HC算法，与SF、CHB、PCA算法相当。因此综合这三个指标看出，本文算法优于其他几种算法。F值的具体数值如表1所示。

表1 本文算法与其他算法在三种性能指标下的对比

另外通过固定阈值Tf={x|∀x∈[0,255]}将显著图分割为256张二值图，将其与GT比较得到查全率、查准率（Precision-Recall，PR）曲线，进一步观测到在不同阈值下查准率和查全率之间的关系，如图4。

图4 PR曲线

由图4可以看出，当查全率处于[0，0.4]时本文算法的查准率远高于HC、FT，而与其他算法相当。当查全率大于0.4时，本文算法的查准率要超过其他6种算法。PR曲线为全面衡量查全率查准率的指标，不同阈值下查全率查准率会有不同的表现，为了更加直观且综合地评定算法优劣，计算PR曲线下的面积AUC（Area Under Curve）[19]来定量的评判算法优劣，AUC值越靠近1，表示算法效果越精确。具体数值如表1所示。

为了不进行二值分割而直接分析算法所得显著图与GT之间的关系，通过平均绝对误差（Mean Absolute Error，MEA）值来评价本文算法性能。

其中M,N为显著图的长和宽，GT(x,y)表示人工标注图在(x,y)处的值，S(x,y)表示显著图在(x,y)处的值，MEA值越小，说明算法得到的显著图与人工标注图的差异越小，性能越优异。MEA值比较如表1所示。

由表1可以看出，本文所提算法的MEA值相比其他几种算法均较小，F值与AUC值均大于其他算法，表明本文算法在目标和背景的综合评价方面效果最好。

5 结论

本文提出了一种全局对比和背景先验驱动的显著性检测方法，通过基于全局的显著图得到更为精确的背景种子点，并以背景为基础得到让显著目标有更高对比度的显著图；在融合全局和背景显著图的基础上，选取其中显著值较高的超像素作为兴趣点集合，采用基于多兴趣点的高斯模型进一步抑制图像噪声。在公开测试集MSRA-1000上与当前的6种主流算法进行实验作对比，从定量分析得出本文查准率（0.858 1），查全率（0.828 9），F值（0.851 2），MEA值（0.116 7），可以看出显著区域提取更精确，抑制噪声能力更强。

[1]Victor L，Pushmeet K，Carsten R，et al.Image segmentation with abounding box prior[C]//IEEE 12th International Conference on Computer Vision，Kyoto，2009：277-284.

[2]Luo P，Tian Y L，Wang X G，et al.Switchable deep network for pedestrian detection[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition，Columbus，2014：899-906.

[3]Ren Z X，Yang N.Region-based saliency detection and its application in objectrecognition[J].IEEE Transactions on Circuits and Systems for Video Technology，2014，24（5）：769-779.

[4]Itti L，Koch C，Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：1254-1259.

[5]郭迎春，袁浩杰，吴鹏.基于Local特征和Regional特征的图像显著性检测[J].自动化报，2013（8）：1214-1224.

[6]Cheng M M，Zhang G X，Mitra N J.Global contrast based salient region detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（3）：569-582.

[7]Perazzi F，Krahenbuhl P，Pritch Y，et al.Saliency filters：contrast based filtering for salient region detection[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition，Providence，2012：733-740.

[8]Wei Y C，Wen F，Zhu W，et al.Geodesic saliency using background priors[C]//Proceedings of European Conference on Computer Vision，2012：29-42.

[9]蒋寓文，谭乐怡，王守觉.选择性背景优先的显著性检测模型[J].电子与信息学报，2015，37（1）：130-136.

[10]Cao X H，Deng H M，Huang B.Background aware saliency detection[J].Systems Engineering and Electronics，2014，36（8）：1668-1672.

[11]张巧荣.利用背景先验的显著性检测算法[J].中国图象图形学报，2016，21（2）：165-173.

[12]Achanta R，Shaji A，Smith K，et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern and Machine Intelligence，2012，34（11）：2274-2282.

[13]Otsu N.A threshold selection method from gray-level histograms[J].Automatica，1975，9（1）：23-27.

[14]高思晗，张雷，李成龙，等.融合低层和高层特征图表示的图像显著性检测算法[J].计算机辅助设计与图形学学报，2016，28（3）：420-426.

[15]Wang W，Cai D，Xu X，et al.Visual saliency detection based on region descriotors and prior knowledeg[J].Signal Processing Image Communication，2014，29（3）：424-433.

[16]Achanta R，Hemami S，Estrada F，et al.Frequency-tuned salient region detection[C]//IEEE International Conference on Computer Vision and Pattern Recognition，Miami，2009：1597-1604.

[17]Yang C，Zhang L H，Lu H C.Graph-regularized saliency detection with convex-hull-based centerprior[J].IEEE Signal Processing Letters，2013，20（7）：637-640.

[18]Ran M，Ayellet T，Lihi Z.What makes a patch distinct[C]//IEEE Conference on Computer Vision and Pattern Recognition，2013：1139-1146.

[19]李岳云，许悦雷，马时平，等.深度卷积神经网络的显著性检测[J].中国图象图形学报，2016，21（1）：53-59.