基于低级特征图最优融合的显著性目标检测

王 玉，彭晓明

（电子科技大学 自动化工程学院，四川 成都 611731）

基于低级特征图最优融合的显著性目标检测

王 玉，彭晓明

（电子科技大学 自动化工程学院，四川 成都 611731）

针对低水平特征显著性目标检测算法在检测图像时不能检测到不同大小的目标，而且精确度较低的问题。提出一种新的算法，通过将颜色分布，方向对比度以及基于频率信息这3种特征运用条件随机场进行最优全值线性融合后，得到更精确的显著性目标。通过与10种经典的显著性目标检测算法进行的定量和定性的对比，实验结果表明，提出的算法不仅可以有效地检测到大、中、小显著性目标，而且检测的效果比其他算法精确度高。

显著性目标检测；颜色分布；方向对比度；基于频域信息

近年来，显著性目标检测受到了计算机视觉研究领域的大量关注。由于它在计算机视觉的诸多应用中都能发挥重要作用，越来越多的针对不同应用的研究逐年增加。研究发现，人类视觉注意力选择机制包括两个模式:自底向上[1]和自顶向下[2]。由于自顶向下的方法难以实现，因而目前大多数显著性检测算法都是基于自底向上的方法[3-4]，这些方法的视觉注意力都是由较低级的特征（如对比、亮度和颜色）驱动。

Itti等人[5]最早提出了显著性检测的算法，其算法主要是提取出输入图像的颜色，方向和亮度特征，然后每个特征图的显著性通过中心—周围算子计算出来，并合并成一幅显著图。最近，一些以全局对比为基础的显著性检测方法被提出，从而弥补了基于局部对比算法的缺点。然而，这些模型仅仅考虑了一种基于颜色的低级特征，而忽略其他特征，比如方向特征。此外，在显著目标检测领域中，基于频域信息进行检测的方法与其他方法非常不同，它将空域的信息转换到频域上，然后在频域中进行显著目标检测。Achanta[6]等人通过在频域中非显著区域的定义来对显著目标进行检测。该算法将容易被人类视觉忽略的区域定义为非显著性区域，然后抑制这些区域来进行显著性目标检测。但是该方法的缺点是算法在抑制冗余信息的同时也抑制了显著性区域，这样就会造成目标内部区域的空洞。

针对以上算法的不足，文中从两个方面对基于低级特征的显著性目标检测算法进行了改进：文中选取图像中表现较好的低级特征作为检测的预处理单元，提高检测的精度；此外，与之前融合的算法不同，文中的融合算法在之前算法基础上做出创新，分配给每个特征图最优权重，使每个特征图之间达到互补。经本文改进后的算法这样不仅可以实现对不同大小尺寸目标的检测，而且检测结果更精确。

1 相关算法基础

近年来，显著性检测与图像处理有着密不可分的关系，图像处理依赖于高质量的显著图才能得到较好的处理结果。显著性检测算法中低级图像视觉特征的使用非常广泛，一些基于低级特征（如：颜色，方向，频域）的显著性目标检测方法被提出，文中提出的算法是以低级特征（如：颜色，方向，频域）算法为基础，所以下面将对此做出介绍。

1.1 颜色分布算法

人类的视觉注意力首先会对图像中的颜色感兴趣，因此颜色分布的特征计算是很有必要的。通常情况下，图像的背景的颜色分布很广，而前景即目标的颜色分布很少，由此来看图像中颜色分布越少的区域就越有可能是显著性区域。基于这一原理，对于某一颜色的全局空间分布能更好的描述被检测目标的显著性，将颜色空间分布特征定义为颜色方差之和，即利用颜色空间分布计算了各个颜色所占的比重来检测显著性目标。本文采用高斯混合模型（GMM）[7]计算颜色方差，从而描述某一颜色的空间分布。计算每个像素的颜色成分比重用条件概率，然后计算每一个颜色成分的水平方差Vh（c）和垂直方差Vv（c），之后分别对每个颜色成分的水平方差和垂直方差求和，得到每一个颜色的空间分布方差得到每个颜色成分的空间方差|x|c=Vv（c）+Vh（c）。定义加权的空间方差之和为颜色分布特征，定义如下:

图像中的所有颜色利用高斯混合模型计算出每一个像素的颜色所占的不同比重，而颜色所占比重越小的说明其越有可能属于显著性区域的颜色，由此可初步判定属于显著区域。

1.2 方向对比度算法

在一幅图像中以局部的信息为基础，也可以用来描述显著性目标，而本文对于局部方向对比度特征的计算是采用中央--周围算子[8]。因此本文较好地结合了局部和全局特征，这样能更精确地对显著性目标进行检测。方向对比度就是通过比较图像中角度的变化来实现的，如果某像素的角度差异越大，该点的显著值就越大，由此可计算出显著目标。

方向对比度的计算首先对输入图像构建出高斯金字塔，在每一层高斯金字塔中有不同尺度的基于方向的特征，然后分别将其提取出来作差，利用中心-周围算子计算出图像中方向的对比度，将上述得到的特征图归一化到[0 1]区间，接下来分别叠加归一化后的方向对比的特征图，这样就得到了基于对比度方向的特征图。

1.3 基于频域信息

在显著目标检测领域中，基于频域信息的显著性检测算法与其他算法所不同的地方是，它巧妙地将空域的信息转换到频域上，然后在频域中定义显著目标并进行检测。非显著性区域，即图像中对应着大面积的一致区域或重复区域，人们的视觉对其并不敏感，抑制这些区域就能使显著目标自动突显。文中方法就是利用SR[9]算法原理，将显著性区域表示为图像的log振幅谱与平均log振幅谱之差，其公式如下：

其中，L（f）是输入图像的log振幅谱，将L（f）进行3*3的均值滤波得到的平均振幅谱A（f），相位谱P（f），R（f）就是图像的幅度谱残差。将幅度谱残差R（f）和相位谱P（f）进行傅立叶反变换，计算出图像的显著性如式（3），为了得到效果更好的显著图，在此基础上作了高斯平滑，得到原图的显著图S（x）。

2 改进的最优融合算法

显著性检测中选择不同特征图作为算法融合的对象对于检测效果有很大影响，本文选取的低级特征是颜色分布特征，方向对比度特征及基于频域信息特征。这是因为颜色特征以全局性提取出显著性区域，结果较为准确，但是如果输入的图像中包含很多颜色，或者是只包含的颜色非常相近，基于颜色特征的显著性目标检测算法对这些图像检测很困难，因此有必要考虑到基于方向对比度的计算，方向对比度是以局部比较计算出显著性目标，这不仅弥补颜色特征的不足，而且加强了目标的边界，但是也会带来目标区域的“空洞”，而基于频域信息的特征可有效地抑制背景冗余信息，从而使前景（目标）区域凸现出来，换句话说，也就是加强了目标区域，从而弥补了基于颜色特征和基于方向对比度带来的不足。

之前的很多算法都是基于图像的低级特性的显著性检测，这就容易忽略掉显著性目标的很多特征，导致检效果不佳。也有算法是将低级特征结合，但是选取特征都不太理想，而且结合的方式大多数是均值相加或简单相乘，这导致每个特征都不是以最优权重对图像进行检测，检测效果自然就不理想。针对以上算法的不足，文中以全局和局部的观点，选取了基于颜色的特征，基于方向的对比度，更巧妙的将频域信息引入。而文中的融合算法也不是简单相加或相乘，文中融合算法如下：

其中，式（4）是模型的概率分布，表示针对图像中不同的情况，ωn权重分配不同。定义观测图像I，标签状态S={sx}，sx=0表示标记的为显著区域，sx=1标记为非显著区域。Z是分配函数，用于函数的归一化处理。Fn=（sx，S）是单一变量的势函数表示第n个显著特征，其中λn表示第n个显著特征的权重。Sn表示不同算法得到的低级特征图，ωn表示针对图像中不同的情况，根据式（5）得到的权重分配，使各个特征图得到最优权重，实现了图像中目标尺寸大小不同的准确检测。文中算法就是将这3个特征以最优权重进行融合，使每个特征图达到互补，这样不仅可以实现对不同大小尺寸目标的检测，而且检测结果更精确。

3 实验结果与分析

文中提出的算法的对比实验是在微软亚洲研究院提供大量的图像数据库MSRA[7]中进行，MSRA数据库是显著性检测运用较为广泛的一个公开数据。程序用Matlab编写，其核心部分由C++编程实现，并在Matlab 2013环境下实现。此外，文中采用精确率（Precision），召回率（Recall）和 F-值（F-measure）这3个性能指标作为定量比较的标准。

将上面介绍的颜色空间分布，方向对比度和基于频率信息的特征通过条件随机场融合，得到最终所要的结果。如图1所示，第一列为原始图像，然后分别是基于颜色特征图，基于方向对比度特征图，基于频域信息特征图以及本文提出的最优融合特征图算法所检测的显著图，最后一列是“ground-truth”图。从图1中看出，基于颜色特征的图像还有大量的背景冗余信息，而基于方向对比度特征的图像只能检测到图像的边界，基于频域特征图在抑制背景的同时，也会抑制目标区域，而本文提出的最优融合这3种特征的算法弥补了各个特征的不足，从图1中可直观看出本文提出的算法检测效果明显比单独使用低级特征检测的效果好。不同特征图与本文算法的精确度比较如图2所示，从图2可以看出，将以上特征进行最优全值线性融合后的算法的精确率最高，因此有必要将这3个特征进行最优线性融合。

图1 特征图与本文算法效果图对比

图2 不同特征图以及本文算法平均精确率比较

将本文算法与10种较为经典也是检测效果较好的显著性检测方法分别进行定量和定性的比较，这 10种算法包含：IT[5]，SR[9]，GB[10]，AC[11]，FT[6]，MZ[12]，CA[13]，LC[14]，HC[15]和RC[15]。如图3所示，采用精确率-召回率评价指标，对文中算法与10种显著性检测算法进行比较的曲线图。从图3中看出，文中的算法的精确率-召回率曲线明显高于其他10种显著性检测算法。F-值是综合评价精确率和召回率总体效果的评价指标，F-值越高，证明检测的效果越好。F-值的比较结果如图4所示，文中算法的F-值明显高于其他10种算法，即文中提出的算法对于不同大小目标的检测精度高于其他10种算法。

图3 各种算法精确率-召回率曲线图

图4 不同算法的F-值比较

从MSRA数据库中随机抽取目标尺寸大小不一的图像，将10种显著性算法计算出的显著图对比本文算法得出的显著图如图5所示。图5中，从左到右依次为输入的原图像，IT，SR，GB，AC，FT，MZ，CA，LC，HC，RC，文中算法和“ground-truth”图。

图5 不同显著性目标检测算法的定性比较图

从图5中看出，这10种算法仅仅是针对图像的某一特征进行研究，所检测出的显著图也只表现出了一种特征，而文中算法是将图像的低级特征图进行了最优融合，使图像的每个特征得到互补，因此本文算法能更好地检测到显著性目标，不仅加强了目标边界，而且还有效抑制了背景的冗余信息，使目标更突出，检测的效果更精确。从主观上比较，文中提出的算法可检测不同大小目标的图像，而且效果明显比其他10种算法好。这与之前采用性能指标定量比较不同种算法得出的结果相同，表明本文算法思路的合理性。

4 结束语

针对以前的算法不能有效检测不同大小的显著性目标、检测精度低的问题，文中提出了一种特征图最优融合的显著性目标检测算法，该算法不仅有效地将基于全局的颜色特征和基于局部的方向对比度特征进行结合，而且还巧妙地引入频域信息特征，通过条件随机场，将上述3种不同的特征以最优权重线性融合得到更为精确的结果。通过定量和定性的实验表明，文中所提出的算法与以前10种算法比较，文中算法不仅能有效地检测到大、中、小目标，而且检测的结果更精确。

[1]Sun J Y，Chen R F，He J．A Modified GBVS Method with Entropy for Extracting Bottom-Up Attention Information [Z]．Lecture Notes in Electrical Engineering，2012（121）:765.

[2]Frintrop S，Backer G，Rome E.Goal-directed search with a top-down modulated computational attention system[J].DAGM05，2005：117-124.

[3]Gao D，Vasconcelos N.Bottom-up saliency is a discriminant process[J].ICCV，2007.

[4]Sun J Y，Chen R F，He J．A Modified GBVS Method with Entropy for Extracting Bottom-Up Attention Information [Z]．Lecture Notes in Electrical Engineering，2012（121）:765.

[5]Itti L，Koch C，Niebur E.A model of saliencybased visual attention for rapid scene analysis[J]. IEEE Trans.Pattern Analysis and Machine Intelligence，1998，20（11）：1254-1259.

[6]Achanta R，Hemami S，Estrada F.Frequencytuned salient region detection [J].IEEE Conf. Comput.Vis.Pattern Recognit.（CVPR），2009：1597-1604.

[7]Liu T，Yuan Z，Sun J，et al.Learning to detect a salient object[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011，33（2）: 353-367.

[8]Perazzi F，Krähenbühl P，Pritch Y，et al.Saliency filters:Contrast based filtering for salient region detection [J].Computer Vision and Pattern Recognition（CVPR），2012：733-740.

[9]Hou X D ，Zhang L Q.Saliency detection:A special residual approach[C].IEEE Conference on Computer Vision and Pattern Recognition. Washington D C:IEEE Computer Society Press，2007:1-8.

[10]Harel J，Koch C，Perona P.Graph-based visual saliency [J].Advance in Neural Information Processing Systems，2006（19）：545-552.

[11]Achanta，Radhakrishna.Salient region detection and segmentation [J].Computer Vision Systems. Springer Berlin Heidelberg，2008：66-75.

[12]Ma Y F，Zhang H J.Contrast-based image attention analysis by using fuzzy growing[C]//Proc. 11th Int.Conf.Multimedia，2003：374-381.

[13]Goferman S，Lihi Z M，Tal A.Context-aware saliency detection[C]//Proc.IEEE Conf.Comput. Vis.Pattern Recognit.，2010：2376-2383.

[14]Goferman S，Lihi Z M，Tal A.Context-aware saliency detection[C]//IEEE Conf.Comput.Vis. Pattern Recognit.，2010：2376-2383.

[15]Cheng M M，Zhang G X，Mitra N J，et al.Global contrast based salient region detection[C]//IEEE Conf.Comput.Vis.Pattern Recognit.，2011：409-416.

Salient object detection based on optimally combining low-level features

WANG Yu，PENG Xiao-ming
（School of Automation Engineering，University of Electronic Science and Technology of China，Chengdu 611731，China）

Salient object detection algorithm based on the low levels in the image does not detect different targets，nor have high accuracy.A new algorithm is proposed--the three characteristics of color distribution，direction contrast and frequency information are used for the optimal linear fusion to get a more accurate salient object.After the quantitative and qualitative comparison with 10 kinds of classic salient object detection algorithm，the experimental results show that the proposed algorithm not only can effectively detect the large，medium and small salient objects，but also has higher precision than other else.

salient object detection；color distribution；contrast orientation；frequency domain

TN919.8

：A

：1674－6236（2017）06-0181-04

2016-02-16稿件编号：201602049

中央高校基本科研业务费专项（ZYGX2011J075）

王 玉（1991—），女，布依族，贵州安顺人，硕士研究生。研究方向：模式识别、图像处理、目标检测。