结合纹理特征超像素分割的显著性检测*

胡 新

（河南省特种设备安全检测研究院 新乡 453000）

1 引言

图像视觉显著性是指人类能够迅速准确地从复杂背景中提取出感兴趣的区域，而不需要耗费太多的资源。显著性检测就是模拟人类这种视觉注意机制，凸显图像中最具吸引力的区域，从而获取优先处理的信息，以便于优化配置资源降低计算量。因此显著性检测在目标识别、图像分割、图像压缩、图像索引［1～3］等领域应用广泛，引起了学者的大量关注。

视觉显著性是计算机视觉，神经生物学，心理学等多学科交叉的研究问题［4］，针对这类问题研究生人员提出了多种显著检测模型。一般来说显著性检测模型主要分为两类：预测注视点模型和显著区域检测模型［5］。预测注视点模型是模拟人类视觉预测图像被人类第一眼所看到而引起关注的区域或点，比如经典的中心-周围差异算法［6］，自信息算法［7］，这类算法对图像颜色特征变化较为剧烈的区域较为敏感，经常使得图像边缘或局部噪点邻近区域高亮，导致显著图不够均匀完整包含了较多背景信息，不能凸显整个显著目标区域。显著区域检测则是致力于均匀高亮整个显著目标区域。在显著区域检测算法中，基于图像区域底层特征的算法性能较为出色［8］，能较好地区分显著目标及背景，并且在保留图像整体结构的情况下降低计算复杂度。比如文献［9］将图像分割成若干区域，对区域内的颜色特征等进行量化，再以区域为单位计算当前区域与整个图像其他区域的颜色特征唯一性，颜色特征空间分布紧凑度，最后优化生成显著图。文献［10］以图像分割的超像素为节点，利用边界先验结合流形排序方法生成显著图，文献［11～12］分别结合区域内部协方差信息和颜色直方图特征信息衡量图像区域块之间特征信息差异计算显著度。这类显著区域检测的算法能够较好突出一副图像的整体目标，本文也主要关注显著区域的检测。但这类算法仍然存在某些问题，对于整个图像背景复杂、区域内部特征差异较大时，显著区域检测算法生成的显著图仍然不够精确，显著目标轮廓模糊，高亮区域包含了较多噪声背景，图像的整体显著性检测效果不理想。

分析出现这些问题的原因是：1）在进行超像素分割时，没有较好地进行图像像素的分类，聚类后的区域内部，出现颜色特征差异较大的离散点或者区域，从而导致了检测的目标不完整，出现大量噪声，或者孔洞；2）对于背景区域的选取存在错误，丢失大量有用信息。针对背景较为复杂的图像显著性检测效果较差的情况，为了提取更加准确均匀一致高亮的显著区域，本文在文献［13～14］基础上在显著性检测领域，结合LBP纹理特征对图像进行新的超像素分割，提升区域聚类的质量；根据文献［15］提出的边界连通性获取初始背景区域，然后采取措施重新确定背景，避免背景错误的选取；最后再基于重新选取的背景区域，进行基于背景先验的显著度计算。在 MSRA10K［8］和 ECSSD［12］两个公开的数据集上进行试验对比，说明改进的方法是否有效。

2 纹理特征超像素分割的显著性检测

2.1 结合LBP纹理特征超像素分割

局部算子（Local Binary Pattern，LBP）［13］是一种用于描述图像局部纹理特征的方法，其计算简单对图像纹理特征的表述能力也较强。如图1所示，由于在SLIC超像素分割时没有考虑纹理特征，像素点颜色特征差异不太大时，目标背景像素会划分到同一个超像素，区域内部不够均匀，一定程度上影响目标轮廓分割细节。本文提出不同于传统采用超像素分割方法，而较为新颖的采用基于空间、颜色和纹理特征对图像进行分割的SLIC分割［14］算法，然后再用于显著性检测。结合纹理特征的超像素分割主要过程为：初始化种子点，计算结合纹理特征的像素点相似度差异，将种子点附近差异较小的像素点不断合并为一个区域直到收敛。两个像素点的相似性度量D：

D值越小表明两个像素点相似程度高。式中，S为初始种子点间距，m和t为常数，综合代表颜色、空间、纹理特征在相似性度量中的权重。dc为任意两像素点i，j在CIE-Lab空间颜色特征欧式距离差异，ds是其空间距离。其中dw为LBP纹理特征差异，属于额外增加的特征，避免像素误归类具有重要作用。其中：

式中（l，a，b），（x，y）分别代表像素颜色特征和像素空间坐标。在本文中对于图像纹理特征，量化到每一个像素点特征为w，则两个像素i，j的纹理特征差异dw为

图1是不同原始图像以及SLIC和本文算法在同一尺度超像素个数K=150时的分割结果示例。本文方法相比于SLIC方法，从整体上看颜色特征和纹理特征相似程度较高的情况下，超像素区域面积更大，在颜色特征和纹理变化较为剧烈的区域超像素更加精细；同时超像素边缘细节准确，纹理细节分割特征更好，分割精度较高。所以本文超像素内部特征均匀性、一致性更高，利用其平均颜色特征计算对比度时能较好地反映超像素区域内部像素特征。

图1 原始图像及超像素分割对比

2.2 显著性检测

整个图像区域已经得到了更好的区域分割，再将其用于图像目标检测，本文首先计算边界连通性，再根据边界连通性采取措施优化获取可能的背景超像素，并对背景超像素归类，最后对其优化后背景超像素赋予权值，计算所有超像素与背景超像素的颜色特征对比度，再进行多尺度的优化得到最终显著图。

2.2.1 超像素边界的选取

边界连通性是衡量超像素与边界的近邻程度，在一定程度上反映超像素的背景属性［15］，可以利用边界连通性进行初步的边界选取。根据划分的超像素图构建无向加权图G=｛V，E｝，V是超像素节点集，E由相邻超像素连接边构成边集。边权值dc-lab（ri，rj）为两个超像素间的平均颜色特征欧氏距离，由于考虑了颜色特征和纹理特征，超像素区域内部会更加的均匀，所以计算两个超像素的差异程度会更加的准确，防止了误归类和出现噪声的问题。任意两个超像素间测地距离dg（ri，rj）计算如下：

即式（5）表示任意两个超像素最短路径边权值的累加，从而通过：

式（6）、（7）中，E(r)为测地距离权值扩展区域面积；norm是归一化操作，将E(r)取值范围限定为［0，N］；σcolor是平衡参数一般取值为［5，15］，设其固定值为σcolor=10；b是统计r中与边界相连接的像素个数，当超像素r与边界相连时b＞0，反之b=0。

获取边界连通性的目的是确定哪些区域属于较强的背景，在文中将边界连通性为0的超像素都视为初始背景超像素，但如图1所示，某些图像目标靠近边界时，超像素边界连通性较低，但其相对于背景超像素颜色特征差异较大且数量较少，也有很大可能属于目标；同时也可能存在边界连通性较高，但与背景颜色特征差异较小，有很大可能属于背景。因此如果仅仅依靠边界连通性容易造成背景的错误选择，所以需要进一步的采取措施确定哪些区域是真正的背景。

所以按照通常采用的方法，直接将边界联通性较低的超像素视为背景，很容易将与目标所相连的边界，但不属于目标的超像素排除在背景之外，从而使得其没有被选取为背景，造成了错误。本文在边界连通性的基础上采用了一种新的方式重新选取背景，首先是仅仅根据提取的超像素颜色特征，利用K-means算法将超像素聚为K类｛C1，C2，…，CK｝，本文选取K=4；然后计算每一类超像素边界连通性最大值，式中，CK表示第K类背景超像素，Nk表示第K类超像素个数；最后，分析图像分割的超像素中，属于背景的超像素应该占比最多，并且颜色特征较为相近，属于背景的可能性趋于一致，因此对于所有K-means归类后的超像素数量较多的前三类，将其边界连通性值置为其所在类最大边界连通性值，而将超像素数量最少的那一类中超像素的边界连通性值置为0。从而综合考核超像素颜色特征和边界连通性，避免单一依赖颜色或边界连通性的错误。

2.2.2 超像素显著度计算

根据超像素边界连通性和颜色特征差异，已经重新并且较好地分离了初始目标和背景，现在计算所有超像素与背景超像素的权值特征差异，便可得到前景。由于背景超像素的颜色特征差异不同，对其赋予不同的权重：为背景超像素的权值，即背景属性的强弱。从而可以基于背景先验并结合其权值计算超像素显著度Ct(ri)，过程如下：

式中，Dc（ri，rj）是超像素ri与背景超像素rj的在CIE-LAB空间平均颜色特征欧式距离，NB是背景超像素个数，Dspa(ri，rj)是超像素ri与背景超像素rj空间距离权值。其中

另外，由于超像素不同的尺度对分割结果有较大影响，超像素个数较多时，显著性检测结果细节信息能得到较多的保留；超像素个数较少时，显著性检测结果能保留图像的整体结构信息［16］。因此，本文选用150，200和600三种尺度生成超像素数量，使显著性检测结果在保留整体结构信息时能够体现较多局部细节。对不同尺度超像素下的显著度结果进行多尺度进行平均融合。

整个算法的主要改进和综合创新性在于：式（1）基础上结合纹理特征进行超像素分割方法提升区域分类的均匀性，并在文献［15］利用边界连通性用以确定背景基础上的根据颜色特征重新优化背景的选取，最后再用于背景先验的全局对比度计算。

3 实验结果与分析

为了验证本文提出的改进算法的有效性，在MSRA10K和ECSSD 1000两个数据集进行试验。本次实验设备为Intel i3 CPU@3.4GHz，4GB内存的Win7系统台式电脑，软件采用Matlab R2014b。MSRA10K数据集包含有10000副且带有人工标记的图像；ECSSD包含1000副带有人工标记的图像。本文将对一些应用较多的算法进行试验对比，其中包括 SF［9］，GMR［10］，COV［11］，RC［12］，PCA［17］，HS［18］。采用出自于文献作者网页提供的公开源代码进行测试和对比。

3.1 显著性检测视觉效果对比

图2和图3分别是MSRA10K和ECSSD数据集上应用不同算法部分图像显著性检测结果，包含原图像以及真值图像。从图中可以明显看出本文算法较其他算法显著性检测效果好。本文算法显著性目标轮廓较为清晰，显著区域均匀高亮保持了较好的完整性，对背景区域的抑制较强；部分显著性目标区域靠近边界时也能够一定程度上提取出来。而其他算法显著目标区域内部不够均匀，在不同程度上目标轮廓有所缺失，对背景抑制程度较弱，存在噪声区域。综合来看本文对复杂背景图像显著性目标检测能力更强。

图2 MSRA10K数据集部分图像不同算法显著图示例

图3 ECSSD数据集部分图像不同算法显著图示例

3.2 显著性检测性能客观评价

图2 和图3反映了部分图像的显著性检测结果，为了客观地对显著性检测算法进行评测，本文采用 F-measure、MAE［8］两个客观评价指标来进行分析对比。

3.2.1 F-measure分析

本文通过计算准确率P和召回率R，再进行加权调和平均得到F-measure（F）值，将F值作为算法性能的评价指标。本文采用自适应阈值对获得的显著图进行二值化获得目标区域，自适应阈值取显著性图所有像素灰度平均值的两倍作为阈值。根据二值图及其所对应的数据集提供的真值图计算准确率P和召回率R，再根据准确率P和召回率R计算F值：

通过计算每种算法在每个数据集上图像的平均F值可对算法性能进行对比。本文算法与其他六种算法在MSRA10K和ECSSD两个数据集上的的自适应阈值分割的F值如图4所示。可以从图中看出，在MSRA10K数据集上本文算法F值高于其他多种算法；在ECSSD数据集上，本文算法F值高于其他算法。说明本文算法相较于其他算法性能有所提升。

图4 显著性检测结果F值比较

3.2.2 平均绝对误差分析

F值是综合准确率和召回率的加权平均值，而准确率和召回率主要考虑目标区域分配较高的显著值，即显著区域是否高亮。没有考虑到背景区域的显著值，因此引入平均绝对误差（MAE）。MAE是显著图与其对应二值真值图之间的平均绝对误差，是用来评价显著性检测性能的另外一种方式。

式中，A和B代表图像的宽度和高度，S(x，y)代表像素灰度值，G(x，y)为真值图像灰度值。显著图有完整清晰的目标轮廓边界，能均匀一致凸显目标区域，同时背景区域得到较强的抑制，则MAE值越小。本文算法与其他算法显著性检测结果的MAE值结果如图5所示。与其他几种算法的结果相比，本文算法在MSRA10K和ECSSD两个数据集上的MAE值都最低，说明本文算法能够较为完整均匀一致凸显显著性目标，能够较强抑制图像背景，综合性能优于其他算法。

图5 显著性检测结果MAE值比较

4 结语

本文提出一种结合纹理特征超像素分割的显著性检测算法。首先采用结合纹理特征超像素分割方法对图像进行分割获取更加均匀特征超像素；然后根据边界连通性得到初始背景，再采取措施利用K-means聚类算法根据超像素颜色特征进行归类，得到优化的背景选取，避免了单一方式选取背景的错误，灵活性适应性得到提升；最后，赋予背景超像素权值，计算基于背景先验的显著度图，并在多个尺度优化融合生成最终显著图像。通过与多种算法实验对比表明：在图像背景较为复杂时本文提出的算法能够更加准确一致地凸显高亮显著目标区域，图像背景抑制更好，整体性能提升较为明显，具备一定的实用价值。