基于兴趣点密度加权的图像美学质量评价

于明 彭伟峰 郭迎春

摘要 针对现有方法没有充分考虑图像空间美学信息，并且评价效果过分依赖于主体区域识别效果的问题，提出一种基于兴趣点密度加权的图像美学质量评价模型。首先对图像进行超像素分割和兴趣点检测并提取特征描述子，然后统计超像素块内的兴趣点个数，根据兴趣点密度对超像素块内的特征描述子进行加权并进行局部约束线性编码处理，最后利用机器学习方法进行图像美学质量评价。实验结果表明该方法用来图像美学质量评价大大减少了特征维度和计算时间，提高了评价模型的准确率。

关 键 词 图像美学;质量评价;超像素分割;兴趣点密度加权

中图分类号 TP391.4     文献标志码 A

Abstract The aesthetic evaluation model has low accuracy since the existing methods heavily rely on the performance of object region extraction and insufficient characterization of image space aesthetic information. Aiming at solving the problem， an image aesthetic quality evaluation model based on density of interest points weighting is proposed. First， superpixel segmentation was used to segment images into irregular superpixel blocks， and interest points were detected and feature descriptors were extracted on the original image; Second， the density of interest points in the superpixel block were calculated， and the feature descriptors were weighted according to the density of interest points and coded by locality-constrained linear coding method. Finally， the machine learning method was used to evaluate the aesthetic quality of images. The experimental results show that this proposed method is effective for image aesthetic quality evaluation， which greatly reduces the feature dimension and the computation time， and improves the accuracy of the evaluation model.

Key words image aesthetic; quality evaluation; superpixel segmentation; density of interest points weighting

0 引言

圖像美学质量评价属于图像质量评价的主观评价方法，希望能让计算机模拟人类的审美思维对图像质量做出高低评价[1]。近年来，从美感角度来评价图像质量受到了广泛关注，图像美学质量评价可以应用于图像检索、图像美化、图像设计等领域。

一些研究者致力于设计更有效的图像手工特征进行图像美学质量评价。Ke等[2]通过提取图像的高层视觉特征包括边缘空间分布、颜色分布、色调数和模糊度来识别出高质量的专业照和低质量的快照。Wong等[3]提出用显著性增强的方法区分专业照和快照，在显著性区域提取视觉特征包括曝光度、形状度、纹理细节等，取得了比全局特征更好的分类效果，但该方法依赖于显著性区域的检测效果。Luo等[4]基于专业摄影照片的相关技术特点，在主体背景分离的区域上提取一系列高层语义特征，有效改善了分类效果，该方法严重依赖主体区域检测效果。Tang[5]等提出了基于图像内容感知的美学质量评估模型，根据图像内容的识别结果提取相应的特征，提高了分类效果，但评价效果严重依赖于图像内容的判定和主体区域的提取效果。

为了克服图像美学质量评价中美学的手工特征提取缺点，研究人员提出了通用的可计算美学评价模型提取图像美学信息。Nishiyama等[6]提出了分块级别下的色彩和谐模型，在颜色通道提取颜色分布特征描述子，取得了一定的成果。Marchesotti[7]等提出用一般图像描述子进行图像美学分类任务，提供了可计算美学评价方案新思路。Zhang等[8]提出了通过图模型建立图像局部空间的线索联系并在图像上提取全局和局部的结构描述子特征进行图像美学评价。Guo[9]等提出手工特征与稠密采样语义特征结合的美学评价模型，解决了美学评价结果严重依赖主题区域提取的问题，但稠密采样语义特征维度过高，难以实现美学图像的实时评价。

针对图像美学质量评价模型严重依赖图像主体区域识别效果并且空间信息表征不足的问题，本文提出了一种新的图像美学质量评价模型，根据兴趣点密度对超像素块内提取的特征描述子进行加权，通过局部约束线性编码计算图像的语义特征，利用机器学习方法进行图像美学质量评价。

1 超像素分割与兴趣点密度加权

1.1 超像素分割

对图像进行超像素（Superpixels）分块处理的目的是增加图像的空间信息，降低图像匹配算法的复杂度。超像素是指具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。传统的均匀网格分块，操作简单，不同图像在相等的空间位置处提取固定大小的局部区域。这样做割裂了相邻像素之间的关系。超像素分割方法是利用像素之间相似性将像素分组，用少量的超像素集合代替大量的像素点来表达图像特征，很大程度上降低了图像匹配的复杂度。

图1展示了均匀网格算法和超像素分割算法对图像进行分块处理后的效果图。通过对比发现，超像素分割算法产生的超像素块是不规则的，比均匀网格分块算法更接近图像内容的真实形状。使用超像素分割算法替代均匀网格采样算法引入图像空间属性，大大降低了特征维度和计算时间。在超像素分割算法选择上，通过图1分割效果对比可以发现，SLIC算法[10]的超像素分割效果比SEEDS算法[11]的好。SLIC算法产生的超像素能够贴合图像内的边缘区域并且尽可能保持分割后的超像素块的规整性，邻域特征比较容易表达，有利于后续的图像处理。本文最后选择SLIC算法进行超像素分块处理。

1.2 兴趣点密度加权

兴趣点是根据一定的数学模型从图像中选取某些特征点并对图像进行局部分析。兴趣点周围的局部图像结构丰富，利用兴趣点可以简化视觉系统的处理过程。在图像美学价值判断中，图像复杂度影响人类对图像美感的理解和判断，图像复杂度属性还没有统一的衡量标准。本文参考SIFT算法的兴趣点检测原理，尝试通过超像素块内的兴趣点密度，来衡量超像素块的图像复杂度，进而表征图像的美学属性。因此提出了基于兴趣点密度加权的超像素分割方法来提取图像的局部特征描述子。

本文先用SLIC算法对图像进行超像素分割，然后通过SIFT、SURF、ORB算法进行兴趣点检测，其中以SIFT兴趣点为主，SURF、ORB兴趣点作为补充，弥补SIFT兴趣点检测不足问题。再统计落在每一超像素块内的兴趣点个数，在统计过程中，过滤掉重复出现的兴趣点。按公式（1）计算图像中超像素块的兴趣点密度[m]。

式中：[S]表示超像素块的面积;[n]表示超像素块的兴趣点个数。

设定一个阈值[t]，通过比较阈值t与超像素块的兴趣点密度来区分背景的复杂度，经过大量实验得出t=0.001，当[m<t]时，超像素块权重为0，即没有或者有很少的兴趣点的块，说明是背景单一的区域块，这部分提取的特征对美学评价的作用度很小。当[m≥t]时，说明区域块内背景信息足够复杂，有很大程度上是人眼注意力焦点所在，直接影响人们对图像美学的评分，所以对该超像素块赋予较大权重，突出该局部区域的重要性。超像素块权重[w]计算公式为

图2展示了在原图上进行超像素分割和兴趣点检测之后的效果图，可以发现兴趣点集中出现在蜜蜂所在的重心区域，在其他各个超像素块内也会有兴趣点落在其中，证明了超像素块加权是合理的，当兴趣点集中落在信息丰富的超像素块内，也会导致该超像素块的兴趣点密度过高，需要对权重值[w]设置上限，来解决兴趣点过于集中带来的高权值问题。

2 基于兴趣点密度加权的图像美学质量评价模型

2.1 图像美学质量评价模型框架

本文设计的图像美学质量评价框架如图3所示，主要工作包含4部分，分别是兴趣点密度计算、加权特征描述子提取、LLC编码和分类输出。

首先使用SLIC算法进行超像素分割，然后利用SIFT、SURF、ORB算法进行兴趣点检测，计算超像素块的兴趣点密度，然后对提取的特征描述子进行加权处理，利用局部约束线性编码算法（locality-constrained linear coding，LLC） [12]对提取出来的特征描述子进行编码处理。最后在图像美学质量评价过程中，使用支持向量机（SVM）在AVA图像美学数据集上进行分类实验。

2.2 特征描述子提取

通过兴趣点检测算法，可以得到3种特征描述子，分别是SIFT特征描述子、SURF特征描述子和ORB特征描述子，用来表征图像的语义信息。

对图像利用SLIC算法分割得到超像素，如图4所示，图4a）中不规则的超像素块的质心已经不再是均匀网格划分时的初始中心了。通过迭代聚类之后，超像素的质心落在图像的合理位置上不再移动，超像素质心周围包含着丰富的图像信息，为此将每个超像素块的质心作为兴趣点，根据超像素块的权重计算出该兴趣点的SIFT算法中的加权尺度值。用SIFT方法提取超像素块的质心局部[U×U]区域的质心加权特征描述子（Centroid Weighting Descriptor， CWD）。质心的计算方法为

式中：[xδi]表示第[i]个超像素块的[x]轴坐标;[yδi]表示第[i]个超像素块的[y]轴坐标;[I（x，y）∈δi]表示为图像上落在[δi]内的点，如果落在[δi]内，则值为1，否则为0。

通过兴趣点密度加权的超像素块，具备了图像的空间属性，为了加入图像美学属性，本文在超像素块内提取图像美学特征，包括HSV颜色直方图特征、颜色距特征（Color moments）、Tamura纹理特征、Gabor特征和LBP特征作为特征描述子进行实验。

在超像素块内提取Gabor特征时，由于超像素块是不规则的，无法进行Gabor滤波操作。这里以超像素块质心为原点，提取周围半径为[R]的圆外矩形图像来表示当前超像素块，然后进行Gabor滤波操作，提取8方向5尺度的Gabor特征图4a）中超像素块的质心图，每个质心用红色原点表示，图4b）为超像素块质心的外接矩形示意图。图中红色矩形框表示的是图像边缘的超像素块的外接矩形框会超出圖像，求出1个超像素块质心后，计算质心周围的矩形框大小并与图像位置比较，保留在图像区域内的矩形框。

3 实验结果与分析

为了验证本文方法的有效性，使用SVM分类器在AVA数据库上进行图像美学质量分类实验，通过ROC（AUC）曲线衡量分类器的性能。其中，SLIC算法预分割的超像素块数[K=400]，超像素间的紧凑度为[m=20]。LLC算法中利用K-means聚类算法得到字典集大小[Km=1024]，使用KNN算法找到最近的码本词汇[Kn=5]。SVM分类器RBF核函数的最优超参数[c=62.5]，[γ=0.0338]。

3.1 實验数据集

AVA数据库共包含255 348幅图像，图像内容涉及建筑，人物，动物，植物，风景等共42种语义标签[13]，具有代表性。部分图片如图5所示，AVA数据库图像被超过100人进行网上评分，评分范围[1，10]。图像的美感度用平均评分表示，分数越高美感度越高。本文从AVA数据库中抽选图像6 493张进行实验。首先从AVA数据集中选出美学评分高低两端各10%数据，再以分数段[4.5，6.5]为边界，取两侧数据集，各挑选2 000幅用来训练模型。然后随机选取1 286张高美感图像和1 206张低美感图像共2 493张图像用来测试模型。

3.2 实验结果及分析

为了得到最佳美学分类模型，本文在不同超像素分块个数上对提取的加权特征描述子进行了训练分类实验。其中实验的特征包括：SIFT、SURF、ORB3种特征描述子，在超像素块内提取的HSV颜色直方图特征、颜色距特征、Tamura纹理特征、Gabor特征、LBP特征，和超像素块质心加权特征描述子（SLIC-CWD）。

不同超像素块数下的实验分类准确率结果如表1所示，可以发现超像素块数对实验结果有影响，超像素块数越多，平均准确率结果越高。Gabor特征和LBP特征的分类效果好于其他特征。并且在超像素块数为400时，LBP特征取平均分类准确率最高，为79.42%。

图6展示了通过SVM对不同特征训练的分类器的ROC（AUC）曲线图。图中的AUC取值为最高的特征分类器性能。其中SLIC表示在超像素块内提取的加权特征描述子。通过图6a）可以发现本文提出的超像素块质心加权特征描述子（SLIC-CWD）虽然效果不如SIFT、SURF特征描述子，但效果还是好于ORB特征描述子，在质心周围提取的特征描述子还有待改进。

图6b）～f）展示了在超像素块提取的局部加权特征描述子（SLIC）与全局特征组合的对比实验。可以发现通过兴趣点密度加权的局部特征描述子分类效果明显优于全局特征，两者组合之后，分类效果不在提升，有的特征分类效果还略微下降，说明本文提出的兴趣点密度加权算法是有效的，局部加权的特征描述子能够影响分类效果。其中分类效果较好的是Gabor特征和LBP特征，AUC值均超过了0.87，高于其他特征的AUC值。LBP特征得到的分类模型效果最好，AUC达到了0.873 17，并且LBP特征计算简单，大大降低了图像美学质量评价模型的时间复杂度。

本文还与其他图像美学质量评价模型做了比较。选择使用加权超像素下的LBP语义特征作为本文最优模型与这些算法对比，对比方法中包括Luo[4]，Nishiyama[6]，Marchesotti[7]，Zhang[8]。对比结果如表2所示，本文方法明显优于Luo[4]等的方法。相比于Nishiyama[6]等、Marchesotti[7]等方法有提升。虽然比Zhang[8]等人的结果低，但本文的LBP语义特征维度更小，时间效率更高。说明了基于兴趣点密度加权的图像美学质量评价模型是有效的，还需要再进行特征改进。

4 结束语

本文提出了一个基于兴趣点密度加权的图像美学质量评价模型。通过计算超像素块内的兴趣点密度对提取的局部特征描述子进行加权处理，来提高图像美学质量评价模型的分类准确率。通过SVM机器学习算法在AVA数据集上进行训练分类实验，证明了本文提出的兴趣点密度加权分类模型的有效性。随着深度学习的发展，对于图像美学质量评价这种主观性强的分类任务，今后的研究方向是通过深度学习来挖掘潜在语义特征进行图像美学质量评价。

参考文献：

[1]    王伟凝，蚁静缄，贺前华. 可计算图像美学研究进展[J]. 中国图象图形学报，2012，17（8）：893-901.

[2]    KE Y，TANG X，JING F. The design of high-level features for photo quality assessment[C]//Computer Vision and Pattern Recognition，2006 IEEE Computer Society Conference on. IEEE，2006，1：419-426.

[3]    WONG L K，LOW K L. Saliency-enhanced image aesthetics class prediction[C]//Image Processing （ICIP），2009 16th IEEE International Conference on. IEEE，2009：997-1000.

[4]    LUO Y，TANG X. Photo and video quality evaluation：Focusing on the subject[C]//European Conference on Computer Vision. Springer，Berlin，Heidelberg，2008：386-399.

[5]    TANG X，LUO W，WANG X. Content-based photo quality assessment[J]. IEEE Transactions on Multimedia，2013，15（8）：1930-1943.

[6]    NISHIYAMA M，OKABE T，SATO I，et al. Aesthetic quality classification of photographs based on color harmony[C]//Computer Vision and Pattern Recognition （CVPR），2011 IEEE Conference on. IEEE，2011：33-40.

[7]    MARCHESOTTI L，PERRONNIN F，LARLUS D，et al. Assessing the aesthetic quality of photographs using generic image descriptors[C]//Computer Vision （ICCV），2011 IEEE International Conference on. IEEE，2011：1784-1791.

[8]    ZHANG L，GAO Y，ZIMMERMANN R，et al. Fusion of multichannel local and global structural cues for photo aesthetics evaluation[J]. IEEE Transactions on Image Processing，2014，23（3）：1419-1429.

[9]    GUO L，XIONG Y，HUANG Q，et al. Image esthetic assessment using both hand-crafting and semantic features[J]. Neurocomputing，2014，143：14-26.

[10]  ACHANTA R，SHAJI A，SMITH K，et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE transactions on pattern analysis and machine intelligence，2012，34（11）：2274-2282.

[11]  VAN DEN BERGH M，BOIX X，ROIG G，et al. Seeds：Superpixels extracted via energy-driven sampling[C]//European conference on computer vision. Springer，Berlin，Heidelberg，2012：13-26.

[12]  WANG J，YANG J，YU K，et al. Locality-constrained linear coding for image classification[C]//Computer Vision and Pattern Recognition （CVPR），2010 IEEE Conference on. IEEE，2010：3360-3367.

[13]  MURRAY N，MARCHESOTTI L，PERRONNIN F. AVA：A large-scale database for aesthetic visual analysis[C]//Computer Vision and Pattern Recognition，2012 IEEE Conference. Providence RI   USA：IEEE，2012：2408-2415.

[責任编辑 田 丰]