结合高层语义与底层颜色特征的图像检索方法

骆俊锋

（北方工业大学 信息学院，北京 100043）

0 引言

用户在使用图像检索系统时，往往根据所检索的图像是否有相似的物体，相似的场景来判断是否为相似的图像。然而，传统的图像检索方法使用手工设计的特征无法很好的把底层信息与实际的语义相联系，所检索出来的图像在底层信息的相似无法与视觉理解的相似相联系，导致了“语义鸿沟”的产生。寻找和确认一个人与机器共同的“兴趣区域”是减小“语义鸿沟”问题的途径之一，许多学者对此进行了研究[1-3]。

近年来，随着深度学习理论的发展以及计算机性能的提升，研究者们注意到了卷积神经网络（CNN）在目标检测[4-5]，实例分割[6]、物体分类、情感分析等问题上的出色表现，尝试利用CNN来获取图像的特征进行检索，与传统方法相比，取得了更好的效果[7-9]。经CNN提取的特征能够较好的联系视觉理解和图像信息，有助于解决“语义鸿沟”的问题。有的研究者利用依托于CNN的目标检测算法提取用户关注的目标及目标的相关信息[10-11]，并以此作为连接“视觉理解”和“底层信息”的桥梁，以解决“语义鸿沟”问题。

基于以上所述，本文提出了一种基于目标检测，结合图像高层语义和底层颜色特征的图像检索方法。此方法利用目标检测网络针对图像进行检测，获取图像中目标的类别特征作为高层语义信息，然后结合目标所在区域的局部颜色直方图和图像的全局颜色矩作为底层颜色信息，对高层语义和底层颜色信息进行融合，获得图像特征。……