基于卷积特征提取和DTW的图像相似度评估算法

宋珣，刘一廷

（西安交通大学自动化系，西安 710049）

0 引言

图像相似度评估是计算机视觉和图像分析中最基本的任务之一。在低级的任务中可用于宽基线匹配，建立全景图等。在高级的任务中可用于目标识别与检测、图像恢复等。

现有的方法中，有些方法需要进行人工特征提取，例如通过提取图像的SIFT特征来描述需要进行比较的两幅图像，再进行特征的匹配。不过这种方法不适用于解析图片中的更高级别的特征，例如桌子、水杯等特征。还有的方法不需要进行人工特征特征提取，而是借助于卷积层。例如siamese方法，该方法将两张图片分别通过一个由若干卷积层堆叠而成的网络结构得到两个输出，再将两个输出拼接起来，送入一个由若干全连接层组成的网络结构，得到相似度输出。这种方法对特征的解析和提取更加全面，但其训练所需的数据集中，相似度标签是一个偏向于主观的量，不同的人定义相似的标准是不同的，这就削弱了该种方法的说服力。

本文采用的相似度的评估标准是用图像特征矩阵之间的距离表征的。距离通过二维动态时间规整求得，具有很强的客观性，特征则是选用目标检测网络的卷积层进行提取的，一定程度继承了siamese算法的优越性。本项目已在GitHub开源：https://github.com/SongXuningithub/Similarity-Evaluation.git。

1 模型实现

1.1 特征提取

特征提取依靠若干卷积层进行，我们选用YOLO v1的前面卷积部分进行特征提取。首先对YOLO v1进行了结构的调整，本文所用的YOLO由ResNet-18（已在Image-Net数据集上预训练）和若干卷积层、批量归一化层、LeakyReLu层的堆叠，最后加两个全连接层组成。……