基于VGG19卷积神经网络的图像拼接质量评价算法

麻方达 刘泽平 陈世海 李晓帆 姚明杰 符朝兴

摘要：针对图像拼接质量评价算法多数存在没有分析拼接前后图像的综合图像像素信息和结构信息的问题，本文提出了一种基于VGG19深度卷积神经网络的图像拼接质量评价方法。采用VGG19网络，提取拼接图像和原图像的卷积特征，分别计算2个图像特征图的Gram矩阵，并以2个Gram矩阵的差异作为评价图像拼接质量的指标。同时，为了验证图像拼接质量评价算法的可行性，选取同一场景下的5幅图像进行实验测试。测试结果表明，Ls函数值越小，图像的拼接效果越好；而随着Ls函数值的增大，图像的拼接效果逐渐变差。说明该算法的评价结果符合人眼的主观评价，能够有效评价图像的拼接质量，可以作为评价同一场景下图像拼接效果的有效指标。该研究有效解决了双目视觉下自动导向车（automated guided vehicle，AGV）在2个摄像头图像拼接处的质量评价问题，具有一定的创新性。

关键词：VGG19； Gram矩阵； 质量评价； 拼接图像

中图分类号：TP391.41; TP183 文献标识码：A

文章编号：1006-9798（2023）02-0031-06； DOI：10.13306/j.1006-9798.2023.02.005

作者简介：麻方达（1998-），男，硕士研究生，主要研究方向为物联网与人工智能。

通信作者：符朝兴（1967-），男，博士，副教授，主要研究方向为人工智能和机械振动。Email：cx_f@163.com

对于拼接后的图像质量评价方法主要有主观评价方法和客观评价方法2种［1］，主观评价方法是接收图像信息的人按照自己的经验对图像质量做出判断，评价结果很大程度上取决于每个人的主观反应。在过去的很长时间内，其主流方法是主观的图像质量评价方法，而质量客观评价方法主要应用于细分的部分领域［2］，在各领域中通用的客观评价方法较少。主观和客观质量评价方法大多针对单幅图像，而不适用于对图像拼接质量的评价。2007年，张焕龙［3］尝试将积分合成方法引入到图像拼接效果的评价方法中，根据评估值获得更加优秀的图像拼接算法；张震等人［4］通过提取多尺寸块离散预选变换二维数组的统计特征量和图像质量评价量，建立图像拼接检测模型；刘李娟等人［5］针对敦煌壁画，综合分析亮度、清晰度、信息量和保真度等各种参数，提出了一种可以自定义设置的图像评价模型，以适应不同的场合；常嘉义等人［6］对4个车载摄像头拼接而成的全景图统计俯视图像素在原始图像中的对应分布，进而对原始图像素的均值方差等信息进行评估，提出一种对拼接图像的质量评价方法；王浩等人［7］针对医疗器械中的图像拼接，提出用一个阈值来判断图像拼接结果的质量评价方法，同时与保存的拼接前的图片进行对比，初步利用统计分类方法得出了拼接图像的质量结果；齐美玲［8］通过人为调整拼接图像的色差和亮度等信息，建立拼接图像库，并提出一种基于颜色校正的拼接图像质量评价方法，对数据库中的拼接图像成功进行图像质量的预测；针对无人机航拍的图像拼接，王欢等人［9］提出了一种新的质量评价系统，即导入结构相似性指数和图像接缝两侧色差，共同评估图像接缝。鉴于目前的图像拼接评价算法大多只关注图像的某些信息，很少关注到图像的多因素，与人的视觉感受不符。因此，本文结合图像风格迁移算法［10］，提出了基于VGG19深度卷积神经网络的图像拼接质量评价算法。以接缝处的AGV图像为研究目标，用VGG19网络提取AGV拼接图像和AGV原图像的特征，分别计算2个图像特征图的Gram矩阵，并计算2个Gram矩阵的差异，差异越小，说明拼接效果越好。该研究具有一定的创新性和实用性。

1 基本原理

几种常见的VGGNet结构模型［11］如图1所示。本文所选用的模型是位于E列的VGG19网络模型，其包含5个卷积模块、5个池化层、3个全连接层和1个softmax分类器。其中，5个卷积模块中共包含16个卷积层，VGG19网络模型的卷积核大小均为3×3，且步长为1。

卷积神经网络的核心操作是卷积运算［12］，卷积操作如图2所示。图2中，1个3×3的卷积核在原图上滑动，将覆盖到的值与卷积核上的权重对应位置相乘后相加，得到的值填到特征图对应位置，即提取原图特征反映到特征图上。每一个卷积核提取1种特征，生成1个特征图，那么64个卷积核的64个特征图堆叠，则会得到1个三维特征图。不同卷积层的卷积核用于提取不同的特征信息，浅层卷积核主要提取颜色、边缘和斑块等像素特征；中层卷积核主要提取条纹和形状等纹理特征；高层卷积核提取文字等较为抽象的语义特征［13］。

为了对比图像拼接质量，本文选取VGG19网络模型中第1～第5卷积层提取的特征为主要对比特征，每一层卷积操作完成后，都会得到一个由二维特征图堆叠而成的三维特征图，三维特征图如图3所示。

特征图的每个颜色代表一个卷积核卷积得到的二维特征图。本文以第5层为例进行分析，256个卷积核完成卷积操作后，得到1个56×56×256的特征图。图中，nW=56，nH=56，nC=256，单独分析绿色的二维特征图，它可以用一个56×56的矩阵F1表示为

同样，定义黄色特征图的矩阵为F2，依次类推，每一个特征图对应一个矩阵，最后一个特征图对应矩阵F256。接着将每一个矩阵都拉平为一个行向量，即将矩阵F1变换为

则卷积层的三维特征图相应会变换，三维特征图变换如图4所示。

式中，KT为矩阵K的转置矩阵。显然矩阵G为256×56的对称矩阵，它表示第5卷积层256个特征图所代表的256个特征两两之间的共现相关性，可用该共现相关性表示一幅图像的“风格”，进而以2幅图像风格的差异度，判断图像拼接效果的优劣。以函数Ls作为比较2幅图像风格差异程度的指标，即

式中，Gl为原图像在l卷积层的Gram矩阵；Al为拼接圖像在l卷积层的Gram矩阵；Nl为2个图像第l层特征图的通道数；Ml为2个图第l层特征图的长与宽之积；wl为图像l层的权重。

2 拼接圖像获取

本文所使用的拼接图片由2个摄像头采集，摄像头为海康威视DS-IPC-T12-I，摄像机参数如表1所示。

摄像机的安装布局示意图如图5所示，安装高度为3.1 m，2台摄像机拍摄的重叠区域长度为2.5 m。图像拼接流程主要分为图像预处理、图像配准和图像融合［14］。图像预处理包括对图像降采样和去畸变处理；图像配准是对待拼接的2张图像中存在的公共部分进行校准对齐，使其可以重合的过程。目前，应用较多的配准方式主要有3种，即图像特征、变换域及灰度像素信息［15］。本文采用基于图像特征的图像配准方式，选用加速稳健特征（speeded up robust features，SURF）算法［16］提取图像特征点，并采用近似最近邻的快速库（fast library for approximate nearest neighbors，FLANN）算法［17］进行特征点匹配，对于匹配结果中的误匹配对，运用随机抽样一致（random sample consensus，RANSAC）算法［18］进行剔除，与其他2种方式相比，若待拼接的2张图像间存在着旋转角度的变换，或者光照不一致的差异时，这种方式仍然能够保持较高鲁棒性［19］；图像融合是对由于拼接缝导致视觉上不自然不平滑的图像进行融合处理，消除拼接缝，使图像看起来自然平滑。本文图片采用的融合方法为动态加权融合法［20］，是指在经过图像配准后，将2幅待融合图像重叠部分像素值的加权平均值作为融合后图像的像素值，所谓动态是指权值随当前像素点距边界距离的变化而变化。AGV在非重叠区域的图像拼接结果如图6所示，AGV在重叠区域的图像拼接结果如图7所示。

3 实验验证

本文选取同一场景下的5幅图像，对提出的拼接质量评价算法进行实验测试，仿真环境和硬件参数如表2所示。

将每一个卷积层的风格权重wl均设置为0.2，得到不同图像间的Ls函数值，不同图像间的Ls函数值如表3所示。表3中的值可以看作一个对称矩阵，矩阵中的值分别以图像a～图像e为原始图像，分别与每个图像对比的Ls函数值。由于同一幅图像间没有风格损失，所以对角线的值为0。

由表3中第1行可知，这是原图像与拼接图像的对比，Ls函数值越小，代表2幅图像特征的共现相关性越强，说明图像的拼接效果越好，AGV拼接效果如图8所示。由图8可以看出，5幅图像间的Ls函数值越来越大，说明5幅图像间的拼接效果逐渐变差，这完全符合人们的视觉感受。综上所述，本文提出的图像拼接评价算法，可以作为评价同一场景下图像拼接效果的有效指标。

4 结束语

本文提出了一种图像拼接的质量评价算法，基于VGG19网络模型的前五层卷积层提取原图像和拼接图像的特征，每一层的特征经计算可得到代表图像风格的Gram矩阵，利用Gram矩阵分别计算拼接图像和原图像的每一层特征，再取每一层特征的平均值，以此平均值衡量拼接图像和原图像的差异。经过验证，此算法得出的结果与主观评价一致，为双摄像头采集拼接后的图像提出了一种切实可用的评价方法，可在多个领域中作为一种通用的评价图像拼接质量的有效指标。但矩阵属于直线型的映射变换，在应用范围上具有一定的局限性，并不适应出现曲线变换的拼接图像类型，因此，如何扩大拼接图像质量评价的应用范围，更全面的满足拼接图像的质量评价需求将是下一步的研究方向。

参考文献：

［1］ 樊跃进. AGV在我国烟草行业的适用性与选型原则［J］. 烟草科技，1999（4）：18-20.

［2］ 万国挺. 图像拼接技术与质量评价方法研究［D］. 西安：西安电子科技大学，2013.

［3］ 张焕龙. 图像无缝拼接技术的研究［D］. 郑州：河南大学，2007.

［4］ 张震，任远，平西建. 图像质量参数分析及其在图像拼接检测中的应用［J］. 计算机工程与设计，2009，30（12）：3005-3008.

［5］ 刘李娟，卢选民，陶旺林，等. 敦煌壁画数字图像拼接评价模型研究［J］. 现代电子技术，2011，34（16）：49-51.

［6］ 常嘉义，秦瑞，李庆. 全景鸟瞰拼接图像的质量评价方法［J］. 计算机科学，2014，41（6）：278-281.

［7］ 王浩，任海萍. 医疗器械中的图像拼接质量评价方法［J］. 中国医疗设备，2017，32（8）：20-23，32.

［8］ 齐美玲. 面向全景和立体应用的图像质量评价方法研究［D］. 宁波：宁波大学，2020.

［9］ 王欢，周颖玥，王欣宇. 一种基于质量评价的无人机航拍图像拼接方法［J/OL］. 计算机应用研究：1-5［2022-04-20］.

［10］ 周长家. 基于深度混合生成模型的图像风格迁移研究［D］. 大连：大连理工大学，2020.

［11］ 王子翔. 基于VGG19的迪庆藏族装饰图案特征提取系统设计与应用［D］. 昆明：昆明理工大学，2021.

［12］ 吴宏伟. 基于深度学习的车牌检测识别系统研究［D］. 大连：大连理工大学，2021.

［13］ 张沁怡. 基于深度卷积网络的人车检测及跟踪算法研究［D］. 北京：北京邮电大学，2019.

［14］ 郭泓邑. 移动前景下视频实时拼接技术研究［D］. 重庆：重庆理工大学，2020.

［15］ 白小玲. 基于改进的KAZE算法的特征提取与匹配［D］. 哈尔滨：哈尔滨理工大学，2017.

［16］ SAMY B，AYOUB A，Youssef Rehab. A fingerprint-based verification framework using harris and surf feature detection algorithms［J］. Applied Sciences，2022，12（4）：27-30，45.

［17］ MISHRA A，DEHURI S. Real-time online fingerprint image classification using adaptive hybrid techniques［J］. International Journal of Electrical and Computer Engineering，2019，9（5）：139-150.

［18］ GOH J N，PHANG S K，CHEW W J. Real-time and automatic map stitching through aerial images from UAV［J］. Journal of Physics：Conference Series，2021，2120（1）：68-71.

［19］ 張丽霞. 多源图像像素级快速融合方法研究［D］. 北京：北京科技大学，2020.

［20］ 高宇. 视网膜图像拼接关键技术研究［D］. 长春：长春工业大学，2020.

Abstract：In view of the problem that most of the current image stitching quality evaluation algorithms do not analyze the comprehensive image pixel information and structure information of the image before and after stitching，this paper proposes an image stitching quality evaluation method based on VGG19 deep convolution neural network. VGG19 network is used to extract the convolution features of the stitched image and the original image，and then calculate the Gram matrix of the two image feature images respectively. The difference between the two gram matrices is used as an index to evaluate the quality of image mosaic. Experiments show that the evaluation results of this algorithm accord with the subjective evaluation of human eyes and can effectively evaluate the quality of image mosaic.

Key words：VGG19； Gram matrix； quality evaluation； merge images