基于卷积神经网络迁移学习的桥梁裂纹检测与识别

刘曦 高士武 贺雨

摘   要：为提高卷积神经网络（CNN）在小样本数据集中的识别准确率，提出一种基于卷积神经网络迁移学习的目标分类方法，提高了卷积神经网络对小样本混凝土裂纹的识别率。实验表明，该方法加快了卷积神经网络的训练速度，降低了网络的过拟合过程，提高了目标分类识别准确率。

关键词：迁移学习  卷积神经网络  裂纹分类

中图分类号：G642                                  文献标识码：A                        文章编号：1674-098X（2019）02（a）-0024-02

随着计算机技术的发展，基于机器视觉的桥梁检测法受到了人们的关注，它是基于机器视觉理论，利用计算机、无人机等设备对桥梁进行远距离、高像素、低成本的自动检测技术[1]。使其能够代替人工专家，实现对混凝土桥梁裂纹的识别、分类、定位等工作。当前卷积神经网络（CNN）在图像识别方面表現十分出色[2]，随着深度学习技术的发展，有了把深度学习技术和桥梁结构损伤检测相结合的想法。但在深度学习任务中，训练结构模型需要数量庞大的数据集，否则容易出现过拟合和陷入局部最优解等现象。迁移学习的加入很好地解决了训练样本不足所带来的问题。本文应用的是首先将从大量数据集上学习到的CNN迁移到小样本目标集上，作为目标集的底层和中层特征提取器;然后替换CNN的全连接层;最后通过小样本目标数据集对新的全连接层进行训练，得到适用于小样本目标集的分类识别网络。

1  卷积神经网络迁移学习基本原理

1.1 卷积神经网络

本文使用的卷积神经网络模型主要是由输入层、卷积层、批归一化层、池化层、全连接层和输出层组成[3]。卷积层的主要功能是训练提取目标局部特征。池化层主要是对局部特征图进行降维，提升网络对输入图像的平移旋转等抗变形能力，本文选择无重叠区域的最大池化（max pooling）作为采样函数，相比平均池化（average pooling），最大池化能更好地保留感知野之间的相互特性。在卷积层与池化层中添加了批归一化层，它不仅可以加快模型的收敛速度，而且在一定程度上缓解了网络中“梯度弥散”的问题，使得训练网络模型更加简单和稳定。经过多组卷积层与下采样层的运算，CNN依靠全连接网络加一个顶层激活函数对提取的特征进行分类，顶层分类函数为softmax。

1.2 迁移学习

深度学习近年来已经取得了巨大成功，但它在很大程度上依然依赖于大量数据，特别是带有标记的数据[4]。在实际应用中，带有标记的有用数据往往非常珍贵。为了减少深度学习对可用数据数量的巨大依赖性，迁移学习成为一种非常有效的手段。迁移学习的一般定义是：给定源域及其学习任务，目标域及其目标任务，目的是使用源域与源目标的知识帮助改进学习目标任务中的预测功能。根据源域和目标域与任务之间的不同条件，迁移学习可以分为三个子类，归纳、迁移和无监督，本文中的检测任务属于归纳学习，归纳学习需要在目标中标记一些数据。此外，根据知识迁移目标域的要求，有四种常用方法可以应用：（1）实例迁移学习方法;（2）特征迁移学习方法;（3）参数迁移学习方法;（4）关系迁移学习方法。

2  网络结构

本文使用的卷积神经网络结构是VGG结构的变体形式，其中使用大小为33的滤波器，最大池化层的步长为2，窗口大小为22，与原型VGGNet相比，在softmax层之前将配置更改为具有256个神经元的全连接层，使网络由于训练数据不足而更好地与迁移学习兼容。模型输入的参数数量，滤波器大小和全连接层中的神经元数量有关。首先通过大样本数据集对卷积神经网络的结构参数进行预训练;其次，用两个自适应全连接层代替卷积神经网络中全连接层，实现卷积神经网络的迁移学习;最后通过小样本数据集对新的全连接层网络结构参数进行训练，得到新的分类识别模型。新适应层的维度基于图像中特征的复杂性，取决于网络经验和交叉验证。在设计中，使用两个自适应全连接层，其中第一个具有256个神经元，第二个是Softmax层，其中神经元的数量等于任务类的数量。

3  网络训练

实验环境为python3.5.2，基于keras2.1.5，计算机配置为：intel core i5 7500 CPU、主频3.4GHz，GPU：NVIDIA GTX 1050TI，内存为8GB。原始图像总数为1000张高清照片（3，344×2，224分辨率）。这些图像来自大型钢筋混凝土梁强度检测试验。使用索尼NEX-5C数码单反相机采集。其中800个图像用于训练和验证，200个图像用于测试。将原始图像裁剪成224×224像素分辨率的较小图像，以构建用于训练和验证的数据集。在训练之前，首先将每个图像标注为有损伤和无损伤的标签。在测试步骤中使用滑动窗口技术，用来检测位于图像空间中任何位置的裂缝。同时在此训练模式中应用数据增强技巧，减少过度拟合问题。使用实验采集数据进行归一化处理，搭建卷积神经网络。编译函数选用RMSprop，层间激活函数选用ReLU，分类函数选用softmax。把训练集输入搭建好的CNN中，将数据通过预训练模型得到的特征向量保存下来，接着以这些特征向量为原始数据训练我们新的全连接层网络，经过100次充分迭代后，损失值不再下降，则认为网络训练完成。

4  实验结论

从图2可以看到，对裂纹图像进行分类时，零基础学习的分类正确率初始值为17.4%，同时期的迁移学习初始值为61.8%。经过约20次epochs迭代训练后迁移学习模式下网络分类正确率达到峰值97.39%，经过约60次epochs迭代训练后两者均达到最高值。相比较而言，迁移学习的loss值下降得也更快，说明模型的学习速度更快。通过对比可以看到，迁移学习的迭代曲线相比零基础学习更加平滑，说明迁移学习模式下，每一次迭代过程更加趋向于全局最优解，避免了陷入局部最优的问题发生，并且明显加快了网络参数的训练速度。在未来的研究中，有三种方法可以改善模型的性能：（1）增加训练数据;（2）改进更好的架构;（3）使用相同的架构，微调一些部分网络结构。

参考文献

[1] 庞娜，赵启林，芮挺，等.基于机器视觉的桥梁检测技术现状及发展[J].现代交通技术，2015（6）： 25-31.

[2] 刘洪公，王学军，李冰莹，等.基于卷积神经网络的桥梁裂缝检测与识别[J].河北科技大学学报，2016（5）：485-490.

[3] 李雪松，林逸洲，马宏伟，等.基于卷积神经网络的桥梁损伤识别方法应用研究[J].青海大学学报，2018（2）：1-46.

[4] 李松，魏中浩，张冰尘，等.深度卷积神经网络在迁移学习模式下的SAR目标识别李松[J].中国科学院大学学报，2018（1）：75-83.