改进的YOLOv4高铁接触网部件缺陷检测

胡浩泽,田 昊,于重重,黄水珍

(北京工商大学人工智能学院,北京 100048)

1 引言

接触网是高铁供电系统的重要组成部分,吊弦和支持装置作为安装在接触线和承接线之间的关键部件,容易发生故障。因此,针对高铁关键部件进行定期的巡检对维持高铁的平稳运行具有重要意义[1]。人工巡检对高铁基础设施巡检,存在受人员、地形、交通等因素限制的问题。无人机自身具备高空、快速、远距离、自行作业和受天窗影响小等优点,尤其是不受地形约束和无死角巡检的特点,适合作为高铁目前巡检手段的补充和替代。利用图像检测方法可以快速识别基础部件及其缺陷位置。

Marino F[2]等人使用数字线性扫描相机来获取接触网螺栓图像数据,并使用离散小波进行对其进行预处理,然后将图片输入分类器进行分类。白瑞敏[3]采用了基于海森矩阵的Ridge Filter对待检测图片进行检测过滤,然后对过滤后的缺陷图片引入霍夫直线检测进行直线检测。王伟[4]通过分析了一种基于双目相机的吊弦图片的几何参数的测量方法,然后对吊弦进行缺陷检测并研发了一种便携式测量设备。武国龙[5]介绍了使用霍夫变换的方法来对吊弦的断裂进行检测识别,通过统计直线上的像素点来判断是否是一条完整的直线。

随着深度学习的快速发展,让神经网络模型在高铁接触网领域成为现实。如Zhong J等人[6]提出了一种基于CNN卷积神经网络的开口销部件缺陷检测的方法,通过卷积神经网络来对开口销部件进行定位识别,然后利用分类进行判别。钟俊平等人[7]提出了基于灰度分布特征的检测判据来判断开口销的缺陷类型。Kang G[8]提出了去噪自动编码与多任务学习用于高铁接触网绝缘子的表面缺陷检测识别,首先利用Faster-RCNN对接触网的支持装置部分进行准确定位后,然后再利用深度CNN对定位区域进行一个得分统计去检测识别。Chen J等人[9]使用首先采用SSD作为定位主要结构件位置,然后对定位处进行检测。Zhigang Liu等人[10]提出了一种基于深度学习的接触网支持装置小部件的定位与检测方法,通过对比四种检测模型来选择最优的Faster-RCNN作为定位识别的主要模型。陈隽文[11]首先选择SSD作为识别框架,通过级联的思想,在识别出紧固件以后,利用改进的YOLO框架进行定位,最后通过深度卷积网络完成紧固件的工作状态分类。王嘉琪[12]利用SSD对接触网的7个关键部位进行定位,然后利用MobileNet轻量化特征提取网络进行特征提取。之后用实例分割模型Mask R-CNN对不同关键区域螺母部件的精确定位,对定位部件归一化处理,进行检测识别。李星驰等人[13]使用基于目标检测模型的方法,并结合迁移学习技术,识别管帽脱落,通过试验调整R-CNN架构的结构,改变主干网络的训练模式,选择最优的检测模型。现有方法存在模型体积大,检测时间长及精度不高的问题。针对上述问题,本文提出了一种改进型CAS-YOLOv4网络结构。首先利用消融实验,决定出模型最优策略组合;其次将YOLOv4骨干网络及特征融合网络进行修改,采用CSP方式从网络架构角度进行网络分解,在修改的模型基础上引入注意力机制与上下文信息机制进行特征优化。达到降低模型权重大小,提高模型的检测精度,达到工业落地需求的目标。

2 YOLOv4算法

YOLOv4算法在原有YOLOv3[14]目标检测架构基础上,从数据处理、主干网络、网络训练、激活函数、损失函数等各个方面引入一些优化方法,使得模型在检测速度和精度上达到了目前为止的最优匹配[15]。

YOLOv4算法由主干网络,特征融合网络和检测网络组成。YOLOv4在YOLOv3算法结构基础上,改进主干网络,融合CSPNet[16]算法,形成CSPDarknet,强化了特征提取效果。特征融合部分,不再使用特征金字塔网络,而是加入空间金字塔池化层[16](SPP)的路径聚合网络[18](PANet)。将提取的深层特征通过池化向浅层传递,增大感受野。PANet改善了特征在传递过程中的浅层特征丢失的问题。在分类回归部分,检测头部延续了YOLOv3中检测输出。YOLOv4网络结构如图1所示。

图1 YOLOv4网络结构图

YOLOv4中各个模块都有着不同的功能,通过不同的策略组合,组成了实时性强,检测准确率较高的检测模型。

3 基于策略消融的YOLOv4模型改进

3.1 YOLOv4模型最佳策略组合

YOLOv4模型包含很多策略,例如马赛克数据增强,提升数据背景的多样性;IoU阈值,在训练过程中使用大于IoU阈值的锚框进行训练;遗传算法(GA)针对参数的选择,使用遗传算法来进行参数的选择;标签平滑(LS),在训练过程中,通过设置标签平滑的系数来平衡正负样本;交叉小批量标准化(CNB),通过交叉的方式进行最小批次的标准归一化;余弦退火(CA)的学习方式来调节学习率;使用最优的锚框回归(OA);损失函数的选择。

这些策略中并不是所有都是最有用的,且多余冗杂的策略虽然带来了高精度,同时也增加了模型的复杂度,从而降低了运算速度。本文针对接触网数据集,首先对YOLOv4进行一个策略消融实验,保留贡献最大的策略,剔除贡献小的策略,组成新的检测模型。通过研究分析,选取如图2所示几种策略进行消融对比。

图2 策略变量选取

3.2 基于最佳策略的YOLOv4主干网络优化

为使网络轻量化,提高检测的实时性,对原始YOLOv4模型的主干网络进行裁剪。原始的YOLOv4采取了162层结构,带有6000多万参数量,是一个较大且结构复杂的检测网络。其主干网络的激活函数使用的是Mish激活函数。

为了降低网络计算复杂度,CSP通道的残差层只保留一层,且删减两CSP块,减少计算量。为了保证特征提取过程中精度的问题,输入、输出阶段,各增加一个DarknetConv2D＿BN块。如下图3所示。为了避免Mish激活函数引起的梯度方向锯齿的问题,使用了LeakyReLU作为激活函数。

图3 优化后的YOLOv4主干网络

3.3 基于最佳策略的YOLOv4特征融合网络优化

为了进一步减少参数量,降低模型复杂度,使用FPN结构替换原始的PANet结构。首先FPN对最后一层残差块输出的特征图进行卷积后单独作为一个输出,然后与上一个层采样输出的特征图进行堆叠并卷积,作为一个输出。最后一个特征层的输出经过SPP池化后,输出另一个检测结果。其结构如图4所示。

图4 优化的YOLOv4中利用FPN结构

由图4的网络框图看到,优化后的YOLOv4模型更轻量化。主干网络和特征融合网络层次明显,且没有多余的残差结构,便于操作和实现。

优化后的YOLOv4检测模型如图5所示。通过模型优化以后,得到一个趋于轻量化的模型,并将此模型命名为CAS-YOLOv4。

图5 优化后的YOLOv4系统框图

4 实验和结果分析

4.1 实验环境

本文实验的硬件环境为CPU:Intel(R) Core(TM) CPU i5-1035;内存大小:64G;显存容量:16GB;服务器操作系统采用Ubuntu 18.04;GPU计算架构为Cuda10.0;且所有的实验都是在Pytorch深度学习框架下完成的。

4.2 数据集

本文所用图像数据为京沪高铁基础设施检测项目组提供,接触网悬挂装置吊弦的数据包括正常吊弦(200张)、断股(9张)、断裂(2张)、松弛(重度和轻度松弛)(5张)共计5类样本,共计216张原始图像。针对正样本数量较少的问题,目标检测需要对正样本进行数据增强操作以扩充样本集,针对每类样本扩充400-500张。其中采用了选择了传统的单样本数据增强方式:旋转、平移、模糊、裁剪等。以及采用了Retinex方法对亮度过低或者明暗不均的待检测图片进行预处理操作。共计获得1500张接触网吊弦图像。图6展示了吊弦的5种状态分类。

图6 吊弦典型样本

4.3 消融实验结果

针对原始YOLOv4模型,策略消融结果如表1所示。策略消融主要针对检测领域选取了效果较好的策略进行消融实验。通过消融来完成模型的一个简单优化。

表1 YOLOv4策略消融结果

其中针对不同部位的结果如下表2所示。表2主要展示了接触网悬挂装置吊弦的各部分检测的实际情况。吊弦一共有5类样本,分别是吊弦正常(s-normal),吊弦断裂(s-break),吊弦轻微松弛(s-slight),吊弦严重松弛(s-unstressed),吊弦断股(s-snag)。

表2 不同缺陷检测效果

由表1可以看出,YOLOv4模型对接触网缺陷检测识别率较良好,通过策略消融可以看出,在论文表现中优良的策略在实际应用当中应当有许多考量。如表1的第一条结果所示,所以的策略糅杂在一起,反而不能带来很好的检测效果,反正增加了检测模型的计算量,提升了模型的复杂度,容易出现过拟合的情况。通过表1可知,在加入马赛克数据增强,标签平滑为千分之一,融合GA遗传算法选择超参和CIoU作为基准策略的情况下,效果达到最优。

同时,从表2各项缺陷的检测表现情况来看,YOLOv4对吊弦正常,松弛不受力的情况下检测效果最好。究其原因,是数据集的问题,正常样本的数据集量大,而吊弦松弛的形状特征比断股和轻微松弛的几何外形特征更加明显,因此检测准确率最高。再者由实验表明,通过对YOLOv4中进行策略消融以及重新组合有效提高了模型的检测识别精度,使mAP从77.72%提升到87.59%,且随着剔除一些不明显策略以后,模型检测降低了复杂度,检测速率以及训练速度都有了很大的提高。故实验证明,针对本文的接触网数据集,首先对模型进行一个策略消融,达到模型瘦身的目的是可行的。

4.3 YOLOv4优化实验结果

在模型消融后,再对模型进行骨干网络的裁剪,然后更改其特征融合网络为FPN。其实验结果如表3所示。

表3 模型优化结果

由表3可知,虽然轻量化后的模型检测准确率下降了,但是它的实时性提高了。而且模型的权重只占原来文件的十分之一,达到了后续工业落地的需求。

在训练过程中其损失函数如下图7,8所示。

图7 训练损失函数 图8 验证损失函数

优化后的YOLOv4模型对接触网关键部件检测识别结果的部分数据如图9所示。

图9 吊弦检测结果图

其特征提取网络中最后一层特征图的可视化结果输出如下图10所示。可知模型轻量化以后,在特征提程中,很多细节容易丢失,所以造成检测结果不是很理想,但是检测的实时性大幅度提升,为后续的工业落地奠定了坚实的基础。

图10 特征图可视化结果输出

5 总结

本文采用对YOLOv4模型进行策略消融实验,在消融的过程中,通过组合最优策略优化YOLOv4模型。同时为了解决工业落地的需求,在对YOLOv4消融的基础之上,再对模型的主干网络的残差层进行裁剪。同时在特征融合部分改成金字塔网络,减少模型参数,同时保证了精确度。本文提供的方法为同时满足精度与工业落地的需求做出铺垫。