基于深度学习的耐张线夹压接缺陷X射线影像智能识别

李鹏吾，刘荣海，周静波，赵腾飞

(1. 云南电网有限责任公司电力科学研究院，昆明 650217； 2. 华北电力大学机械工程学院，河北 保定 071003)

0 引言

耐张线夹是输电线路中的重要组成部分，由铝套管和钢锚两部分组成。将铝管与钢锚、铝管与导线的部位压接成型，使导线与耐张线夹结合成整体，使其可以承担连接导线的全部张力，并能接通电流。由于线路设计安全系数较高，即使存在压接质量缺陷也不会在施工结束后立即发生事故[1 - 2]，但在投运后遭遇舞动和长期微风振动等情况下，容易导致线夹断裂，从而引发电力事故。所以及时准确地检测出耐张线夹内部是否存在缺陷至关重要。

目前，采用X射线数字成像检测技术对电力设备进行无损检测已被大量应用于工程实践[3 - 4]。典型应用场景为输电线路中耐张线夹压接质量检测[5]和GIS内部结构检测[6]。但若采用人工识别的方法对采集到的X射线图像进行判断，存在效率低、成本高等弊端。目前深度学习算法在图像识别领域已发展比较成熟，并广泛应用于电力设备检测中，如对无人机巡检现场获得的输电线路、绝缘子等图像的检测[7 - 10]。由于目前还缺乏针对耐张线夹X射线图像智能识别技术研究，因此本文利用深度学习对图像的强大处理能力，针对耐张线夹X射线图像智能识别展开研究。

基于深度学习的目标检测算法大致分为两类，一类是以SSD、YOLO、RetinaNet及CenterNet等算法为主的一阶段检测算法[11 - 14]，另一类是以R-CNN、Faster R-CNN及Mask R-CNN等算法为主的二阶段检测算法[15 - 17]。相比于一阶段检测算法，二阶段检测算法检测准确率更高，但检测速度较慢。在工程应用时，巡检现场会传输回大量耐张线夹图像，检测端需快速、准确地判断耐张线夹是否存在缺陷，直接采用传统检测算法已不能满足实际工程需要。本文通过对耐张线夹X射线图像特点进行分析，提出合理的检测策略。耐张线夹X射线图像如图1所示。

图1 压接缺陷图像Fig.1 Image of crimping defect

耐张线夹X射线图像具有以下特点。

1)缺陷部位在整张图像中占比小，检测难度大。

如图中耐张线夹X射线图像分辨率(简称尺寸，以像素为单位，下略)平均为1 660×1 037，而缺陷部位目标框尺寸平均值为45×45，缺陷部位在整张图像中占比约为0.12%，直接对目标检测十分困难。

2)图像背景信息多，检测效率低。

采集到X射线图像大面积为黑色背景，若利用算法模型直接检测，在检测黑色背景这些无用信息时，会消耗大量算力，导致效率不高。

基于以上特点，本文采用分级检测策略。首先定位到耐张线夹压接部位，并将其从原始图像中分割，随后利用分割出的图像进行压接缺陷检测。这种检测策略不仅可以解决缺陷部位在整张图像中占比小，检测难度大的问题，还可以快速过滤掉无用的背景信息，提高检测效率。

本文具体实现方法为：首先利用CenterNet定位耐张线夹压接部位，并通过切割算法对压接部位进行切割，将压接部位图像作为第二级检测的输入。所截取出的压接部位图像平均尺寸为230×230，缺陷部位目标框尺寸平均值为45×45，压接缺陷在压接部位图像中平均占比提高到3.8%。相比于直接检测，大幅降低检测难度。为有效避免图片数量少导致训练中出现过拟合现象，对压接部位样本进行数据增强。最后利用RetinaNet算法对缺陷部位进行检测，以达到对耐张线夹压接缺陷的快速准确识别

1 耐张线夹压接缺陷检测模型

耐张线夹压接缺陷检测的核心是压接部位的定位与缺陷部位的检测，为提高检测效率和检测精度，需用到目标检测算法。本文采用CenterNet和RetinaNet算法。对整个检测模型来说，首先需要定位出压接部位，故采用检测效率更高的CenterNet算法来检测压接部位。而RetinaNet算法在准确率上更有优势，所以用来最终的缺陷部位检测。耐张线夹压接缺陷检测模型原理如图2所示。基于CenterNet算法的压接部位定位模型CenterNet与其他目标检测算法不同，不需要设置复杂的超参数。如Faster R-CNN需要针对不同检测设置锚点尺寸，YOLO需要设置每个位置回归框数量。而CenterNet只需在图像上寻找中心点位置，然后估计目标高度和宽度，即可确定检测目标的位置和尺寸[18]。这种方法不仅速度快而且具有较高精度。CenterNet目标检测框架如图3所示。其主要包括用于提取特征的主干网络和三个头部网络Head- 1、Head- 2和Head- 3。

图2 耐张线夹压接缺陷检测模型原理Fig.2 Principle of the detection model for the crimping defect of the tension clamp

图3 CenterNet目标检测框架Fig.3 CenterNet target detection framework

CenterNet中主干网络用于对输入图像提取图像特征，输入图像为512×512×3的X射线图像，输出为128×128×64的特征图。Head- 1用于估计目标中心点位置，由于Focal Loss[19]可以更好地解决正负样本不平衡问题，因此选用Focal Loss来计算中心点损失LK如式(1)所示。

(1)

Head- 2用于微调目标中心点的位置，实现对目标中心点的精确定位。目标中心点偏置损失Loff如式(2)所示。

(2)

Head- 3用于估计检测目标的宽和高，目标框宽高损失函数如式(3)所示。

(3)

最后，对3个损失函数加权求和，得到总体的损失函数Ldet如式(4)所示。

Ldet=LK+λsizeLsize+λoffLoff

(4)

式中λsize和λoff为权重系数，用于平衡3种损失函数，训练过程中分别设置λsize=0.1和λoff=1。

采用CenterNet检测耐张线夹压接部位的基本流程如下。

1)将X射线图片大小调整为512×512后输入检测网络。

2)由于耐张线夹X射线图像数据集规模较小，为了避免网络训练中出现过拟合现象，选用ResNet- 50作为本方法主干网络。

3)对输入图像进行特征提取，生成特征图。提取热力图上每个类的峰值点：将热力图上的所有响应点与其连接的8个临近点进行比较，如果该点响应值大于或等于其8个临近点值则保留，最后我们保留所有满足之前要求的前100个峰值点。最终通过式(5)完成关键点到位置框回归过程，即完成耐张线夹压接部位检测。

(5)

1.1 切割算法与图像数据增强

利用CenterNet的预测框标定出位置信息，可切割出耐张线夹压接部位，并且可保证切割出的耐张线夹压接部位图像仍具有较高分辨率。将切割出的图像采用旋转、翻转、调整对比度等方法进行数据增强，效果如图4所示。通过切割与数据增强阶段处理，为第二级检测提供高分辨率的耐张线夹压接部位图像。

图4 数据增强方法Fig.4 Data enhancement method

1.2 基于RetinaNet算法的压接缺陷检测模型

RetinaNet算法是由骨干网络ResNet[20]与特征金字塔[21](feature pyramid networks,FPN)为主体框架，两个全卷积[22](fully convolutional networks,FCN)子网络负责分类与回归的一阶段目标检测算法。它最大的贡献在于提出了Focal Loss用于解决类别不均衡问题，从而创造了RetinaNet。它的精度超越了经典的二阶段检测算法的Faster-RCNN的目标检测网络。

RetinaNet算法网络结构如图5所示。

图5 RetinaNet算法网络结构Fig.5 RetinaNet algorithm network structure

图像首先由ResNet主干网进行特征提取，并通过5个不同层的残差模块输出不同分辨率的特征图[23]，按顺序记为C1—C5。随后通过FPN进行特征融合，形成与C3、C4、C5具有相同分辨率的融合特征图P3、P4、P5。对P5采用3×3的卷积核，步长为2的卷积操作，得到P6。同样方法对P6进行相同的卷积操作，得到P7。

特征融合后，对每个融合特征图(P3—P7)，分别生成预选框。随后，采用分类网络和回归网络进行类别和位置的预测。分类网络通过对融合特征图的一系列卷积运算，得到每个预选框包含目标物体的概率；同样地，回归网络通过对融合特征图的一系列卷积运算，得到每个预选框包含目标的真实区域的偏置量[24 - 25]。最后，通过选取预选框包含目标物体的概率的最大值与真实区域的偏置量进行坐标变换，得到预选框包含的目标类别和坐标准确值。

RetinaNet算法中的损失函数定义如式(6)所示。

fFL(pt)=-αt(1-pt)γlogpt

(6)

式中：pt为训练样本类别置信度；αt为平衡因子;γ为调节因子，取值在[0，5]之间；αt和γ为固定值，按原文作者经验分别取值0.25和2.0。

利用RetinaNet算法对压接缺陷进行检测，具体流程如下。

1)将切割后的压接部位图像大小调整为512×512后输入检测网络。

2)网络框架选用ResNet50+FPN，压接部位图像经主干网络生成特征图，特征融合后P3-P7尺寸为64×64、32×32、16×16、8×8、4×4，每个不同尺度特征融合图进行预测，识别压接部位缺陷类别与位置。

3)由于第一级检测已经将存在压接缺陷的压接部位确定出来，使得压接缺陷在压接部位中占比大幅提升，故可选择去除RetinaNet中P7层，以提高检测效率。

1.3 目标检测算法评价指标

目标检测算法检测结果共4种。分别为TP(正样本被正确预测为正样本)、TN(负样本被正确预测为负样本)、FP(负样本被错误预测为正样本)、FN(正样本被错误预测为负样本)。其数量分别为QTP、QTN、QFP、QFN。

本文针对耐张线夹压接缺陷检测系统的性能评估给出以下评价指标，用来验证模型有效性和准确性。

1)准确率(precision，P)，如式(7)所示。

(7)

2)召回率(recall,R)，如式(8)所示。

(8)

3)平均精度(average precision,PA)，计算公式如式(9)所示。

(9)

式中：PA为平均精度，用来评估检测算法准确率；P为准确率，表示识别出结果正确的预测框占所有预测框的比例；R为召回率，表示正确的预测框占所有真实框的比例。

PmA(mean average precision)表示所有类别平均精度，计算公式如式(10)所示。

(10)

式中：PmA为所有类别平均精度，PmA值越大说明算法性能越好；n为类别数。

2 算例仿真

2.1 算例概况

本文实验环境配置：CPU型号：Intel@ CoreTM i7- 6800l CPU @ 3.40GHz×12，GPU型号：NVIDIA GeForce GTX 1080 Ti，基于PyTorch1.4深度学习框架，python3.7环境下实现。

实验数据集为便携式X射线机采集，实验数据集分为原图中标记压接部位数据集(记为A类)、经第一级检测后裁剪出的压接部位中标记压接缺陷数据集(记为B类)和原图中直接标记压接缺陷数据集(记为C类)。共收集耐张线夹X射线图像443张，并进行压接部位与压接缺陷的人工标注，形成数据集A和C。B类数据集通过切割耐张线夹图像中压接部位获得。通过数据增强获得耐张线夹压接部位图像共1 772张。图6为3种数据集标注情况。将上述3种数据集全部按8：2随机划分为训练集和验证集。

图6 3类数据集标注情况Fig.6 Labeling of three types of data sets

2.2 压接部位定位结果与分析

利用CenterNet对压接部位进行定位。模型训练中图像采用A类数据集，输入尺寸为512×512，学习率RL=0.000 1，图片分批进入训练网络，每批大小为8，训练代数epoch=100，置信度为0.5。

耐张线夹压接部位部分检测结果如图7所示。

图7 耐张线夹压接部位检测结果Fig.7 Test results of the crimping part of the tension clamp

同样地，用A类数据集分别在SSD、YOLOv3、RetinaNet网络上进行同批次训练，与CenterNet模型进行比较，检测结果如表1所示。CenterNet算法对耐张线夹压接部位与其他几种算法相比有较高的识别效果。准确率达到98.4%，虽然与SSD算法相比准确率稍低，但召回率达到98.7%，比SSD算法提升8.9%。综合来看，CenterNet算法在确定压接部位中具有最好的性能，其PA值为97.1%，故选用CenterNet算法作为压接部位的检测算法。

表1 不同算法在耐张线夹压接部位数据集测试结果Tab.1 Test results of different algorithms on the data set of the tension clamp crimping position

2.3 压接缺陷部位检测结果分析

利用RetinaNet算法对压接缺陷进行检测。模型训练中图像采用B类数据集，输入图像大小为512×512，使用随机梯度下降法(SGD)来训练网络模型。学习率RL=0.000 25，训练代数epoch=100。

压接缺陷部位部分检测结果如图8所示。

图 8 压接缺陷部位部分检测结果Fig.8 Partial inspection results of crimping defects

同样地，用B类数据集分别在SSD、YOLOv3、CenterNett网络上进行同批次训练，与RetinaNet模型进行比较，检测结果如表2所示。

表2 不同算法在耐张线夹压接缺陷数据集测试结果Tab.2 Test results of different algorithms on the data set of tension clamp crimping defects

RetinaNet算法在检测压接缺陷具有较好效果，准确率、召回率和PmA都达到95%以上，相较于其他一阶段检测算法有更好的性能，故更适合作为压接缺陷检测算法。

2.4 采用分级检测与直接检测效果对比分析

使用C类数据集，采用具有代表性的一阶段检测算法、二阶段检测算法，与文中所提分级检测算法进行对比。对比结果如表3所示。二阶段检测算法Faster R-CNN在准确率与召回率方面虽然也表现出不错的结果，比一阶段检测算法SSD在准确率与召回率方面分别高3.3%和4%，但仍然比文中所述分级检测算法在准确率与召回率方面分别低2.2%和2.1%，并且在中和指标PA方面也低0.9%。所以在模型对目标的识别方面，文中述分级检测算法具有更好的性能。更重要的是文中述分级检测算法分别比SSD算法和Faster R-CNN算法高2 f/s、11 f/s。

表3 一、二阶段检测算法与文中分级算法检测结果对比Tab.3 Comparison of the detection results of the first and second stage detection algorithm and the classification algorithm in the text

本实验结果证明若直接采用一阶段检测算法(文中选用SSD)在原图中检测压接缺陷，准确率、召回率和PA值较低，检测效果并不好。若直接采用二阶段检测算法(Faster R-CNN)在原图中检测压接缺陷，准确率、召回率和PA值较高，检测效果较好，但检测效率较低，不能实现快速检测。所以，采用分级检测策略能实现快速准确检测出耐张线夹压接缺陷，满足实际工程需要。

3 结论

针对耐张线夹X射线图像存在缺陷部位尺寸小且排列紧密等特点，提出了一种基于深度学习的耐张线夹压接缺陷X射线图像检测系统。采用分级检测原则，首先利用CenterNet算法定位存在缺陷的压接部位并切割出压接部位，增大压接缺陷在图像中的占比，其次利用数据增强扩充数据集，最后利用RetinaNet算法检测压接缺陷。通过仿真得出以下结论。

1)在确定压接部位阶段，CenterNet算法相比于其他一阶段检测算法具有更高准确率，在整张图像中能更快速、准确的过滤无用信息，确定压接部位，缩小压接缺陷在图像中占比，减小后续检测压接缺陷难度。

2)在确定压接缺陷阶段，RetinaNet相比于其他一阶段检测算法具有更好的性能，准确定位压接部位，并识别是否具有压接缺陷。最终实现耐张线夹X射线图像压接缺陷的快速定位识别。

3)通过分别与一阶段检测算法SSD、二阶段检测算法Faster R-CNN对比，文中所述分级检测算法比一阶段检测算法有更高的准确率、召回率和AP值，比二阶段算法具有更快的检测速度。所以，采用分级检测策略能实现快速准确检测出耐张线夹压接缺陷，满足实际工程需要。