基于4层R-CNN的输电线路多目标检测

单亚锋，赵天宇，付 昱，付 华，王珂珂

（辽宁工程技术大学 电气与控制工程学院，辽宁 葫芦岛 125105）

0 引言

输电线路部件发生故障必然会威胁电力系统的稳定，对用户的用电可靠性造成影响，而且带来经济损失.所以对输电线路的定期巡检与维护是智能电网建设过程中极其重要的内容[1].对于输电线路的巡检，目前越来越多的国家逐渐从传统巡检方式向无人机巡检方式转变，而无人机巡检需要对大量的巡线航拍图片进行准确地识别与分析，因此，在输电线路目标识别领域基于深度学习的图片识别方法发挥了至关重要的作用[2-5].在图像识别领域，单阶段（One-stage）检测器以单激发多盒探测器SSD[6]、单次检测（YOLO）[7]等为代表；双阶段（Two-stage）检测器主要包括实例分割卷积神经网络（Mask R-CNN）[8]、区域推荐卷积神经网络（Faster R-CNN）等.单阶段检测算法虽然用时短，但在小尺度目标检测识别领域，由于双阶段检测算法检测精度更高，所以有着更广阔的应用前景.文献[9]提出了一种基于样本扩充以及Faster R-CNN的电网异物监测的方法，但在所生成样本的输出质量方面还有一定的提升空间.文献[10]、文献[11]都将Faster R-CNN算法应用到了电力领域，验证了在识别百量级图像时该算法的适用性和稳定性.其中文献[11]验证了Faster R-CNN模型能够在复杂背景下以较高的精度和较低的时间成本检测绝缘子.文献[12]利用Faster R-CNN模型实现了航拍图像中均压环、间隔棒、防振锤等电力小部件的识别定位，并获得93.5%准确率，但因为样本量较小，在绝缘子之间存在互相遮挡时，识别效果还需要进一步改善，因此应使航拍图像的样本多样性继续提高.相比于Faster R-CNN两阶段目标识别算法，文献[13]提出一种多阶段级联检测框架即级联卷积神经网络（Cascade R-CNN），在具有挑战性的常见对象（COCO）数据集上，级联卷积神经网络检测效果超过了所有的单阶段目标检测器.文献[14]验证了Cascade R-CNN模型在交通标志检测领域应用的可行性，识别准确率达到98%以上.

在图片处理过程中，特征提取是影响目标识别准确率的关键步骤之一.相比于亚里克斯神经网络（AlexNet）[15]、视觉几何神经网络（VGGNet）[16]等，深度残差神经网络（ResNet）作为深度学习的前端具有更大的优势[17].ResNet101网络可以有效地解决训练过程中产生的梯度弥散问题[18-19]，但卷积计算可能存在低层信息丢失的现象.FPN[20]可在不同层特征融合的基础上进行独立预测，获得较好的特征提取结果.

针对上述图片识别存在的问题，利用基于图像预处理的方式实现对航拍图像中绝缘子及其缺陷、鸟巢、防振锤等9类目标数据集的扩充，设计和搭建ResNet-101网络以及6层FPN网络相结合的模型来提取输入目标特征，在多阶段级联神经网络Four R-CNN模型训练中，通过区域推荐网络（RPN）生成锚点框输入级联的分类器与边框回归器进行训练，根据分类器得分和边框回归结果确定绝缘子、防振锤、鸟窝等目标的分类与绝缘子缺陷定位.

1 图像预处理

由于实验使用的原始图片为代码托管（Github）平台上公开的无人机航拍巡检样本，数量有限.对于小样本问题，深度学习无法发挥出最大优势.因此，利用样本生成技术扩充数据集，这对于所构建的深度学习模型起着至关重要的作用.

在扩充数据集的过程中，为更好提升多目标识别情况下的准确率，各类别图像样本不仅要达到一定数量级来满足深度学习的训练要求，而且要避免出现过拟合现象.针对无人机航拍的特点，在图像预处理时通过亮度变换、尺度放缩等操作进行模拟.由于无人机在拍摄电网相关目标时不可避免的会抖动，故采用运动模糊算法进行模拟，在一定程度上对数据集的泛化性起到了提升作用.表1为图像预处理参数设置.

表1 图像预处理参数设置Tab.1 parameters of image preprocessing

2 基于Four R-CNN的多目标识别

2.1 特征提取网络

以ResNet101网络为特征提取网络的主干，包括conv1、conv2_x、conv3_x、conv4_x、conv5_x等5层残差模块，每一层包含若干残差学习结构.经降采样处理后，训练图片的像素为1 024×1 024，输出像素分别为512×512×64、256×256×256、128×128×512、64×64×1 024、32×32×1 048.显然，基于ResNet101网络的特征提取过程，图片尺寸不断减小而通道数量不断增加.随着特征图底层的丢失，图片分辨率会逐级下降，导致检测模型无法对输电线路小目标进行有效识别与定位.常用的深度学习网络能够对大多数目标实现成功识别，但是由于远景的图像过于模糊，依然存在大量漏检、错检的情况，所以常用的特征提取网络对远景小目标图像的识别效果并不理想.

由于无人机拍摄的是输电线路易损件的局部缺陷，为了提升小目标的识别效果，采用ResNet101和FPN网络作为特征提取网络，在残差网络的基础上设计了2种FPN网络，分别是5层FPN结构（P2层、P3层、P4层、P5层、P6层）和6层FPN结构（P2层、P3层、P4层、P5层、P6层、P7层），见表2.为验证特征提取网络的效果，采用Cascade R-CNN验证表2的4种网络模型.6层FPN网络识别小目标的平均准确率值最高，达到89.3%，因此最终选择6层FPN网络.

表2 小目标检测结果对比Tab.2 comparison of small target detection results

将ResNet101网络和6层FPN网络融合，P2层、P3层、P4层、P5层增加了自下而上带有反向侧边连接的支路结构，与conv2_x、conv3_x、conv4_x、conv5_x相连.内容方面，P2层、P3层、P4层、P5层与conv2_x、conv3_x、conv4_x、conv5_x的图片尺寸呈现一一对应的关系，但通道数量存在差异.P2层由conv2_x层1x1卷积内核和P3层以步幅为2像素的上采样组成，像素为256×256×256，同理P3层为128×128×256，P4层为64×64×256，P5层为32× 32×256.P6层由P5层以步幅为2的下采样得到，像素为16×16×256，同理P7层为8×8×256.因为低层具备高分辨率的特征，故P2层、P3层、P4层、P5层与低层融合后，能够有效识别出航拍图像中的电力小部件.由于神经网络的不断加深，卷积运算和轮询会使小目标的信息逐渐消失，应用深特征图层的高语义信息，设计P6层和P7层有助于更加精确地检测大目标.

2.2 基于Four R-CNN的输电线路多目标识别模型

提出4层R-CNN（Four R-CNN）级联网络，ResNet101+FPN用于特征提取，生成特征帧.将不同的重叠度（IOU）设置为级联R-CNN，并对预处理后的图像进行训练，以实现高质量的目标检测.在每个检测阶段，包括一个分类器hi和一个回归器fi，根据分类器与回归器产生的损失来综合判断目标类别以及确定目标位置.Four R-CNN网络总体损失函数为

式中，Lcls为分类损失；Lloc为定位损失；g为输入图片真实值；λ为权衡系数；xi为不同IOU阈值下的关键帧；yi为不同IOU阈值下各种输入图片的标签类别；[·]为边界框回归IOU阈值，与分类用阈值相同.

Four R-CNN模型的分类损失使用Softmax损失函数代替，为

式中，aj为Softmax输出向量第j个值，j=1，2，…，m.m为类别数，取9，则ak为输出向量9个值.定位损失为

式中，bi为锚框，bi=(bx，by，bw，bh)；为标记框，为分类损失函数，使用 1LS函数代替R，

式中，x=.

基于4层R-CNN级联算法的网络框架模型见图1.

图1 4层 R-CNN级联算法网络框架模型Fig.1 network framework model of Four-layer R-CNN cascade algorithm

算法步骤如下．

（1）将COCO形式的数据集输入到基于ResNet101和6层FPN的特征提取网络，特征图用于后续的RPN网络，其中conv4_x作为边界框回归，conv5_x作为RPN网络的输入.

（2）未经损失函数调整的原始边框回归（bbox_pred_0）输入到Four R-CNN的网络进行训练，通过下采样后送到RoI Pooling得到输电线路目标分类得分Lcls_1以及边框回归Lbox_1，同理得到第2次调整的Lcls_2和Lbox_2，第3次调整的Lcls_3和Lbox_3，前3级检测网络IOU阈值分别设0.4、0.5、0.6.

（3）按照第3阶段的过程将边框回归Lbox_3再次输入，设定第4层R-CNN的IOU为0.7，最后得到分类得分Lcls_4和边框回归Lbox_4.期间网络的训练都是收敛的，得到检测模型，最后得到电网检测各类别的概率.

2.3 输电线路多目标识别

输线路多目标识别由图像处理和图像识别两部分构成，基于样本生成的Four R-CNN输电线路多目标识别流程，见图2.

图2 输电线路多目标识别流程Fig.2 flowchart of transmission lines multi-objective identification

输电线路多目标识别主要流程如下.

（1）提取绝缘子、相间棒、防振锤、鸟窝和绝缘子缺陷样本，利用旋转、放缩等操作对原始图像进行增强．

（2）利用图像标注（Labellmg）进行目标标注，生成对应的可扩展标记语言（XML）文件．

（3）利用开源机器学习库（PyTorch）搭建深度学习模型，把XML文件转化COCO格式来满足Four R-CNN模型的训练要求．

（4）以模块化封装包mmdetection所包含的神经网络代码为基础，构建基于ResNet101和6层FPN的Four R-CNN训练网络．

（5）通过建立的数据集对模型进行训练，优化相关参数，使模型的识别效果达到最佳，最后以COCO检测评价矩阵对模型性能进行评价.

3 实验及结果分析

3.1 样本准备

采用COCO格式制作数据集，共包含18 620张电网巡检航拍图像，其中16 320张是通过亮度的改变、尺寸的调整等方式进行数据扩充，再选出的图像.为了更好地说明实验的泛化性和检测精度，采用不同季节、不同天气、不同角度、不同时间段的航拍数据.选择2 000张航拍图像作为测试集，在剩余的14 320张航拍图像中，选取12 888张作为训练集，1 432张作为验证集.

3.2 Four R-CNN模型训练

开发环境设备型号见表3，硬盘存储空间为4 TB.

表3 开发环境Tab.3 development environment

实验采用PyTorch实现双路GPU分布式训练.通过测试将imgs_per_gpu设为8，即每次加载8张样本图片，workers_per_gpu为2，即每个gpu分配线程数为2.num_classes设为10，即分为3种绝缘子、防震锤、相间棒、2类绝缘子缺陷、防震锤缺陷和鸟窝.采用SDG作基础迭代器，初始学习率设为0.08，迭代1 000次后学习率设为0.001，动量因子设为0.9，权重衰减因子设为0.002.设P2层、P3层、P4层、P5层、P6层、P7层的锚步分别是10、15、22、33、50、77，框的大小通过K均值进行聚类，使用Four R-CNN以获得较好的权重．

实验以损失函数（Loss）作为评判算法收敛效果的依据，Loss值与算法的收敛效果高低成反比.经过多次实验，迭代3 500，损失函数见图3.

图3 损失函数 Fig.3 loss function

由图3可知，本文Loss值为0.023 1，略高于Four R-CNN（ResNet101）网络的0.017 2，但均明显低于其余网络模型，表明ResNet101+FPN网络模型的收敛效果较好，所采取的网络模型在Four R-CNN（ResNet101）网络模型的基础上融合了特征金字塔FPN网络，虽然牺牲了收敛效果，但更有利于提高输电线路小目标或重叠目标识别的准确度.

3.3 小目标识别结果

由于深度学习对小目标检测效果不理想，为了验证小目标的检测效果，采用Four R-CNN在不同的网络模型下测试平均准确率，评价指标如下.

准确率（查准率）为

平均准确率为

式（5）～式（6）中，T为被检正例的正确个数；F为被检正例的错误个数；n为测试样本总数.

3.4 多目标识别结果

为了测试基于数据扩充的Four R-CNN输电线路多目标识别技术在输电线路目标识别和异物定位中的有效性，采用基于ResNet101和6层FPN网络的Four R-CNN网络，对2 000 张测试图像，进行了多目标识别测试，随机选择了4 张图像用于展示检测结果，见图4.其中绿色方框代表着候选区域的类别以及候选区域的准确位置，故障类别主要包括绝缘子缺陷、防振锤和鸟巢等.类别后面的百分数表示置信度，置信度越高，则识别率越高.输电线路的目标识别结果见表4.

图4 多目标识别结果Fig.4 detection results of multi-target

表4 9类数据验证结果Tab.4 results of nine types of data validation

表4中平均准确率P越大说明模型越好，若P为1表明识别准确率100%.从验证结果知，各类别准确率的平均值为95.8%.表明本算法可以精确识别出输电线路各个目标情况，解决输电线路多目标检测任务.表5为算法对比表，采用ResNet101+FPN作为backbone的Four R-CNN在检测精度上优于其他算法，但是检测速度不高.

表5 算法对比Tab.5 algorithm comparison

本网络在训练时间和测试速度方面略低于其它算法.Four R-CNN采用多尺度特征融合之后的特征来做预测，可以在不同层独立的特征进行预测，并且上一级的输出是下一级的输入，输入的精度提高，输出结果的精度就会随之提高.

4 结论

针对输电线路上绝缘子、防振锤等易损件，以及鸟巢等异物的识别，提出了一种基于4层R-CNN的输电线路多目标检测方法，能对输电线路巡检图像进行多目标分类与定位，并利用数据扩充技术构建的图像数据集对所提方法进行实验验证.

（1）利用Four R-CNN网络较强的深度学习能力，同时结合ResNet101网络、6层FPN网络的优势，提高输电线路小目标识别准确度.所提出的训练模型使远景目标模糊、小目标漏检以及目标重叠等问题得到有效解决.

（2）本文所提方法对3种绝缘子、相间棒、防振锤、鸟巢和2种绝缘子缺陷能够实现端到端的识别，平均准确度达到95.8%.