输电线路无人机巡检自主导航算法研究

戴永东,姚建光,李 勇,毛 锋,文志科,倪 莎

(1.国网江苏省电力有限公司泰州供电分公司, 江苏 泰州 225300;2.众芯汉创(北京)科技有限公司, 北京 100193)

0 引言

随着架空输电线路的不断扩建和覆盖范围的快速增加,架空输电线路的区域环境复杂多样,使得架空输电线路的运行维护更加困难。传统的输电线路检测方法强度高、周期长、风险因素高、盲区多,难以满足现代电网发展的需要[1-2]。基于此,无人机作为一种科学、高效的检测手段受到了广泛的关注。特别是近年来,为了使无人机更好地完成搜救[3]、路径规划[4-5]、目标跟踪[6-7]等工作,开展了大量的学术和工程应用研究。为了实现自主导航和智能避障,开发了多种制导、导航和控制算法,为无人机在动力巡查检测中的应用研究奠定了基础。此外,无人机具有机动性强、控制简单、形式多样、效率高、成本低等优点,被国内外电力公司广泛应用于输电线路的检查和侦察中[8-10]。

然而,目前基于无人机的架空输电线路自主检测的研究还处于起步阶段,主要的学术和工程应用研究重点是通过配备激光雷达、可见光传感器和红外摄像机的无人机对输电线路进行检测,收集故障数据,提供导航线路巡逻无人机的信息。无人机采集数据的位置和高度取决于飞行控制人员的视觉和这些传感设备的检测结果,因此无人机对架空输电线路的检测严重依赖于控制人员的飞行控制水平,存在人工控制难度大、定位精度低,影响航拍和状态诊断[11-13]。这在很大程度上限制了无人机的性能,不能很好地利用无人机机动性强、控制灵活、效率高的优点。为此,研究无人机对架空高压输电线路的自主检测,以期无人机能够执行更先进、更优化的空中检测任务[14-16]。为了实现巡检无人机的自主导航,一些研究人员还利用GPS、超声波传感器、紫外、红外、可见光传感器以及这些传感器的组合对巡检无人机进行导航研究[17-18]。

通过分析在Faster R-CNN中使用scratch模型和Pre-trained模型(如InceptionResNet-V2[19]和ResNet-50[20])检测障碍物的性能,选择了精度最好、速度最快的模型,并对其进行改进,应用于无人机导航。所提改进的Faster R-CNN模型获得了比ZF-Net模型[21]更高的精度,将极大地扩展无人机的自主飞行能力。

1 障碍检测

1.1 scratch模型研究

受当前检测方法优异性能的启发,采用Faster R-CNN[22]作为障碍检测器。更快的R-CNN融合了2个模块:一个提出区域的深度全卷积网络;另一个使用提出区域的Fast R-CNN检测器[23-25]。深度全卷积网络的使用显著提高了区域提议的计算时间,并实现了实时目标检测。在本节中,先构建Faster R-CNN网络,并预先训练模型。分析并比较了它们在检测精度和速度方面的性能,最后确定了一种用于避障任务的检测器。总共创建了4个不同的检测器,以研究训练数据的数量和卷积层的数量对检测性能的影响。这4种检测器分别为检测器A、B、C和D,都是按照不同的规格进行训练的。第1个操纵参数是训练图像的数量。检测器A使用4 000多张图像进行训练,而其他3个检测器仅使用1 500张图像进行训练。其他3个检测器的训练数据集中的图像是从检测器A的训练数据集中提取的,即检测器B、C、D的训练数据是检测器A训练数据的子集。表1和图1给出了探测器A和B的CNN结构。表2总结了探测器之间的差异。

表1 CNN的每一层探测器A和B

图1 探测器A和B的CNN结构

表2 4种探测器的规格

定义网络结构后,训练Faster R-CNN检测器,并更新Region Proposal network (RPN)和CNN中的参数。训练采用的算法为SGDM优化器,学习率为0.001。

1.2 Pre-trained模型研究

除了scratch模型,还选择了2个已有的预训练模型进行再训练,以进行障碍检测。这2个模型之前都是在COCO数据集上训练的。

第1个网络是Inception v2,这是图像分类历史上第2个在ILSVRC中超过人类水平的机器学习模型。Inception模型的独特、广泛的架构以相对较低的计算成本显示了出色的性能。

第2个预训练模型是ResNet-50。作为Faster R-CNN配置中的CNN基础模型,ResNet在图像分类和检测方面取得了最先进的成果。与训练的scratch模型相似,重构的ResNet-50和Inception网络采用SGDM优化器进行微调。在训练中的学习率被设置为0.000 2,远小于scratch模型(0.001)。这是为了在不严重修改权重的情况下减少丢失先前提取特征的风险。

1.3 飞行数据的采集与标注

为了训练和验证1个检测模型,需要1个由目标环境的图像组成的大数据集。在这项研究中,1架Parrot Bebop 2被用作空中平台,在1个学校录制飞行视频。收集数据集的位置如图2所示。该数据集由无人机随机飞行的视频组成,用于训练检测器与真实飞行场景。数据收集是在1 d 内的3个不同时间段(上午、下午、晚上)内进行的,确保模型在不同光照条件下均能检测到障碍物。无人机拍摄的视频原本是1 920×1 080像素。被调整为426×240像素后再进行对象标注,以节省训练时的计算时间。

图2 数据集所在位置图

2 避障运动

2.1 障碍物定位

检测结果可作为无人机自主导航运动的依据。每个原始图像的大小被调整,以匹配检测模型的输入层大小,然后将其输入训练模型,以检测障碍物及其位置。检测模型通过参考图像左上角的原点输出障碍物边界框的坐标。图像坐标系(xi,yi)如图3所示。边界框的左上和右下坐标定义分别为(xij,min,yij,min)和(xij,max,yij,max)。

图3 检测到障碍物的包围盒坐标为图像轴(盒1)

2.2 关键障碍物的识别

得到被检测障碍物的坐标后,需要识别无人机前进路径上接近的障碍物,它们被称为关键障碍物。在算法中,边界框的高度作为深度线索。在控制器中,无人机被命令以恒定速度前进,直到检测到关键障碍物时触发停止。

基于上述情景,可以通过2种情况识别出关键障碍:条件1,它正在接近无人机;条件2,它在一个安全边界内,阻碍了飞行路线。

安全边界设置为距离无人机摄像头0.5 m,这是为了确保无人机在前进时不发生碰撞。它涵盖了无人机的大小和一些可接受的空间。此外,该算法允许无人机探测到至少1 m以外的障碍物。

如上所述,使用图像中检测到的空间的高度作为深度线索。该参数会受到无人机高度的影响。虽然无人机高度可以使用声纳测量反馈控制,但是无人机很难在真实飞行中保持在一个精确的恒定高度。这是由于外部环境因素,如松软和不平整的地面,侧风或阵风,都会影响测量和无人机的稳定性。为此,设定参数高度比hratio,即图像中的障碍物高度与图像高度的比值,障碍物在距离相机1 m处不同飞行高度Z(单位为m)下的高度比为:

(1)

式中:VFOV为垂直视场的角度;himg为图像的像素高度;f为通过相机标定得到的相机的焦距。

检查条件1,图3中的yij,max用来表示物体在图像中的高度。当yij,max与himg的比值不小于hratio时,检测到的障碍物满足条件2,即障碍物正向无人机逼近,有:

yij,max/himg≥hratio

(2)

对于测试条件2,利用边界盒的坐标xij计算图像帧x轴上障碍物的位置,分析障碍物的位置是否在无人机的安全边界内。研究中,机载摄像机被假定为针孔摄像机,因为通过摄像机标定校正了失真,所以坐标xij的安全边界内的障碍物可定义为:

(0.5wimg-wobj)≤(xij,minorxij,maxorxij,c)≤

(0.5wimg+wobj)

(3)

式中:xij,min为最小值;xij,max为最大值;xij,c为边界x的坐标中心。相反的,当物体距离物体1 m时,计算得到摄像机的抖动为:

(4)

式中:HFOV为相机水平视场的角度;wimg为图像的宽度。通过使用式(2)—(3)中所述的这2个条件,可以识别出关键障碍。

2.3 预期航向评估

在探测到关键障碍物后,将无人机转向预期的航向角。这种类型的障碍物被称为警告障碍物。对于这些障碍,它们的边界框的高度大于图像高度的1/3。通过考虑这些障碍新的预期航向角可以引导无人机到一个更平滑的路径。这减少了导航中的过度转向,使路线比只感知和避免关键障碍的方法更简单。

所需要的航向参考是通过在图像x轴上找到最大的无障碍区域来确定的。图4展示了一个示例,包含了表示检测到的障碍物的边界框。其中,wi表示警告和关键障碍物的边界框之间以及障碍物和图像边界之间的水平距离。下标i是沿x轴的图像上的空闲空间数。w值最大的区域i表示最大无障碍区域。计算最大无障碍区域x*的中心,以确定所需的航向参考。

当w的值最大时,i小于80像素,当无人机领先1 m时,等效宽度为0.32 m,自由空间太小,无人机无法通过。

图4 垂线表示的目标参考例

图4中w1和w4是检测到的障碍物与图像边界之间的水平距离,而w2和w3是障碍物之间的水平距离(警告和临界),x*设置为图像的右边界wimg。这是为了引导无人机离开当前的空间环境,因为没有足够的空间让无人机安全通过。

在计算x*之后,确定转向角度ψ*:

(5)

计算转向角度在顺时针方向是正的,反之亦然。所需的方向参考ψdesigned可以通过在无人机当前航向角上加上ψ*得到:

ψdesired=ψheading+ψ*

(6)

2.4 改进的Faster R-CNN算法

图5为Faster R-CNN的网络结构。

图5 Faster R-CNN的网络结构

VGG16网络作为Faster R-CNN的骨干网络,进行特征提取时,会出现梯度消失,减少深层网络返回的梯度相关性,增加小缺陷漏检的概率,降低检测精度,因此使用有残差单元的ResNet-50网络提取缺陷图像特征,既保留了细节信息又解决了梯度消失问题。图6为残差单元。

图6 残差单元

由图7可知,ResNet-50网络包含4个卷积组,这4个卷积组分别包含3、4、6、3个残差单元。通过全局平均池化固定特征图,进行1 000维的全连接,最后通过Softmax函数得到分类结果。

2.5 无人机的运动控制

研究中,运动控制的一个直接方法是实施到飞行控制器,以验证提出的策略。无人机被编程以恒定速度从起始位置向前移动,直到检测模型触发无人机停止。无人机的高度在飞行过程中利用声纳测量的反馈调节到1.5 m的恒定高度。当探测到一个关键障碍物时,无人机被命令转向所需的航向角。关于zb轴的角速度ωψ为:

ωψ=Kp(ψheading-ψdesired)

(7)

式中:Kp表示在最短的时间内实现所需的航向角,取值0.5。zb轴垂直于xb、yb坐标平面,指向下方,如图4所示。

图7 ResNet-50的网络结构

3 障碍物检测结果

3.1 实验环境

表3为实验的相关设置。

表3 实验的相关设置

3.2 不同模型的性能

实验从2个方面进行,首先将4个模型训练为不同规格的检测器,这是为了研究训练图像总数和卷积层数对检测模型性能的影响。每个检测器的性能测试使用60幅图像,这些图像不包含在所有检测器的训练数据集中。其次与Faster R-CNN、YOLOv3和YOLOv5这3种算法进行对比。

1) 为了评价探测器的整体性能,图8制定了每个探测器的精度曲线。从结果来看,检测器A的最大召回值已达到0.76,是所有探测器中最高的。也就是说,检测器A可以在测试图像中检测出更多的实际障碍物,从而提高了检测图像中关键障碍的成功率。通过比较检测器B、C、D,研究了卷积层数对障碍物检测的影响。检测器B的平均精度最高,检测器D次之,检测器C的精度最低。因此,选择一个性能最好的scratch模型作为下一步的障碍物检测器。基于结果,使用更多的图像数据对具有两层卷积的模型进行训练,以进一步提高其检测性能。

2) 为了进一步评价模型的性能,对比了Faster R-CNN、YOLOv3和YOLOv5这3种算法。

3.3 scratch模型和Pre-trained模型比较

前文中选择的scratch模型和2个预先训练的模型,即ResNet-50和Inception v2,都使用相同的数据集进行训练。数据集由不同光照条件下的图像组成。训练数据集是一个5 min的飞行视频,由4 689幅图像组成。这些图像共包含23 866个障碍物注释。训练结束后,用一段2 min的飞行视频对模型进行了测试,该视频由514张在同一区域按顺序记录的图像组成。将召回率和精确率作为评价指标,具体计算式为:

(8)

(9)

式中:TP表示分类器预测结果为正样本,实际也为正样本,即正样本被正确识别的数量;FP表示分类器预测结果为正样本,实际为负样本,即误报的负样本数量;TN表示分类器预测结果为负样本,实际为负样本,即负样本被正确识别的数量;FN表示分类器预测结果为负样本,实际为正样本,即漏报的正样本数量。

图9为scrath模型和Pre-trained模型的精度曲线。2种Pre-trained模型与scratch模型相比,获得了更高的最大召回率模型,因此Fast R-CNN与Inception v2被选中为避障中的检测器系统,因为模型可以准确、迅速输出检测框。

图8 测试精度结果的召回曲线

图9 scrath模型和Pre-trained模型的精度曲线

为了进一步评价模型的精度,所提模型与Faster R-CNN、YOLOv3和YOLOv5这3种模型对比的结果如表4所示。由此可知,所提算法的准确率最高。

表4 不同模型的精确率对比

为了评估真实环境下模型的时延,选取了一天中不同时段来分析,如表5所示,可以看出1 d中的多个时段的时延都不高,说明所提模型可以应用在实际生活中。

表5 不同时段的时延

4 结论

提出了一种新的无人机自主导航方法并应用在输电线路检测中,消除了对用于探测障碍物的传感器的外部依赖性。该系统利用车载摄像机获取正面图像,预测到一帧一帧的障碍物位置。模型输出了障碍物在坐标图像中的的位置,目的是准确控制无人机。预先训练的模型,选择Fast R-CNN与Inception v2,通过与3种算法的对比,验证所提算法在无人机自主导航系统中的性能。在测试中,即使在飞行高度变化的情况下,无人机也能成功检测到所有的障碍物是否对其导航有危险,并自动执行避障飞行。