基于无人机视频的公路桥梁边坡异常检测

黄少雄，兰建雄，谭 勇，潘 勇，曹申豪

（1.广东省南粤交通仁新高速公路管理处，广东 韶关512600；2.广州天勤数字科技有限公司，广东 广州 510627；3.武汉大学 计算机学院，湖北 武汉 430072）

随着公路的发展，公路总里程不断增加，人们出行更加方便；同时公路上的重要基础设施增多，公路地形路段更加复杂，也给有关部门对高速公路的监管和养护带来了更大的挑战。边坡与桥梁在公路交通领域中扮演着重要角色，在日常巡检中及时发现边坡坡面冲刷，桥梁地基冲刷，桥下空间违章停车、违章堆积物和违章建筑等边坡和桥梁隐患并及时处理，能大大消除边坡和桥梁等公路重要设施的安全隐患，有力捍卫路产路权，保障人民的出行安全。因此，对公路边坡和桥梁定时进行巡查格外重要。目前检测主要由相关部门安排人员到现场进行察看，该方式存在很大的局限性：①检查位置无法完全覆盖所有的坡面和桥梁结构；②检查次数无法满足规定的频率要求，增加了坡面和桥梁产生安全隐患的风险，不利于国家交通行业的健康发展。

随着智能化的发展，人工智能正在引领社会各行业的变革，无人机搭载探测器进行巡检的报道时有出现。陈永洪[1]等利用无人机搭载激光雷达获取线路走廊内的三维激光点云，再利用人工智能算法自动提取耐张塔、导线等关键地物和三维地形信息，最后进行激光点云数据的自动/半自动分类，用于检测耐张塔预偏值和软跳线安装质量；陈显龙[2]等设计了一种基于无人机的路桥病害检测系统；吴萍昊[3]等基于卷积神经网络对飞来峡水库铁溪坑示范区进行分类，并结合确界数据解译得到30处违法违章嫌疑区。利用无人机搭载高清相机进行巡检，仍处于试探性应用阶段，主要是通过手动操作无人机到合适位置，再调整云台角度获取巡检部位影像数据，无法进行有效的航线规划，巡查过程中难以对无人机进行远距离操控，自动化程度低、巡查效率不高。为减小公路巡检成本，本文提出了一个基于无人机视频分析的公路桥梁边坡常见异常隐患目标自动检测系统。检测系统通过地面站对无人机的飞行任务进行设定，固化航线，可实现一键式任务执行，拍摄指定位置的重要建筑视频；利用基于深度学习的目标检测技术对无人机拍摄的边坡和桥梁视频进行分析，精准检测边坡坡面冲刷、桥梁地基冲刷和桥下空间违章物。实验和实际场景测试表明，该系统可提高巡检效率，降低人员到复杂区域的作业频率，减少人员安全隐患，提高日常巡查频率，及时准确地发现边坡和桥梁的一些常见隐患。

1 公路桥梁边坡隐患目标巡检系统

基于无人机的公路桥梁边坡隐患目标巡检系统由无人机、地面工作站、巡检数据管理平台3 部分组成（图1），地面工作站用于定制和规划无人机的飞行任务，无人机执行飞行，到达指定地点采集视频，巡检数据管理平台管理无人机采集的数据，并开放数据接口，供违章物检测系统调用。

图1 巡检系统结构

1）无人机控制系统。系统以大疆经纬M300 RTK无人机为基础平台，搭载禅思H20相机，对桥梁、边坡进行日常巡查。自动巡检系统的无人机平台采用惯性测量单元、高精度全球导航卫星系统、光流传感器、红外传感器等多种传感器进行级联闭环控制，同时利用载波相位差分技术实现厘米级定位。无人机平台还增加了额外的光流传感器控制回路。光流传感器可通过计算拍摄平面上的像素点位移判断无人机本身的位移，从而反向增加无人机的稳定性。在光线不足的情况下，位于无人机底部的LED补光系统还可增加亮度，使传感器更好地识别表面纹理。无人机控制系统结构见图2。

图2 无人机控制系统结构

2）地面工作站根据边坡与桥梁的特点和巡检部位，对无人机的飞行航线、姿态进行固化，巡检人员只需将无人机带到固定地点，即可通过一键式执行任务，简单化、标准化作业流程。

3）巡检数据管理平台负责对无人机采集的数据进行集中管理、数字存档，方便查询检索，永久保存；利用基于深度学习的目标检测技术分析巡检照片、视频，检测边坡坡面冲刷、桥下地基冲刷、桥下堆积物等，并通知工作人员。

2 公路桥梁边坡常见隐患目标检测算法

基于深度学习的目标检测算法能准确检测边坡坡面冲刷，桥梁地基冲刷以及桥下空间违章停车、违章堆积物和违章建筑等公路桥梁边坡常见隐患。基于深度学习的目标检测算法可分为单阶段YOLO[4]系列、SSD[5]和双阶段算法RCNN[6]系列，其中YOLOv3[7]算法的检测准确率高、检测速度快，适用于检测公路桥梁边坡常见隐患。基于目标检测的无人机公路桥梁边坡常见隐患目标检测方法的具体步骤为：①构建公路桥梁边坡常见隐患目标数据集；②训练适用于公路桥梁边坡常见隐患目标检测的YOLOv3 模型；③设计适用于桥下空间违章物的过滤策略。

2.1 公路桥梁边坡常见隐患目标数据集构建

基于深度学习的目标检测算法需要大量带标注的图像用于训练。本文采用人工采集、人工标注的方式构建公路常见隐患目标数据集。在采集过程中，工作人员操作无人机以3 m/s 的速度沿边坡或桥体方向航行，拍摄包含坡面、桥体和桥下空间区域的视频。在标注过程中，为减小数据冗余和人工标注工作量，以2 s的采样间隔对无人机拍摄的视频进行抽帧，得到图像数据集；再采用人工标注的方式，标注每张图像中的目标。数据集分为边坡数据集和桥梁数据集，边坡数据集包括坡面冲刷、桥梁地基冲刷两种识别目标，共计968 张，其中818 张用于训练，其余用于测试；桥梁数据集包括桥体、桥墩、车辆、违章建筑、货物5种识别目标，共计570张，其中470张用于训练，其余用于测试。

2.2 基于YOLOv3的目标检测算法

基于YOLOv3目标检测算法，借鉴残差网络结构[8]形成更深的网络层次，并结合多尺度检测提升了平均精确率（mAP）和小物体检测效果。YOLOv3 算法网络的主干结构是Darknet-53[7]网络，预测支路采用的都是全卷积结构。Darknet的卷积层后接批量归一化层（BN）[9]和LeakyReLU层，除最后一层卷积层外，在深度卷积网络中BN 层和LeakyReLU 层已是卷积层不可分离的部分，共同构成了网络结构的最小组件。深度卷积网络输出包含3 个分支，分别专注于大目标、中目标和小目标检测，每个分支输出预测物体的坐标、类别和置信度。训练过程的损失函数由预测的坐标损失、类别损失和置信度损失3 部分组成。本算法对YOLOv3 主干网络结构进行微调，将分支全连接层数设置为7，即待检测物体数，包括坡面冲刷、地基冲刷、违规车辆、货物、建筑、桥体、桥墩。训练过程中，采用Adam 算法[10]进行优化，学习率设置为0.001，批量大小设置为8，累计训练50 轮。

2.3 桥下空间异常隐患检测的过滤策略

在采集的包含桥下空间和桥体的视频中，桥面上往往行驶着不同大小的车辆；而目标检测技术将同时检测桥下空间违规停放的车辆和桥面正常行驶的车辆，因此需要设计一种过滤策略，筛除桥面上正常行驶的车辆。在标注数据集的过程中，桥体以矩形框的形式进行标注，可作为划分桥下空间和桥面的依据。对于所有检测结果，比较其预测的坐标值与检测到的桥体坐标值，若物体坐标的最低值高于桥体最低值，则表明物体位于桥体上方，剔除该物体；反之，则保留该物体。

2.4 实验与结果分析

2.4.1 评价指标与结果

本文选取精确率（AP）作为单个类别物体检测效果的评价指标，mAP作为多个物体检测效果的评价指标。AP表示一个类别PR 曲线的面积；mAP 则是对m个类别的AP求平均值。

式中，TP为预测为正样本、实际为正样本的数量；FP为预测为正样本、实际为负样本的数量；FN为预测为负样本、实际为正样本的数量；P为预测为正样本中实际为正样本的概率；R为在实际的正样本中预测为正样本的概率。

在选取不同阈值作为正负样本的判断标准时，就会产生一组对应的P、R，二者往往相互矛盾，此消彼长，也就产生了PR曲线。各物体的AP见表1，计算得到mAP为0.849 2，可以看出，目标检测器对坡面冲刷、桥梁冲刷、桥墩、桥体和车辆的AP较高，对违章建筑和货物的AP较低。其原因在于，真实场景下，桥下空间的违规建筑和堆放货物较少，因而采集数据中对应的样本数量较少。

表1 各物体检测结果评估

2.4.2 真实场景检测结果图

部署基于无人机视频分析的公路桥梁边坡常见异常隐患自动检测系统，并在真实场景下进行测试，结果见图3，可以看出，检测系统能精确检测出边坡坡面冲刷、桥梁地基冲刷以及桥下空间的违章建筑、违规停放车辆和堆放货物；且在检测并标注桥下空间违规停放车辆的同时，剔除了桥面上正常行驶的车辆；但存在少量漏检和误检的情况。

3 结 语

为解决传统公路巡检费时费力的问题，本文结合无人机控制技术和基于深度学习的目标检测技术，设计并开发了基于无人机视频分析的公路桥梁边坡常见异常隐患目标自动检测系统，实现了公路边坡和桥梁隐患巡检和养护的全自动化。系统利用无人机机动灵活、空中鸟瞰、任意悬停等特性，实现了多角度巡查，减少了巡检盲区；通过地面站对任务进行设定，固化航线，一键式任务执行，实现了数据采集的自动化；利用基于YOLOv3 的目标检测算法，训练了适用于公路桥梁边坡常见隐患目标检测的高精度模型。真实场景下的测试表明，该系统具有较高的精确率，能完全自动化地进行巡检，极大地节约了人力成本。