基于光视觉技术的海底管道自主巡检系统研究

马建民，李晓东，高天羽，李志航，解子祺，闫雨晴，李佳萍，马少华

(中国石油大学(华东)石油工业训练中心，山东 青岛 266580)

0 引言

管道作为运输液体、气体或松散固体的重要载体，受水深、地形等条件限制较少，具有输送效率高、耗能少等优点。海底管道运输是海底油气输送的重要途径，其正常运行对国民经济发展具有重要意义[1-2]。由于水中污垢、海水腐蚀、运行磨损等因素影响，海底管道会产生缺陷和损伤，甚至发生油气泄漏，因此需要对海底管道进行定期检测，避免安全事故发生[3-4]。由于海底管道处于水下，检查和维修比较困难。水下机器人具有作业深度大、范围广、持续时间久、安全高效等优点，成为海底管道检测的首选设备[5-8]。由于海底管道位于水平面以下几十至数百米，长度十几甚至几十千米，轨迹多为复杂曲线，因此有缆式水下机器人无法满足作业要求，管道巡检机器人应具备自主循迹功能；面对水下环境中波浪扰动，管道巡检机器人应具备姿态自动调整功能，确保水下摄像头工作角度的有效性；针对海底管道上存在的腐蚀区、泄露点等异常情况，管道巡检机器人应搭载检测设备，对海底管道缺陷进行高效地初步检测。

国内外学者从路径规划、姿态自适应、海底管道检测等方面研究水下机器人。综合考虑海底管道的复杂性，对比分析国内外路径规划算法，机器学习法、深度学习法、群智能法等人工智能算法可较好适用于水下机器人的自主路径规划[9-10]；根据水下机器人的运动特点，调整自适应神经网络算法参数并据此设计水下运动控制器，通过水下实验探究克服水中扰动和水下三维轨迹跟踪等问题的解决措施[11]；结合前人大量的水下实验，探索适于水下机器人姿态控制的滤波算法，通过实时监测水下机器人的相对位置和姿态角度以实现运动姿态的自适应控制，进一步解决水流波动对水下机器人的运动干扰[12-14]；在管道缺陷检测领域，电涡流探测法、超声法、漏磁MFL法等得以广泛应用[15-19]。上述研究成果极大提高了水下机器人的性能水平，但是研究工作相互独立，并且研究目标很少是海底管道的检测与维护。

水下机器人领域的路径规划、姿态控制、管道缺陷检测等研究成果，对海底管道检测机器人研究具有较好借鉴意义，但是海底管道巡检作业不仅要求水下机器人具备上述功能，还应满足海底管道行业的工程综合要求。因此，有必要探究海底管道巡检机器人的工作原理，以指导海底管道巡检机器人的工业化生产，保障海底油气的安全输送。针对海底管道检查维修的行业需求，我们设计了一款能够沿海底管道自主运行、检测管道吸附物并发出警报的海底管道自主巡检系统。

1 整体方案设计

1.1 设计要求

1.1.1 模拟海底管道

综合考虑海底管道实际铺设与巡检工况，模拟海底管道水平架设、转向、倾斜等各种情况。场地为长方体蓝色水池，其尺寸(长×宽×高)为3 000×2 000×600(mm)，水面高度为530 mm。模拟管道铺设在水池底部，采用直径φ75 mm的白色PVC管，设置浅水区、过渡区、深水区。其中浅水区水平距离长2 500 mm，距水池底部210 mm；过渡区水平距离1 000 mm，深水区水平距离2 500 mm，与水池底部接触；设置两个管道支撑架，分别放置于出发区靠近水池壁处和距离出发区支撑管2 000 mm处。

1.1.2 姿态矫正及自主循迹功能

根据海底管道巡检需求，自主巡检系统需全程自主循迹，并实现前进、转弯、浮沉等功能。

1.1.3 吸附物检测功能

为了在实验室环境下模拟海底管道的腐蚀、泄漏等缺陷，在实验室模拟管道外壁添加圆柱体、立方体等黑色吸附物。自主巡检系统在管道循迹过程中，需自主识别吸附物的形状、沿模拟管道轴线的位置等信息，并触发相应类型报警。

1.2 设计原理

根据设计要求，自主巡检系统应主要由机械主体、主控模块、姿态模块、循迹模块和视觉模块等组成，如图1所示。机械主体可为其它模块提供安装支撑和无水工作空间，为巡检机器人正常工作提供基础保障；主控模块可实时监测自主巡检系统的工作状态及周围水环境，并根据任务及环境调控自主巡检系统工作状态；姿态模块可及时调控自主巡检系统的运动姿态，保证寻迹和视觉识别的正常进行；循迹模块可实时监测水下管道相对于自主巡检系统的位置信息，控制自主巡检系统沿水下管道正确循迹；视觉模块可实时反馈管道及吸附物图像，为主控模块正确判断管道吸附物提供图像信息；此外，自主巡检系统在水下作业，需保证自主巡检系统各部件防水。

图1 自主巡检系统设计思路

1.3 设计方案

根据设计要求，综合考虑系统性与拓展性，完成基于光视觉技术的海底管道自主巡检系统整体设计，如图2所示。机械部分主要由支架、配重、防水舱、图像舱、3组推进器(其中，2组水平推进器，1组垂直推进器)等组成，为各类传感器、推进器等元件的安装提供牢固的机械基础，为控制模块、图像模块等提供无水的工作空间。主控模块主要由STM32F104ZGT6主控芯片、主控电路板、驱动电路板、稳压电路板、锂电池等组成，可实时监测各传感器的反馈数据，控制推进器的运动状态，并对各模块提供稳定、正确地电源，以实现自主巡检系统的姿态智能调整、管道轨迹的自主巡检。姿态模块主要由十轴加速度传感器WTGAHRS1、深度传感器MS5837-30BA等组成，实时监测自主巡检系统的俯仰角、横滚角、偏航角等水下姿态信息及下潜深度，采用PID运动控制算法及时调整垂直推进器工作状态，保证自主巡检系统的水下姿态正确、下潜深度正确且稳定。循迹模块采用openMV进行管道位置的识别，反馈管道相对于自主巡检系统的角度和位置信息，辅助水平推进器工作，实现管道的自主循迹。视觉模块通过140°广角摄像头实时获取管道吸附物的图像信息，利用NANO主板强大的图像处理能力，采用YoloV4-tiny目标检测算法，高效、快速识别管道吸附物。

图2 自主巡检系统方案

2 水下巡检控制系统设计

水下巡检控制系统主要由主控模块、姿态模块和寻迹模块组成，可根据海底管道的相对位置信息实时调整推进器的工作状态，实现自主巡检系统沿海底管道前进、转弯、沉浮等运动。

2.1 水下巡检控制系统原理

以自主巡检系统对称中心为原点O，与前进方向平行的对称线为X轴，建立笛卡尔坐标系XOY，如图3所示。在自主巡检系统的四角对称安装4个同规格推进器P(此时，P=1，2，3，4)，推进器正面朝向X轴正方向、轴线与X轴夹角为45°，相邻推进器的轴线不平行，推进器1和2、3和4分别为一对正反推进器。当自主巡检系统前进时，4个推进器正转，产生推进力FP，FP沿Y轴分力F1Y和F2Y、F3Y和F4Y分别相互抵消(大小相等、方向相反)，沿X轴分力F1X、F2X、F3X、F4X方向相同，则产生沿X轴正向的合力，推动自主巡检系统向前运动；当自主巡检系统向右转弯时，推进器1#、2#前进速度不变，推进器3#正转、4#反转，产生推进力F3和F4，沿X轴分力F3X、F4X相互抵消(大小相等、方向相反)，沿Y轴分力F3Y、F4Y方向相同，产生沿Y轴负向的合力，自主巡检系统前部Y向位置不变、后部绕摄像头位置向左前运动，自主巡检系统整体运动表现为以摄像头为圆心的向右转弯；自主巡检系统向左转弯同理。在自主巡检系统两侧对称安装2个同规格推进器P(此时，P=5，6)，推进器正面垂直向上、轴线亦垂直向上。推进器5#、6#正转，产生垂直向上的推力F5、F6实现自主巡检系统上浮；反之，推进器5#、6#反转，自主巡检系统下潜。沿X轴，在自主巡检系统的前方放置openMV摄像头，实时获取自主巡检系统与管道的相对位置与夹角；在自主巡检系统上表面放置深度传感器，实时检测自主巡检系统的下潜深度；自主巡检系统内部布置惯导模块，实时检测自主巡检系统的俯仰角、横滚角、偏航角等姿态信息。

图3 推进器布置

2.2 运动控制设计

自主巡检系统运动控制包括循迹和姿态控制两部分，如图4所示。循迹控制将openMV反馈的角度偏差θ和位置偏差δ分别与循迹指令[ab]比较并进行PID运算，其结果[AB]乘以相应水平推进器的权重系数ai(其中，i=1，2，3，4)以产生推进器的速度指令[AiBi]；姿态控制将惯导传感器与深度传感器传回的横滚角ψ和深度h分别与姿态指令[cd]比较并进行PID运算，其结果[CD]乘以相应垂直推进器的权重系数bj(其中，j=1，2)以获得推进器的速度指令[CjDj]。

图4 运动控制器原理

2.2.1 角度控制

自主巡检系统沿海底管道寻迹运动过程中，当出现偏差角θ后，立即调用PID模块以修正水平推进器的推进速度，如图5所示。为了保证摄像头对管道的实时检测，角度修正过程的旋转中心应位于摄像头处。综合考虑推进方向、自主巡检系统重心、前进惯性等因素，为水平推进器设定不同的速度修订权重系数ai(其中，i=1，2，3，4)。

图5 角度修正

2.2.2 位置控制

在寻迹过程中，当自主巡检系统出现位置偏差δ时，调用PID模块进行位置修正。为了保证摄像头视野的有效性，位置修正过程如下：

1)如图6(a)所示，只对前方推进器1#、2#进行速度修正，后方推进器3#、4#的速度不变；

图6 位置修正

2)如图6(b)所示，在后方推进器的影响下，自主巡检系统由位置偏差转化成角度偏转，此时调用角度控制器以修正偏角；

3)重复1)、2)过程，实现自主巡检系统最终位置修正，如图6(c)所示。

2.2.3 姿态

自主巡检系统的姿态受俯仰角、横滚角等影响。通过调整机身配重的大小与位置，使自主巡检系统重力与浮力基本相等，且重心降低，保证自主巡检系统不侧翻且俯仰角稳定。当横滚角出现偏差ψ或需要调整深度h时，立即调用PID模块修正竖直推进器5#、6#的运动速度，实现自主巡检系统的姿态调整。

3 基于YOLOv4模型的异常综合评估算法

3.1 算法模型

考虑到水下环境中光亮强度、图像畸变等因素影响，兼顾自主巡检系统运动控制与高效识别的矛盾性，本系统选用精度高、速度快的轻量级算法模型YOLOv4-tiny[20-24]进行水下图像识别。其中，显卡使用NVIDAGeForceRTX 2060，选用darknet深度学习框架进行数据集标注训练，深度神经网络加速库为CUDA10.1和CUDNN7.5，为防止显存溢出，Training中的batch参数设置为64，subvisions设置为16；嵌入式平台选用NvidiaJetson Nano，通过GPU进行推理加速，安装CUDA库以及OpenCV库，检测帧率达到16 fps。

YOLOv4-tiny方法具有较快的目标检测速度，可在嵌入式系统或移动设备上进行动图识别。在1080Ti GPU平台上，YOLOv4-tiny的目标检测速度可达每秒37帧，而且精度满足实际要求。YOLOv4-tiny方法使用CSPDarknet53-tiny网络作为骨干网络，其使用了跨级部分网络中的CSPBlock模块，该模块可以提高卷积网络的学习能力。CSPBlock模块将特征映射分为两部分，并通过跨级残差边缘将两部分合并。因此，梯度流可以在两个不同的网络路径上传播，增加了梯度信息的相关性差异。YOLOv4-tiny方法的激活函数LeakyReLU函数，即：

(1)

其中:ai∈(1，+∞)且为常数。

在特征融合部分，YOLOv4-tiny方法使用特征金字塔网络提取不同尺度的特征地图，以提高目标检测速度。同时，YOLOv4-tiny使用两种不同比例的特征图1313和2626来预测检测结果。预测过程中，首先调整输入图像的大小，使所有输入图像大小相同。其次，将输入图像划分为大小为SS的网格，每个网格负责对中心落入该网格的物体进行预测。每个网格需要预测出B个目标框及每个目标框的置信度得分C，如果目标框的置信度得分高于置信度阈值，则保持目标框；否则目标框将被删除。置信度得分的公式为：

(2)

(3)

由上式可得每个目标框的类别置信度得分，根据设置的阈值可对准确度低的目标框进行去除，并对阈值筛选后的目标框进行非极大值抑制即可得到检测网络最终的输出的结果。

3.2 异常综合评估算法

通常目标检测对象是图片或静止物体，在进行目标检测时基本不会出现因目标运动模糊造成模型误识别问题。但自主巡检系统在水下巡检时一直处于运动状态，采集的图像帧数有限且不固定，需要在尽量短的时间内根据不同角度的图像完成目标准确识别。此外水下环境复杂，模型精度有限，单帧正确率难以保证。为了评估异常结果，一般采取以下两种评估方案：1)实时评估，即仅依赖单次采集的图像数据进行实时评估。该方案具有良好的同步性，但对模型要求较高，很容易出现误报，且同一异常点会被连续采集，多次报警;2)完整评估，即预设评估数量，采集数据达到一定值后再进行评估。可减少模型错误产生的误报，但预设数量往往是定值，可能自主巡检系统运动速度快慢影响数据利用等情况。

综合以上考虑，本文提出一种新的动态评估算法，即根据实际的图像采集情况确定评估时间，时间结束后立刻根据采集到的所有数据进行综合性评估。

3.2.1 确定评估时间

首先设置视觉定时器，该定时器以固定频率进行计数，当计数达到最大值时，采集结束。则需要确定计时器何时开始计时以及计数最大值，如图7所示。具体过程如下：摄像头以固定频率进行图像采集，当目标出现在自主巡检系统视野内(模型判断该帧图像目标存在概率超出阈值，避免误判)，开启视觉定时器；定时器开始计时后，若模型判断当前帧存在异常，该计时器清零，重新计数；同时，根据图像识别结果不断调整计数器最大值；当计数器完成计数后，采集时间结束，将采集到的数据进行统计，并根据评估方法得出异常结果。其中，为了采集尽量多的数据并在采集完成后立刻进行评估，构造计数器最大值与采集时间的函数，且具备以下特征：单调递减、平滑、初始段斜率较小、超过一定阈值后以较快速度下降、保证准确率后直接进行判断。为得到计数器最大值与采集时间的关系，设模型在某一时刻产生误判或者漏识别的概率Pe(t)，正确检测的概率记作Pa(t)，以目标刚进入视野内开始计时，在视野内的滞留的采集时间记作t，计数器最大值是用于模型在产生误识别或漏检后，如果在计数器规定时间内没有检测到目标，则对已有数据进行评估，此目标检测结束，等待下一次检测开始，该计数器最大值记作k，计数器最大值与采集时间的关系记作k=f(t)。一般情况下，我们可以认为任意时刻Pe(t)均为常数，但实验发现，由于目标图像不完整以及模型本身存在一定缺陷，在目标刚进入识别视野内和离开视野时Pe(t)较大，这里取50次目标检测的数据进行分析，为方便后续数据处理，我们将时间t和k进行离散化，这里取时间单位100 ms，通过50次实验数据可以对Pe(t)进行估计，公式为：

图7 评估算法

为得到合适的f(t)我们取优化目标函数：

式中，a为惩罚系数，设置范围在(1，1.5)范围内，优化目标是使g(t)取最小值。为满足f(t)的特征，我们选择3次函数来进行优化。通过Matlab仿真拟合以及实际实验测试的效果，最终得到函数：

f(t)=0.0003t3-0.0115t2+0.0742*t+0.918

(4)

上述公式含义为在0.1*ts时刻，计数器最大值为s。通过配置程序中检测定时器的值，实现计数器值动态变化。

当数据量较小时，计数器最大值较大，允许在较长时间内继续获取数据；当数据量基本满足要求时，计数器最大值则快速下降；当计数器最大值变小后，计数时间缩短，若未在规定时间内获取到数据或数据量达到一定值时结束，尽可能快地进行数据评估，得出结果。

3.2.2 计算评估结果

在采集完每帧图像后，模型会对图像信息进行处理，从而判断出该帧图像中可能存在的异常，并给出异常标签i(异常类型)与该异常的置信度pi(存在概率)。设采集到某异常标签j的数量为xj、其最大置信度为pjmax。水下数据采集完成后，对采集到的数据进行计算：Qj=xj×pjmax，取最大值Qj，则其对应的标签j便为评估结果。本算法直接将标签对应的数量与其最大置信度相乘，既利用了所有数据，又能最大程度地简化运算，保证了算法的快速性与准确性。

4 水下巡检实验

4.1 实验环境

为了验证基于光视觉技术的自主巡检系统的有效性，制作机器人样机并搭建水下管道巡检实验平台，满足1.1.1尺寸要求，如图8所示。其中，管道附着物采用截面形状为方形、圆形的黑色物体进行模拟，且安置于管道轴线上方，沿轴线方向设置8个吸附物，相邻吸附物距离不小于500 mm(机器人样机长度)。吸附物的直径或边长为30～50 mm，材质为PLA(聚乳酸)，采用3D打印机制作。

图8 水下管道巡检实验平台

4.2 实验过程

在室内光照充足环境下，分别间隔2个小时，连续开展10次实验，步骤如下：

1)将自主巡检系统放于水池出发区管道正上方，并启动；

2)自主巡检系统沿管道自主前行，依次通过出发区、深水区、过渡区、浅水区和返回区；

3)巡检过程中检测到方形吸附物点亮绿灯，检测到圆形吸附物则点亮红灯。

4.3 实验结果

多次实验表明，自主巡检系统可完成水下管道寻迹运动、附着物检测运动，具有良好的自适应能力。

4.3.1 管道循迹实验结果

采用深度传感器、惯导传感器获取巡检自主巡检系统深度和横滚角、俯仰角、偏航角等状态数据，并进行均值化处理，在Origin75数据处理平台上进行曲线拟合，结果如图9所示。

图9 自主循迹实验结果

由图9中下潜深度曲线和管道深度曲线可知，两条曲线变化趋势一致：0～20 s时间段，两条曲线数据均较大、变化波动较小，二者平行，说明此段是深水区，机器人运动高度与管道高度一致；20～30 s时间段，两条曲线下降，但是仍旧保持较好平行，说明此段是过渡区，机器人循迹高度与管道高度比较吻合；30～48 s时间段，两条曲线数据均较小、变化波动较小，二者平行，说明此段是浅水区，机器人运动高度与管道高度一致。实验表明，自主巡检系统在浅水区、过渡区、深水区分别与管道在深度上保持了较好的一致性，满足了在不接触管道的基础上完成管道循迹和附着物识别。

由俯仰角曲线和横滚角曲线可知，横滚角和俯仰角都趋于零，表示自主巡检系统在水下的姿态稳定，没有发生明显的侧翻趋势；由偏航角曲线可知，偏航角由深水区的0°左右增大到过渡区90°左右，再变化到浅水区的180°左右，表明自主巡检系统发生两次垂直转弯，与管道实际布置情况一致，自主巡检系统可沿管道正确循迹。

综上可知，自主巡检系统在水平方向、竖直方向都能准确地沿水下管道进行循迹运动，准确率达100%，自主巡检系统具有较高的准确性和稳定性。

4.3.2 附着物检测实验结果

如图10所示，自主巡检系统能够在循迹过程中，圆柱型附着物的最低识别率为60%，仅出现1次；方块型附着物的最低识别率为75%，出现了2次。

图10 附着物识别结果

连续10次实验表明，自主巡检系统能够准确识别出吸附物的位置和形状并报警，多次实验的识别准确度可以达到96%。异常综合评估算法可以综合同一目标的多次检测数据进行综合评估，提高了目标检测的准确度，一定程度上可以减少漏检和误检带来的影响，解决了在采集图像帧数有限且不固定、需要在尽量短的时间内情况下及时做出准确评估的问题。

5 结束语

针对水下管道的巡检问题，本文探究了水下管道自主巡检方法与水下管道巡检机器人原理，设计了一种基于光视觉技术的自主巡检系统，并制作机器人样机进行了实验室环境下的水下实验。实验表明，该自主巡检系统能够通过视觉与运动控制器的配合实现水下姿态稳定与正常循迹，并在此基础上通过YOLOv4-tiny模型与评估算法实现管道吸附物的准确、快速检测，解决了目前水下目标检测精度低、速度慢等问题。但本系统还缺少实际环境下的深水实验，实际效果还有待进一步提高完善。