基于移动起降平台的无人机定点降落混合模式探究

史欣茹 龙泽宇 邹哲之 刘亦博 周 航

中国民航大学中欧航空工程师学院 天津 300300

一、概述

(一)研究背景

无人机是利用无线电控制技术和机载自动化控制装置操纵的无人飞行器。近年来,无人机在长时监控、航空拍摄、电力巡检、城市交通监控、灾难现场搜救等任务中展现出了优秀的应用性能,其中无人机对可移动目标的追踪定位问题一直是无人机技术研究的热点。此技术在现实生活中有广阔的应用空间和技术需求。例如,用于城市反恐中对犯罪车辆的跟踪、通过无人机对风电叶片进行巡检[1]。

同时,无人机追踪定位技术始终存在技术局限,比如在复杂环境中进行人员搜捕时,或在对可移动目标进行追踪巡航时,无人机只能追踪带有特定明显特征的物体,无法追踪没有标识的目标。由于无人机载荷小、续航能力弱,飞行高度有限,其应用场景与使用范围也具有局限性,难以完成远距离载重任务,在结冰等极端天气环境下的飞行高度与续航能力更大幅降低[2]。

无人载具的出现和应用,为解决无人机续航力短问题提出了新的思路:利用小型无人载具搭载无人机抵近目标,再在起降平台上完成起飞,可有效弥补无人机续航缺陷,拓宽应用场景。在无人机与移动载具相结合方面,人们曾做出许多尝试,该技术更多是用在军事和城市治安上。例如,美研究人员构想未来军事上将依靠空中/地面自主无人装备,在无需士兵干预的情况下执行任务[3];无人机与热成像动作捕捉技术相结合,可自动识别追踪目标,善于发现隐蔽目标[4];中国防务公司发布的“空头战术机器狗”,利用机器狗携带武器,再由无人机运送,战术上具备很高的潜力。

而在风电行业领域,无人机多用于风电巡检,主要是对叶片的检测。随着风电生产管理向精细化发展,对风机组核心部件的运行维护水平提出了越来越高的要求。传统的集电线路巡视都是靠人工步行或开车沿着线路路径进行检查,费人费力费时,而利用无人机巡检结合移动载具,可提前规划飞行路径,且避免地形地势影响,大幅提高工作效率。因此,在无人机结合移动起降平台背景下,研究一种在室外实现精确、鲁棒的垂直降落系统十分必要。

(二)国内外研究现状

无人机定点降落技术应用面广,吸引大批国内外学者及研究团队对其进行研究,在无人机视觉识别下降理论和实践方面都取得了很多成果。

2019年,Miller等[5]针对下降过程中无人机数据精度的不准确性提出了计算机视觉——光流法,之后SANI等[6]基于单目相机与卡尔曼滤波开发了一种无人机精确降落新方法,通过PID反馈不断调节无人机位置。同年,Palafox等[7]通过搭载机载处理器对图像信息进行实时处理,避免了离线处理的传输延时。Respall等[8]提出了一种检测与跟踪相结合的高效检测框架,利用视觉目标跟踪算法持续跟踪目标位置,具有更高效率。

国内关于无人机在可移动平台上的自主降落技术研究起步时间晚于国外,但在近几年也同样取得了一些突破。

2009年清华大学Zeng Fucen[9]等,通过采用模板匹配算法进行检测识别,自适应阈值分割算法来提升算法精确度。2012年韩利华[10]提出将视觉与惯性导航融合的方法,2016年国防科学技术大学金绍港[11]提出利用ROI区域选择法及CMT目标跟踪算法进行图像检测,缩小图像遍历像素。2018年学者Feng Yi等[12]在文章中模拟预测控制方法应用于无人机降落问题,使用了仿真环境进行模拟验证,效果良好。

综上可知,无论国外还是国内在无人机基于可移动平台的自主降落技术上已有大量研究。然而在室外复杂环境中,如何确保图像定位识别准确性,避免不同时段光线强弱、风力、相似标志等环境因素的干扰,在着陆过程中对无人机进行稳定控制,同时做到尽可能提高图像处理速度,缩短响应时间,仍有待进一步研究。

本文研究无人机在可移动平台上实现由远及近的自主降落的一种混合模式。首先应用可移动载具与无人机的位置信息交互进行粗定位,再利用对机器狗的目标识别进行精准定位,最后利用二维码作为关键参照物,通过无人机视觉精准降落方法与技术,完成无人机的自主精准降落。

二、基于移动起降平台的无人机定点降落混合模式概述

为了使得无人机在野外能够自主完成移动平台上的起降,我们提出基于移动起降平台的无人机定点降落混合模式。由卫星导航粗定位、目标识别、二维码精准降落三部分组成。

(一)卫星导航粗定位

由于无人机携带的视觉设备可观察范围受限,因此在远程导引阶段,即在视觉设备因为距离问题而无法捕获标识信息时,采用卫星导航等方式将无人机引导到机械狗附近。基站通过预定算法对无人机进行运动控制,使机械狗处于视觉设备可观察范围之内。

(二)YOLOv5识别完成对机械狗的跟踪

无人机携带的视觉传感器对机械狗所在区域扫描拍摄,经过图像的预处理后,由所配置的YOLOv5程序进行识别,判断机械狗的准确位置,在程序评分较高的条件下生成无人机和机械狗之间的相对位置和相对运动关系。基站根据相对位置和运动关系生成导引指令,递交给无人机的飞行控制系统使其以合适的方位和速度靠近机器狗。

(三)二维码引导的精准降落

在二维码进入相机视野范围内后,利用P4P等图像处理技术,对二维码图像进行采集,边缘处理,将处理后的二维码信息反馈给无人机飞行控制系统,并完成分别以机械狗、云台相机和无人机为参考系的坐标转换,得到无人机与平台的相对位置,控制无人机迅速且准确地达到期望状态,如此不断进行反馈,使无人机沿着以机械狗为参考系的指定线路抵近,到达二维码正上方进行降落,最后在到达安全高度后关闭电机,完成降落。

由上述可得无人机降落基本流程如图1所示,在后续三个章节中将详细论述三个过程采用的具体方法。

图1 无人机由远及近的基本降落流程图

三、卫星导航信息交互

无人机在飞行过程中,其状态要实时反馈,为了精准和及时对无人机发出指令,我们要获取无人机的飞行位置。目前无人机多采用GPS方法定位,因为GPS的精确度不足以支持无人机进行精准操作,且准确度易受到复杂天气影响,故在定位时往往采用GPS+的模式。

全球卫星定位系统(GPS)的应用是基于卫星发射信号给定位端,当定位端同时收到4颗以上的卫星信号后,再根据相关的定位算法算出其当前所处位置的三维坐标、速度和时间等,如图2所示。

图2 卫星导航原理示意图

无人机在向可移动平台(机器狗)移动过程中,我们要实时定位无人机与机器狗的位置。地面控制站先对无人机进行数据采集、数字变换、图像处理、随后存入地面控制站计算机,建立数字地图库,再将建立的无人机电子模型传递到用户端,用户端根据需求对无人机发出调整指令。最后,由无人机的飞行控制伺服系统根据指令完成对无人机姿态和方位的调整,由此获得无人机的实时位置。

在对无人机和机器狗利用GPS进行粗定位后,我们获得两者的大致位置,随后使无人机移动至机器狗附近,如图3所示。

图3 卫星导航粗定位流程图

图4 机器狗识别框架

四、目标识别方法

在完成卫星导航粗定位后,无人机需对目标平台进行进一步精确定位。考虑到YOLO在模型快速部署上占据极大优势且在灵活性与速度上也强于其他目标检测模型,NVIDIA平台在运行深度学习方面拥有成熟的技术。本部分首先介绍YOLOv5[13]对特定目标识别的基本原理,再结合Unitree机器狗以及NVIDIA的Jetson Nano/Tx2芯片,使无人机能完成对机器狗的识别。

(一)YOLOv5目标识别

YOLO算法是目前深度学习中的一种目标检测算法,这个算法由Redmon等[14]提出,通过一个网络实现了目标检测的分类以及定位,现在YOLO算法在目标检测中得到了广泛的应用,YOLOv5于2020年推出,具有体积小、速度快和精度高的优点,并且完全可以在具有成熟生态的PyTorch中实现。因此我们选取YOLOv5目标检测算法对Unitree机器狗数据集进行检测与识别。

(二)机器狗推理模型

该模型如图所示分为两个部分:训练阶段和测试阶段。在训练阶段,将训练集输入模型进行训练。在测试阶段,模型完成对输入图像的机器狗检测。该模型对Unitree机器狗预测得分进行处理,然后将预测的机器狗得分绘制在输出图像上。

(三)数据集以及训练权重

构建一个机器狗数据集。目前研究中没有公开、通用的Unitree机器狗数据集,因此我们在Google等搜索引擎以及自主拍摄收集了约一千三百张Unitree机器狗照片,为了避免数据的重复和错误,我们从不同的角度、距离以及姿态选取机器狗照片。随后建立样本库,为获取的图像标记类别。在此数据集中,利用标记工具Labelimg对图片中的Unitree机器狗进行了标记:首先从数据集图片中利用矩形框框选出相应的目标;Labelimg自动将标记后的标签储存为TXT格式的文件;最后将标签完成的数据集按照一定比例划分为训练集和测试集。

对本文YOLOv5s算法模型进行训练,训练后的Precision、Recall和mAP如图5所示。

图5 训练结果

在前20epochs,机器狗的训练模型的Precision、Recall和mAP上升都比较快,在训练100epochs后已经达到一定的精度,在训练200epochs后已经接近最优值,达到可以作用于无人机上对机器狗进行检测的效果。

(四)作用在无人机上的方法

在基站的工作台内配置YOLOv5环境,导入在上一阶段中已经训练好的机器狗权重文件,通过无人机搭载的视觉传感器,将捕捉后经过预处理的机器狗图像传输到基站。由基站上所搭载的Jetson Nano/Tx2芯片对传输回来的图像进行分析,根据分析结果所得的分数判断目标是否为目标机器狗。当所得分数较低时,基站传达指令要求无人机重新进行卫星定位校准目标。所得分数较高时,基站向无人机传达指令执行降落流程。

五、二维码识别降落

通过基于YOLOv5的目标识别方法,无人机逼近目标附近并悬停至移动平台(机器狗)正上方,此时利用二维码识别技术,进行最终降落。本文的二维码采用的是广泛应用于增强现实标记的ArUco码,如图6所示。

图6 典型ArUco码

图7 组合二维码及排列式二维码

此标记码本质上是编有汉明码的黑白格子图,由于汉明码有独特的数据编码方法,可以利用奇偶校验位的概念很好地检测编码数据的有效性,同时也能保证二维码检测的可靠性。为了进一步提高二维码检测的效率与范围,本文给出两种可行的二维码组合方式。

通过二维码识别的流程如下:当无人机识别到机器狗搭载的二维码时,先要对输入视频的图像进行预处理。使用一次金字塔滤波滤除图像噪声。随后无人机利用P4P算法识别检测二维码,可识别图像上所有特征点的坐标值,完成检测后输出检测匹配二维码的四个角点坐标值。利用四个角点的数据能够解算相机的内参矩阵R、T。再通过内参矩阵把机器狗的位置坐标转化到大地坐标系。在大地坐标系中,无人机飞行速度与飞行距离成正比,将得到的位姿数带入PID算法,从而能实现跟踪并且与机器狗相对静止的目标。当无人机能够稳定保持在机器狗正上方时,无人机会以人工所设定的频率自动下降一定高度,随后再通过PID算法调整与无人机的位置,以此为循环。直至无人机到达人工所标定的机器狗高度后,无人机自动关机,整个降落流程结束。

结语

本文针对基于移动起降平台的无人机定点降落问题,提出由远及近的混合降落模式,由GPS卫星导航系统实现无人机与起降平台(即机器狗)的粗定位,再利用YOLOv5目标识别算法,使无人机识别并逼近目标平台,最后利用P4P等图像检测技术,完成基于二维码图像识别的精准降落过程,从而解决无人机靠近平台与无人机在指定点位精准降落两部分难题,为无人机在风电场复杂环境中的定点降落提供可行思路与理论支撑。