基于头戴式双目相机的智能变电站巡检巡视系统设计

(1.国网天津市电力公司设备管理部, 天津 300010;2.天津市渤海新能科技有限公司, 天津 300384)

0 引言

随着我国社会经济的快速发展，国家对电力设施建设的力度不断加大，搭建了一系列远距离的传输网络和智能化的变电站，输变电线路规模不断扩大，为电力输送设施的巡检巡视作业带来了较大的难度。目前我国国内对电力输送设施的巡检巡视大多采用的仍然是半自动化巡检、射频采集、条形识别法和手工纸介质记录的方式，很难保证巡检巡视的效果。可穿戴技术是一种结合了无线通信、传感器、多媒体技术的创新技术，最早出现在美国。20世纪60年代，美国麻省理工学院媒体实验室通过实验开发出了最早的可穿戴技术。可穿戴技术较为常见的交互方式包括触觉、语音、眼动操作、手势等。近年来，可穿戴技术越来越成熟，正式进入了快速发展的时期。

随着可穿戴技术的不断发展，相关研究成果逐渐进入了产业化和实用化的应用阶段，促成了新的应用模式的发展，从根本上改变了传统人机交互的方式，采用可穿戴式辅助系统的现场作业辅助模式被广泛的应用于工业领域的巡检、维修等场合。基于信息通信技术的发展，应用新型可穿戴式设备对电力传输设备和线路进行巡检巡视成为了可能，极大的推进了电力传输设施的巡检巡视作业的智能化和自动化水平。

1 基于头戴式双目相机的动态自定位方法

1.1 双目视觉里程计

双目视觉里程计利用通过图像特征匹配算法获得的相邻帧的匹配特征点，以及通过双目相机的成像原理获得的特征点所对应的空间点的三维坐标，即可得到相机在前后两个不同时刻的运动估计。其成像原理如图1所示，图中相机的坐标系由x、y、z轴组成，其中x轴表示与相机平行的方向向右，y轴表示右手系，z轴表示相机的光轴方向；二维图像坐标系统由v、u轴组成，其中v轴竖起向下；u轴水平向右。双目相机利用同一时刻两个相机捕获的有视差的图像和双目相机的参数即可将真实环境中空间点的三维坐标复原。

图1 双目相机立体成像原理图

双目视觉里程的图像必须要与运动过程中前后帧的图像及同一时刻采集的左右图像相匹配。对视角变化及光照强度的变化与噪声之间保持了一定的鲁棒性。

1.2 IMU数据融合

在运用双目相机视觉里程计进行定位的时候，由于各种原因，往往会产生一定的测量误差，为了消除这种测量误差，需要在双目视觉里程计的基础上，引入额外的传感器保证定位估计的准确性，构建出一个更大规模和尺度的状态优化模型，其中较为常用的传感器为IMU。系统首先需要建立一个EKF状态估计模型，通过IMU数据提高视觉里程的鲁棒性和准确性，降低系统的累计误差。IMU传感器包括了磁力计、陀螺仪、加速度计等，是一个高精度的惯性测量单元，可以对姿态角、角速度、线加速度等数据进行测量。IMU数据融合仅仅将视觉里程计的定位估计值和姿态角的测量值融合在了一起，但是在实际的融合过程中，由于设备自身的原因，经常出现IMU时钟与视觉里程计不同步的现象，因此需要在融合之前将时钟不同步的问题解决掉，需要对IMU采集到的数据信息进行预处理。

2 系统需求分析

2.1 应用场景

基于头戴式双目相机的智能变电站巡检巡视系统的应用场景为智能变电站系统，包含了室外变电站和室内电力控制室两部分。其中室外变电站的使用对象为现场巡检巡视人员，主要负责变电站现场设备的巡检巡视工作。变电站场景具有 空间开放、尺度大、场景相似度高、干扰大、限定了行走区间的特点。本文所要解决的问题既是根据变电站场景的特点及巡检巡视作业的需求，开发设计出适用于变电站巡检巡视作业人员的辅助引导系统。

2.2 系统的功能需求

基于头戴式双目相机的智能变电站系统作业人员的巡检作业需要具备下面几项基本功能：

2.2.1 环境建图

基于头戴式双目相机的智能变电站系统环境地图的创建是整个系统设计的基础与前提，系统的定位与引导功能的实现都是建立在环境地图创建的基础之上的。通过对未知环境的探索，创建出满足系统功能需求的环境地图，并将其应用于智能变电站巡检巡视作业人员的自定位路径引导。地图需要支持高效的读取，具备离线存储功能。

2.2.2 自定位

巡检巡视作业人员自定位的实时性和准确性对路径的引导等功能的正常工作具有直接的影响 ，其自定位信息反映了使用者在实际真实环境中的位置，需要进行实时的更新，确保自定位信息的准确性，以及出错时的自恢复能力。

2.2.3 路径引导

路径引导是智能变电站巡检巡视系统的直接需求，智能变电站的巡检巡视作业人员要想快速的到达等巡检设备，就离不开路径引导的帮助。与面向机器人的引导不同，面向人的引导应该降低人的信息负担，直观地向巡检者提供有效的路径引导，提供最优的巡检路径。

2.2.4 设备的可视化指导与识别

智能变电站巡检巡视作业人员最基本的工作内容是对设备运行状态的查看及检修，因此基于头戴式双目相机的智能变电站巡检巡视系统的设计首先需要满足巡检巡视作业人员的工作需求，降低巡检巡视作业人员的工作强度，具备设备工作状态检测及识别的能力，对设备的运行状态进行自动的检测。

2.2.5 人机交互

智能变电站巡检巡视作业人员能够通过交互界面与系统之间进行交互，是系统实用性的直接要求，良好的交互功能能够有效提高巡检巡视作业人员的作业效率，使作业人员更加专注于巡检巡视作业本身。

2.3 系统的性能需求

基于头戴式双目相机的智能变电站巡检巡视系统是应用于智能变电站巡检巡视作业的引导辅助系统，需要满足如下性能需求：

2.3.1 实用性需求

系统需要在不对作业人员的作业工作造成影响的基础上，为作业人员提供实用性的功能，不允许对作业人员有所限制。

2.3.2 准确性需求

系统必须要为巡检巡视作业人员提供准确的自定位及路径引导功能，不能将错误的信息提供给作业人员，以免对作业人员造成误导。

2.3.3 稳定性需求

为了保证智能变电站系统工作的稳定性，系统应该降低各功能模块之间的耦合，当某一功能模块出现故障时，能够保证其他功能模块的正常工作，并保证当某功能模块出现故障时能够具备一定的自动恢复功能。

2.3.4 可扩展性需求

系统结构应该分层设计，能够支持多种硬件设备，提供较高的可扩展性，降低模块耦合，预留通信与集成接口，保证软件平台的可扩展性，方便更多功能的集成。

2.4 技术难点及解决方案

1)如何兼顾系统便携性与视觉处理计算要求之间的矛盾。

解决方案：采用前后台形式的分布系统，前端采用Android平台，能够AR技术将可视化指导信息推送给使用者；后台负责对复杂的视觉任务的处理计算，通过网络实现与前端的通信。

2)由于处理器计算能力有限，如何保证定位的实时性是系统的一个关键性的问题。

解决方案：建立起一种同时兼顾存储简约和信息丰富的环境拓扑图，对环境中等检修设备的拓扑位置关系进行描述，并将作业人员的典型巡检作业路径轨迹记录下来，采用融合特征与距离的关键帧选择的方法，完善关键帧拓扑图。

3)基于头戴式双目相机的实时视觉定位存在着可靠性和精度上的不足，因此如何提高系统的可靠性也是一个非常重要的难点问题。

解决方案：采用EKF算法将IMU输出和双目视觉里程计输出融合在一起，采用对极几何约束和空间位置约束，建立起可靠的回环检测，将通过图优化算法对视觉里程计的累计定位误差进行修正。

3 系统运行平台的设计

3.1 系统的总体框架

系统根据引导辅助系统的功能需求和性能需求，利用双目立体相机引入了面向智能变电站巡检巡视作业的引导辅助系统，提供了友好的人机交互功能和定位导航功能，创建了环境地图，满足了系统的设计需求，具体框架如图2所示。系统后台主要由自定位模块、环境建图模块、地图管理模块、路径引导模块、管理模块、通信模块等几大模块组成。

3.2 系统的硬件平台

基于双目相机的智能变电站巡检巡视系统的硬件包括四部分：IMU、双目相机、智能眼镜和处理中心。首先将IMU固定在双目相机上，再将装有IMU的双目相机固定在头盔上。智能眼镜的输入设备为触摸板，是单独的设备，巡检巡视作业人员直接配戴在眼部即可。处理中心选择笔记本电脑，放置在作业人员的背包内，通过USB将处理中心笔记本电脑民传感器连接。个体如图3所示。

为了方便地进行实验调试，后台选用笔记本电脑，也可选用NvidiaJetson TX1开发版。双目相机是定位引导与环境建模的基础，用于对环境的感知以获得环境图像，是系统最核心的传感器，本系统选用ZED双目相机，该相机具有USB3.0接口提供高传输速度，有效测量距离达20 m，重量适中，便于在头盔上的安装。智能眼镜选用EPSON BT-300智能眼镜，该眼镜采用了OLED显示技术，可以通过投射的方式在用户眼前虚拟显示屏上显示。

图2 基于头戴式双目相机的智能变电站巡检巡视系统总体框架图

图3 系统原型平台组成

3.3 系统的软件平台

根据前后台的不同，系统的开发平台包括基于Unity的前端平台和基于ROS(Robot Operating System)的后台。其中后台软件的开发以节点为基本单元，对各节点的管理是通过ROS实现的，从而保证了各节点单元之间通信的可靠性，为各节点单元之间的通信提供了标准，ROS后台开发平台具有开源性、分布式、通用性的特点，节点之间的通信是基于ROS标准的通信机制，该机制主要有Topic和Service两种通信方式。

图4 地图创建线程图

系统后台结构采用的是三层结构，包括系统层、中间层和应用层等，其中系统层包含了基于Ubuntu操作系统的ROS开发平台及其所提供的第三方库、设备驱动程序等；中间层为具体的功能模块；应用层主要包括环境建图、定位、引导等实用化应用程序，具体如图4所示。

系统的前端软件的开发基于Unity平台，该平台同时支持VR、AR，具有工具丰富、跨平台的特点，是一款专业的游戏引擎，能够在搭载Android系统的智能眼镜上运行。

3.4 系统模块的设计

3.4.1 自定位模块

该模块是实时引导及环境建图的基础模块，在双目视觉里程计的基础上，将位姿优化和回环检测等加入到模块当中，通过视觉里程计和IMU的融合，获取准确的定位信息。由于模块中添加了回环检测功能，因此如果视觉里程计失效，当作业人员回到先前经过的位置时，系统能够自动恢复定位。自定位模块的主要函数如表1所示。

表1 自定位模块的主要函数

3.4.2 环境建图模块

环境建图模块以定位算法为基础，针对作业环境的特点对作业环境进行建图，并将其保存在数据库中。地图构建主要包括三个方面的功能：视觉里程计运行的跟踪功能、传感器数据的获取功能及全局地图的优化功能，包含了运动跟踪、创建关键帧、回环检测及地图优化等4个线程。具体如图4所示。

3.4.3 路径引导模块

该模块是以环境建图模块所创建的地图为基础，对巡检巡视作业人员的路径进行规划与引导。路径引导模块包括两部分：室外环境引导和室内环境引导，其中室外环境引导是分层进行的，通过拓扑图路径规划算法，得出从起始点到目标点的最短路径。在进行引导的过程中，如果回环检测检测到了回环，则将其视作新的起始点，对引导轨迹进行重新规划(室外路径引导的主要函数如表2所示)。而由于室外环境引导的路径规划与引导是建立在进程计和拓扑图的基础之上的，但是由于对拓扑图过度依赖，影响到规划路径的效果，另外由于系统对环境建图的要求也比较高，因此在室内环境的引导规划过程中，需要根据概要地图中的栅格地图对路径进行规划，通过实时全局定位，直接获得巡检巡视作业人员在栅格地图中的当前位置，快速地规划出巡检巡视的引导路径。

表2 室外路径引导的主要函数

3.4.4 管理模块

管理模块包括后台软件管理模块和前端软件管理模块两部分，前端软件管理模块以智能眼镜为运行平台，包括人机交互模块、可视化装配与指导模块、设备检测与识别模块及路径引导可视化模块等。系统通过多进程的方式执行各种任务，保证了某一任务执行过程中出现错误不会对整个前端软件的运行产生影响，降低了任务之间的耦合关系。

3.4.5 通信模块

该模块采用ROS典型的topic工作模式，通过订阅相应的topic得到原始的ROS数据，并通过函数回调的方式对多个topic的数据接收进行处理。通信模块的传输层使用TCP/IP协议，采用流套接字进行数据通信，系统的前端为客户端，后台为服务器。通信机制采用了回调函数的方式对数据进行处理。该模块根据目前系统的通信需求，在系统中设置了固定的topic，并编写了针对每一个subscriber的消息回调函数，提高了系统的可扩展性。通信模块的主要函数如表3所示。

表3 通信模块的主要函数

4 系统实验验证评估

4.1 基本功能测试

4.1.1 自定位测试

自定位实验的目的是为了对实际行走路径闭合的状态下考察融合IMU视觉定位法与纯视觉定位法起点与终点之间的距离误差。测试方法为巡检巡视作业人员头戴相机在室内非结构化环境中从起点到终点绕行数圈。经过多次实验，实验结果基本相似，说明与纯视觉里程计相比，融合IMU的里程计定位精度更高。

4.1.2 地图定位测试

利用事先创建的环境概要地图，通过位姿偏差补偿对全局进行定位，当视觉定位出错时，人为的将相机朝向视觉特征较少的参照系，如白墙等，当回环检测检测出回环的时候，，全局位姿通过位姿偏差计算可以恢复到初始状态，说明系统的实用性比较强。

4.2 系统整体运行演示

4.2.1 室内作业环境

模拟任务为巡检巡视作业人员从智能变电站的控制室出发到达指定设备，检查指定设备的运行状态，并按要求操作设备。首先作业人员在系统设置的导航目标的引导下到达目标位置。当作业人员到达目标位置之后，前端设备将设备的检测与识别功能开启，作业人员即可在系统的指导下对设备进行操作。实验结果表明系统的前后台各模块之间通过按照设定的工作流程协调工作，充分验证了系统的实用性。

4.2.2 室外环境引导任务演示

室外环境引导任务演示的模拟任务为对巡检巡视作业人员的室外定位与引导。首先作业人员设置导航目标，完成初始全局定位，然后作业人员在系统引导可视化模块给出的有效路径指引下下运动到目标位置。演示结果表明引导可视化模块为作业人员提供了有效的路径指引。

5 结语

传统的电力设备巡检巡视方式存在着人员安全性不足、信息量单一的缺陷，而基于可穿戴设备的智能巡检巡视系统有效地弥补了传统巡检巡视方式的不足，极大地提高了巡检巡视作业的效率和准确性，使作业人员的巡检巡视作业更加高效和安全，降低了巡检人员的劳动强度。本文设计的基于双目相机的智能变电站巡检巡视系统充分考虑了智能变电站的应用场景和功能、性能需求，实现了对作业人员的巡检巡视路径的最佳指引，极大地提高了作业效率、准确性及安全性，达到了系统设计的初衷。