基于VR+AR 技术的电缆接头制作虚拟培训系统设计

王 亮，郭海涛，齐宏斌，裴 磊，杨涵铄

(国网陕西省电力公司宝鸡供电公司，陕西 宝鸡 721004)

0 引言

近年来，随着国民经济的发展，电力网的建设日益增长，各类电力设备数量繁多，后期的维护工作任务量较大。在各类电力设备缺陷故障中，电缆接头故障占据电缆故障和隐患的80%以上，一旦发生故障，常常会造成严重的后果和经济损失[1]。规范电缆接头制作流程可以有效降低其故障发生率。但是电缆接头制作流程复杂，难度高，不易掌握，因此有必要在生产实践过程中加强对电缆接头制作技术的培训工作[2]。

目前普遍应用的电缆接头制作及检修赋能主要是实施技术培训和规范员工行为，但这种方式效率较低，组织模式不成体系，师资水平参差不齐[3]。随着计算机技术的发展，利用虚拟现实(Virtual Reality，VR)及增强现实(Augmented Reality，AR)技术[4-5]进行环境模拟、对电力作业现场进行虚拟还原，是一种新型的技术培训模式。工作人员可以在零风险情况下完成不同业务的模拟操作训练，还可通过影像记录参与人员的动作，运用相关算法进行动作分析[6-8]。近年来，国家电网在输变电运检工作中引入虚拟现实技术构建新型培训模式[9]，做出了有益的尝试。文献[10]构建了一套基于虚拟现实技术的变电站仿真培训系统，该系统具有良好的沉浸感和交互性，可在提高培训效果的基础上降低培训成本。文献[11]在传统的电力培训系统过程中，采用移动式头戴显示器将多种辅助信息展示给受训人员，提升培训效果。目前这类研究和实践仍处于初期发展阶段，仍有很大的提升空间。

本文针对电缆接头制作培训问题，设计了一种基于VR+AR 技术的虚拟培训系统，通过计算机虚拟现实技术和增强现实技术来模拟电缆接头制作环境，帮助受训人员在虚拟环境下来进行操作，并通过人体动作的特征点识别来对受训人员的操作规范程度进行评估和反馈，提高受训的效果。经过实践验证，本文设计的系统能够大大提高受训人员的安全性和学习效率。

1 基于VR+AR 的虚拟场景系统方案

在电缆接头的制作流程中，不同的电缆电压等级有不同的制作规范。因此，本文设计的电缆接头制作虚拟培训系统基于VR+AR 技术来构建规范条件下的电缆接头制作场景，生成多源信息融合的交互式三维动态视景和实体行为，给受训人员提供虚拟操作环境，从而能够安全有效地学习制作电缆接头和实时处理所遇到的问题。整个系统流程框图如图1 所示。系统包括理论知识、制作模拟、运维模拟和考核评估4 个模块。其中，理论知识用来学习电缆接头制作的理论基础和操作规范，制作模拟用来在虚拟场景中进行操作，运维模拟用来模拟电缆接头故障，考核评估用来对受训人员的动作进行评估和反馈。

图1 VR+AR 电缆接头虚拟培训系统框图

2 电缆接头制作虚拟培训系统模块设计

2.1 场景构建

在电缆接头制作模块，采用虚拟现实建模语言(Virtual Reality Modeling Language，VRML)建立虚拟场景[12]。首先需要对现场环境和电缆接头等组件进行现场图片和尺寸采集，然后采用VRML 语言在计算机中建立与实景相似的场景环境。在实现过程中，可将实际拍摄照片进行纹理贴图，并根据尺寸建立几何关系，可将其中的物体进行属性修订从而完成场景构建。之后将电力电缆、制作电缆接头的工具及操作台等虚拟组件在虚拟场景中进行布置，从而完成虚拟电缆接头制作场景建模。图2 展示了虚拟场景建模的结果，图3 展示了布置了虚拟操作台等组件的电缆接头制作场景。

图2 虚拟场景建模

图3 添加操作台组件的虚拟电缆接头制作区

所构建的电缆接头虚拟场景叠加上电缆接头信息(例如电缆接头的内部结构、电缆接头零件图等)，电力工作人员佩戴AR 眼镜(如图4 所示)等智能可穿戴设备后，可直观快速地从云端下载进行观看，并可获取到不同电压等级下电缆接头的属性及参数，从而进行虚拟培训操作。

图4 用于显示虚拟培训场景的AR 眼镜

2.2 电缆接头制作动作模拟

通过将虚拟现实技术与增强现实技术相结合，实现了对电缆接头常见故障的模拟，并将受训人员的动作转化到虚拟场景中，对电缆故障进行处理。在所设计的系统中，虚拟场景、现实世界和参与者之间搭起一个交互反馈的信息回路，实现了对于电缆接头常见故障，例如发热、着火、击穿等，通过人机实时交互，引导学员对接头故障进行处理，其手部动作可在虚拟环境中呈现，使学员可以在较短时间内掌握电缆接头的运维技能。系统充分考虑电缆接头制作标准化流程的要求，系统对受训人员的每一步操作都作出提示，指导操作人员按照提示操作，使其能够准确掌握电缆接头制作的标准化流程及工艺要求。图5 展示了系统中受训人员正在安装三制冷锁套的操作。

图5 安装三制冷锁套操作

2.3 动作捕捉与规范考核

对于受训人员操作规范的评估，设计了一个基于深度学习领域的考核模块。运用ST-GCN 算法[13]进行基于人体骨架关键点的人员动作识别分析。首先制作基于大量标准操作动作数据的训练集，使用训练集特征训练分类器；其次对人员培训中的动作进行识别分类。如图6所示，利用OpenPose[14]对视频中人体进行姿态估计，提取视频中基于骨骼的特征数据，并在骨骼序列上构建时空图。

图6 提取人体姿态特征点网络图

使用时空卷积图形成多层骨骼序列表达。构建骨骼时空图G(V，E)，帧数为T，边为E，节点矩阵集合V={vti|t=1，…，T；i=1，…，N}，包括骨骼序列上的所有关节点。使用两步构建骨骼序列的时空图：首先，帧与帧之间的边表示人体对应骨骼点的时序关系；其次，在每一帧内部，按照人体的自然骨架连接关系构造空间图。

令xj1，k和xj2，k表示时空图中的某人k 的两个关键点j1和j2对应的真实像素点，如果一个像素点p 位于一个躯干上，值表示一个从关键点j1到关键点j2的单位向量，对于不在躯干上的像素点对应的向量则是零向量。式(1)给出了向量场集，对于图像中的一个点p，其的值如下：

其中，σl表示像素点之间的距离，骨骼长度为lc，k=，v⊥表示垂直于v 的向量。整张图像的向量场集取图像中所有人对应的向量场集的平均值：

其中，nc(p)是图像中k 个人在像素点p 对应的非零向量的个数。预测时，用候选关键点对之间的向量场集来衡量此关键点对是否属于同一个人。详细来说，针对两个候选关键点对应的像素点dj1和dj2计算向量场集，如下式所示：

其中，p(u)表示dj1和dj2两个像素点之间的像素点：p(u)=(1-u)dj1+udj2。

应用多层时空图卷积操作，在图像上生成更高级的特征图。具体算法如下：在骨架序列时空动态进行建模，将空间图CNN 扩展到时域。也即，将邻域的概念扩展为包含时间连接的关节：

其中，B(vti)是采样函数；参数Γ 控制时间范围，称为时间内核大小。为完成ST 图上的卷积运算，还需要采样和加权。时间轴是有序的，所以直接修改标签映射lST，以便根据vti生成一个空间时间邻域：

其中，ltj(·)是单帧标签映射。

利用标准的Softmax 分类器[15]，基于标准动作训练好的分类器对动作关键点形成的特征向量进行分类，获得相应的手部动作。然后，对分类的人员手部动作与标准动作库进行对照分析，给出规范性评分，最终获得每个受训人员的考核分数。

2.4 虚拟培训系统平台结构

虚拟培训系统平台结构上遵循开放性、可靠性和灵活性的原则。硬件设备选取应当符合国际标准、具有当前国内先进水平、并在仿真行业中被广泛采用和认可的设备，以保证系统运行的可靠性。系统的硬件按图7 所示组成，其物理结构主要包含仿真服务器、教员机、仿真调度服务器、训练学员机等教学设备。在本平台环境下完成的虚拟培训系统软件主界面如图8 所示。在进行各项操作的虚拟培训之前，受训人员可进入理论考试系统进行学习，掌握规范操作流程，并通过答题来了解自身掌握的程度。

图7 系统硬件配置

图8 虚拟电缆接头制作系统主界面

3 实验结果

通过实际的模拟培训和考核，对基于VR+AR 技术的电缆接头制作和运维技能培训系统进行测试。本实验选取了受训人员100 人，将他们在训练前的操作进行初评打分，然后在训练10 天以后进行中期考核打分，在训练14 天以后进行最终考核，将得分进行对比，来评价培训系统的效果。

考核内容包括规范性理论知识、操作前安全检查要点，以及切割外护套、绝缘层倒角、切割绝缘屏蔽层、安装三制冷锁套等实践操作。理论知识单独记分，只统计安全检查要点和实践操作得分。满分为10 分，得分依据为人员动作与标准库里的动作之间的匹配程度，设置如表1 所示。

表1 考核规范分值设置表

受训人员在初评考核、中期考核和最终考核中动作得分情况如表2 所示。

表2 受训人员动作规范性打分情况

可以看出，培训初期，工作人员动作标准程度一般，有接近一半人员的操作不合格；经过10 天培训以后，不合格率降到了6%，同时得分在8 分以上的优良率大幅度提升，达到了30%；14 天培训结束以后，不合格率降到了0，而优良率达到了87%。培训前后的对比效果分布如图9 所示。实验结果表明，本文所提出的基于VR+AR技术的电缆接头制作和运维技能培训系统具有很好的培训效果，既能保证操作员的安全，又能切实提高人员操作水平，同时也方便考核评价和后期反馈。

图9 受训人员操作规范考核结果对比图

4 结论

本文设计了基于VR+AR 技术的电缆接头制作虚拟培训系统。该系统在研究电缆接头制作及日常运维的基础上，通过结合最新的计算机技术、网络技术以及深度学习算法，实现了一套电缆接头制作虚拟培训系统，包括理论学习、操作模拟、人员考核评估等四部分内容。该系统不仅能对电力电缆实际的工作环境、工作流程以及各种可能发生的电网事故进行虚拟仿真重建，同时还利用时空图卷积网络(ST-GCN)对受训人员进行动作识别，对照标准操作进行分析和考核，从而对出现频率较高的错误操作进行重点纠正培训。所设计的系统大幅提升了电缆接头制作的培训效率和标准化程度，降低了培训过程中的风险，使得受训人员培训能够快速熟悉作业现场环境，快速提高电缆接头制作水平。