基于增强现实的多线索远程工业协同系统

赵青，张越,2，张崇斌，田东,2，崔文凯，单桂华,2*

1.中国科学院计算机网络信息中心，北京 100083

2.中国科学院大学，北京 100049

3.中铁工程设计咨询集团有限公司，北京 100055

4.中铁上海工程局集团第七工程有限公司，陕西西安 710016

引 言

随着我国铁路运行速度和运营里程大幅度提高，保障铁路运营安全愈发重要，这对现场从业人员的巡检方式和故障处理水平提出了更高的要求。通过巡检能准确地掌握现场情况、发现隐患，有针对性的对缺陷及隐患进行消除。目前，铁路施工及运营单位日常巡检方式仍采用人工或半自动巡检，受人员综合素质的影响，存在工作效率低下、巡检不到位等情况，进而造成人员伤亡和巨额财产损失。现有减缓这些现象的手段包括无人机巡检、巡检机器人等，其中最有帮助的是计算机辅助巡检，它能大大减轻铁路现场作业人员的工作量并提高效率。计算机辅助巡检中远程协作是最常用且最适用的方法，它首先对本地工作环境或工作场景进行捕捉，远程专家通过共享通信线索对本地工作人员进行指导和知识的传递；然而这种远程协作方法的局限在于难以回传准确的现场信息，且指令下达不准确，从而使得作业交互变得不通畅。

目前，增强现实（Augmented Reality，AR）技术已被大量引入工业，在远程协作方面具有良好的效能。AR 能将3D模型、视频、图片文字等信息以虚拟元素的形式叠加到真实作业现场，可对标准化作业的生产步骤、特殊维护说明等任务以直观、便捷、可交互的方式呈现在现场作业人员眼前[1]；另一方面，增强现实远程协作指导针对复杂难以排查的问题，可通过专业技术人员的远程诊断让现场操作人员在指导下完成巡检及维修任务[2]，现场工人通过这种技术跟随叠加到真实环境中的注释及指令引导，能快速、准确地完成工作[3]。然而现有远程协作可视化系统大多是单向注释且交互线索单一，多为专家单向传递指令给工人，无法及时捕捉两者之间对指令理解的偏差，在复杂场景的远程交互中对现场作业人员巡检帮助有限，容易给作业人员带来心理压力。本文开发的AR 多线索远程工业协同系统有望解决上述问题，实现工业维护任务中专家和工作人员之间双向注释的远程合作，在此基础上通过两项工业场景下的任务探索了该系统的适用性。本文的贡献有以下3点：

（1）设计了基于双向线索的交互模式，在远程专家和工作人员之间创建多样线索和双向注释增强双方协作的效率。

（2）通过多项对比实验及问卷调研，证实此新型交互模式的高效性并具有更高用户认可度。

（3）研究了多种形式下用户认知的主观反馈，实现了一个多线索远程协同系统，通过用户研究证明了系统在复杂工业场景下巡检与施工任务中具有提高工作效率、减轻工作难度的效果，并提出在工业场景下引导用户行为的建议。

1 相关工作

协作分析是可视化（VIS）、计算机支持协同工作（CSCW）与人机交互（CHI）的新兴研究领域[4]。协作任务总体上按任务空间和任务角色分类[5]，任务空间可以分为本地共同工作和远程异地工作；用户角色对称性是指用户在协作过程中所扮演相同角色或执行相同的任务，如果用户所处角色不同则属于角色不对称，如教授任务，关注的问题主要是角色不对称的远程协同工作。该问题的用户角色主要分为工作人员和远程专家（或助手），本地工作人员需在远程专家的帮助与指导下进行对象的操作或知识的学习。

远程协同工作通常分为两个部分：（1）远程专家对本地工作环境或工作场景的捕捉与共享；（2）远程专家和本地工作人员共享远程通信线索[6]。本节将从协同工作的两部分做具体介绍。

1.1 工作场景捕捉与共享

能够精确、迅速捕捉和共享任务环境是建立交互双方共同认知并提供流畅沟通的基础和保证[6]，如何快速高效的完成对工作场景的捕捉与共享是很多远程协作问题所探讨的重要问题。例如早期一些协作方法使用基于视频的接口来实现远程协作的场景共享[7-8]，但这些方法一般很难提供场景的深度信息，造成专家的理解困难[9]。同时，由于静态相机的限制，远程专家往往难以观察到他们感兴趣的目标，从而导致沟通效率降低[10]。随着摄像机的小型化和轻量化发展，越来越多的研究将注意力放在头戴摄像机场景共享上，远程专家对工作环境的观察会被紧密耦合到本地工作人员的头部，这使远程专家可以实时跟踪本地工作人员的动作和注意力，减小远程专家的认知负荷[11]；但过于频繁的摄像机的移动会使远程专家出现头晕的情况[6]，这不利于远程专家长时间指导任务。

目前，被认为能为远程专家提供高效的工作场景的捕捉方法是三维重建技术，例如Gao等[12]等通过使用外部深度传感器捕获关键帧将其集成为三维点云数据集，最后将整个系统重构到虚拟现实（Virtual Reality，VR）世界中；Bai等[11]在场地天花板上安装实时三维全景捕捉器，然后将三维场景实时构建在虚拟现实环境中。上述提到的方法包括其他三维重建技术通常都能提供足够深度的信息以供远程专家对工作人员物理环境的理解和复杂环境的探索能力。三维重建技术的劣势也比较明显，一方面，其重构的工作环境的大小和画面传输质量很难兼容[11]；另一方面，三维重建技术在使用过程中往往会占用大量网络宽带，扫描环境所需设备也会限制远程专家对本地场景的感知[13-14]。

360°全景视图被认为是头戴摄像机和三维场景重建之间的折中，Teo 等[14]等对比了三维重建技术和360°全景视图，其认为360°全景视图可以在不消耗大量网络带宽的前提下为用户提供深度有限的二维场景技术，但使用360°全景视图的远程专家可以查看的范围依然被大幅度限制，例如远程专家很难去观察或了解到某个角落的物体或被遮挡的物体。

1.2 共享远程线索

共享远程线索可以在协作者间创建高效的通信并降低双方的认知负荷[11]，与当前音视频会议相比，大部分人还是更喜欢面对面的会议交流，有一部分原因在于线上音视频会议通常无法传递面对面合作中的隐性非语言线索[15]，同时还有更多研究证明了非语言线索可以显著提高远程协作的性能和用户协作体验[16]，非语言线索主要包括视觉线索和环境线索并以视觉线索为主，视觉线索包含手势[13-14,16]、眼睛注视[10,15]、虚拟箭头[10]、数字注释[7,10]、虚拟画笔[17]、虚拟用户形象[18]等。总的来说，合理利用非语言线索对远程协作是有好处的，但一些线索仍可能因为网络或者其他各种原因产生负面影响，下面将对几种常用线索进行讨论。

视觉线索中的虚拟箭头指针和注释线索可以显著增强处于异地交流双方的社会存在感[6]，同时这两个线索常常可以与语音、视频良好兼容以增强双方（尤其是远程专家）交流过程中语义的丰富性和消息传达的及时性[6]。但是指针线索可传递的信息比较单一，而注释线索的主要问题在于绘制速度较慢，同时本地工作人员可能需要花费一定时间去了解远程专家绘制注释线索的含义。

手势和指点线索是人类交流中非常自然且有效的交流方式，人在面对面交流过程中很可能会不经意的进行手势和指点的交流与传递，没有这两个线索交流可能会变得无效且不够生动[19]。但是在虚拟现实（VR）和增强现实（AR）环境中使用手势和指点交流还是不尽如人意，首先受限于目前硬件技术，手势操作的精度较低[5]，其次对于目前大多数系统而言，其空间线索提示的支持较差，远程交流双方对上下文的感知能力较差，导致用户很难相互理解手势的含义[6,16,20]；同时在虚拟现实的虚拟环境中空中的手势有可能会让对方感到困惑，其很难理解手势的动作是作为系统输入还是协作者的指示性交流[21]。最后对于用户而言，长时间在空中完成手势容易感到疲惫感[22]。

除了上文提到的4个重要线索，视觉注释线索也是重要的线索之一。传统的音视频会议系统通常缺乏注视信息的描述能力[23]，导致其交流协作能力有限。远程协作双方的视觉焦点可以通过视场视角、头部和眼睛注视提供，通过注视在协作程序中共享，可以更加明确地揭示用户的注意力，同时还能成为一个指示器，为远程队友提供目标的指引[24]。

2 系统设计

本文系统设计目的是完成一个用户不对称的远程协同工作系统，该系统可以将远程专家和本地工作人员实时联系在一起。远程专家可通过PC 端实时获取处于异地的工作人员的物理环境，同时专家可实时向工作人员发送线索信息以支持其完成工作，线索信息包括：语音线索、视频线索、图片注释线索等。

2.1 系统结构

该系统结构图如图1所示，整个系统分为远程专家和本地工作人员两个用户主体，其中专家拥有实时可用的专家知识库系统，该系统数据分为两类：一类为通过传感器、工业相机等手段从工程作业现场实时收集来的工业数据；另一类是专家平时在日常工作中人为获取的数据，如CAD施工图纸、作业文档等。控制工具组为专家提供图像信息调整、基于线索的指针、注释标记以及远程专家的手势信息等，通过控制工具在核心系统中生成虚拟线索。

图1 远程协同增强现实结构图Fig.1 Structure Diagram of Remote Collaborative Augmented Reality

本地用户通过相机实时采集工作环境信息，生成稳定的视频流实时向核心系统中馈送，核心系统则会根据专家绘制的虚拟线索和本地工作人员实时捕获的环境信息进行视觉线索环境建模以生成对本地工作人员的指导和对远程专家的反馈。

2.2 多模态线索框架

远程专家可通过控制工具实时生成虚拟线索以提供对本地工作人员的引导工作。在协作过程中能够看到同事或其虚拟化身，对于AR远程协作降低认知负荷，提高知识的理解有非常大的帮助[14,25]。本文系统会向待指引的工作人员实时馈送远程专家的实时视频，在该视频中远程专家可实时进行手势动作、眼动指引以增强远程专家的表达和降低本地工作人员的认知难度。

在传统远程协同工作中经常容易因缺乏交流的上下文和互动性而受到局限[18]，所以如何提供连续的上下文交流信息并增强互动性是需要关注的问题。本文在系统中利用了虚拟指针提示和标注来让远程协作的双方感觉到更好的社会存在感，这两种视觉线索（指针和注释）都能显著增加协作双方的社会存在感，从而促进双方更流畅的交流[6]。在远程专家界面上（图2a），专家可通过箭头指示和标注来向远程用户提供稳定的线索，远程工作人员可以在AR画面中观察到专家提供的注释（图2b），并且可以通过冻结画面以获得稳定的虚拟注释线索。

图2 远程协同增强现实系统视图Fig.2 System View of Remote Collaborative Augmented Reality

为保证双向通信的实时性，让处于物理空间的工作人员进行实时的注释绘制（图2c），以提供给远程专家充足的上下文。通过双向的注释线索绘制，可以克服远程协同工作中由于缺乏上下文和互动性而限制交流的问题。同时，这样的注释绘制能唤醒本地工作人员（或者知识接受者）的主人翁意识，通过让本地工作人员主动绘制交流线索而增强其工作的专注度和交流的参与感。

WebRTC是基于Web浏览器通信技术，其通过浏览器提供的API 接口就可实现实时音视频通信能力[26-27]。本系统利用WebRTC进行远程通信线索的实时绘制与传输，本地工作人员端通过HoloLens2 AR HSD 的相机和Unity 游戏引擎构建的原型软件实现对现场环境的深度感知，实时采集工作现场的音频信息和三维空间信息，通过无线网络（WI-FI）将信息传送到云服务器平台上，如图3。同时，云服务器平台也实时接收远程专家主机端Unity 引擎所构建的原型软件采集的现场音频、视频、图片标注等线索信息，通过WebRTC技术建立实时音频、视频链接，使远程专家与作业人员保持实时音视频双向沟通，指导作业人员进行现场施工与作业。在保持流畅的音视频双向沟通的过程中，通过远程协同技术，远程专家可将图片、视频等信息同步到工作人员作业端，并支持对图片、视频信息的远程协同标注且不受真实场景的遮挡，辅助作业人员进行现场作业。

图3 WebRTC线索管道结构图Fig.3 Structure Diagram of WebRTC Clue Pipeline

2.3 线索虚实扩散算法

为保证专家和工作人员在各自场景中手绘的二维线索信息实时映射为三维线索信息，采用一种基于深度相机焦距的线索信息扩散虚实重算法。该算法实时获取手势绘制信息，将这样的二维图像信息映射为二维信息点集，该集合序列为：

线索坐标集合的坐标原点为(x0,y0)。世界坐标和深度相机坐标系的扩散关系如下：

其中，R表示3×3正交单位矩阵，t=(tx,ty,tz,1)T为单位平移向量，O=( 0,0,0,0)T。

线索坐标系的目标坐标点为(x,y)，二维线索坐标系的坐标原点为(x0,y0)。相机坐标系与二维线索坐标系的映射关系如下：

结合上式，可得三维世界坐标系坐标：

通过二维线索坐标系映射转化，将空间坐标转换为带空间锚点的信息三维点序列：

无论是人与人的合作还是交流，头部的姿态和眼睛的注视都是重要的沟通线索，但是传统的视频会议通常不具备获取用户注视信息表述的能力而使通信协作能力下降[23]。本文不仅希望远程专家在与本地工作人员协同工作过程中能观察到本地工作人员的注意力和观察的目标，还希望目光注视能为远程专家提供一个真实物理环境的指示器。为此，针对物理环境中工作人员的目光注视设计了视觉焦点注视追踪系统，在与专家交流的过程中，工作人员的目光注视会实时呈现在专家的主机画面中。专家可以通过该信息实时了解到工作人员关注的目标，并反馈其注意力的正确性，实现更好的交流。

3 用户研究

前面提到本文设计了一套基于增强现实技术的远程AR 协作系统，基于此，在真实的工业场景下进行了协同任务的探索，探索目的是希望了解远程协助的双方是否可通过增强现实技术提升团队任务完成的速度和质量。为此，特意选在复杂的工业场景下进行了2组实验，并试图回答下面3个研究问题。

RS1：AR 远程协同系统能够增强双方的沟通和协作效率，同时无专家指导情况下的工作可能是最低效的。

RS2：在用户感受上，AR远程协同系统可以减轻用户的心理压力，相较于传统的音视频方式，AR远程协作双方的社会存在感更高。

RS3：任务难度会左右用户对不同设备的取舍，由于较高的任务完成效率和较强的社会存在感，用户可能更容易接受AR远程系统和音视频会议。

为此，本文将参与实验的人员分成了无外部指导（No Guidance）、专家电话会议指导（Au/Ai）、专家AR 指导3 组并设计了被试内部实验，每组用户在真实场景下需完成两个任务，这两个任务分别模拟真实工作环境下的远程异地协同巡检和专家指导机器操控任务。

3.1 实验流程

每组被要求完成两项任务，并被随机分配到无外部指导、电话会议指导和AR指导。在两项任务执行前，远程专家都会预先得到“待检查点的分布地图”和“工厂操作的操作流程书”。工作人员和远程专家在任务之间的角色保持不变。

一旦被试者接受实验并准备参与实验，他们首先会被要求完成一份简单的统计问卷，主试向其介绍任务的具体情况，随后会得到简单的使用培训，以便工作人员工作时能够适应Hololens，远程专家能够适应PC端的会议指导。完成培训后，“远程专家”会被带到远程专家的空间中，并会向其介绍分配的具体任务；“工作人员”会被带到真实的工作环境中。在完成第一个任务后，“远程专家”和“工作人员”都会被要求填写一份简短的任务问卷。对于第二个任务，在各自条件下重复此过程。

整个实验在参与者允许且保证不泄密的前提下使用外部摄像机进行实验录制和参与者行为的采集工作。

3.2 实验任务与环境

整个实验环境中“远程专家”和“工作人员”在物理空间上是完全隔绝的，他们只能通过电话会议或AR 设备完成相互交流。将工作人员的本地工作空间称为本地工作环境。在两个任务中将使用不同的工作环境：任务1：巡检任务，工作环境为中铁上海工程局集团有限公司郑济铁路濮阳至省界段桥墩预制场的工地现场（见图4a），在该工作环境中每次实验将在不同位置分布30个待检查的区域，其中20个待检查点正常，10个待检查区域有异常。任务2：操控任务，工作环境为中铁上海工程局集团有限公司工厂车间的操作台（见图4b），该工作环境中，工人需要完成3台不同机器的控制工作。

为了完成每一个任务，工作人员需要远程专家指导或通过任务手册完成相关任务，其中组1 工人需要自己独立完成任务，而组2 和组3的远程专家可通过远程电话会议和AR 设备向本地工作人员提出工作指导和建议。整个任务设计时长在10～20分钟内完成。

（1）任务1：巡检任务。工作人员在图4a 场景下的工作空间内完成对预设好的30个待检查区域的检查工作，这30 个区域是专家在平时巡检中会重点观察的区域，其中20 个待检查区域用绿色进行标记（见图5a）表示专家比较关注；10个待检查区域用红色进行标记（见图5b）表示专家非常关注。组2、组3 的专家组会被提前分配到一张标有待检查区域的地图以告知远程专家哪些地方需要检查，同时组2、组3的专家可通过远程电话会议或远程AR 设备对工作人员进行指引。工作人员需完成对工作区域所有待检查点的寻找工作，并通过记录方式向主试汇报每个工作点的工作情况。

图5 标记示意Fig.5 Symbolic Marking

（2）任务2：操控任务。模拟工人在车间内通过工程机器完成具体的施工作业，工人需要分别依靠钢筋弯箍机、钢筋弯曲中心、双柱式墩柱焊接机器人3 台机器（图6），完成对钢筋的形变、弯曲以及最后的焊接工作。操作过程中请4位来自中铁上海工程局集团第七工程有限公司的专家（E1-E4）对不熟悉3台机器的工作人员进行指导，这些远程专家提前已经熟悉机器作业的具体流程，他们可通过远程会议或AR设备向工作人员提供任务指引，组1无远程指导的工作人员则必须通过设备说明手册完成对机器进行使用。

图6 操作现场Fig.6 Operating Scene

这两项任务的设计是希望模拟现实工作环境中的应用场景：任务1主要模拟大范围内的远程协同巡检工作，例如工地危险的环境中，让远程专家坐在室内对偏远地区进行异地协同检查工作。任务2主要模拟的是在固定环境内，例如车间内具体的机器控制，远程专家可以实时对工人的操作流程进行判断、指导以及实时反馈。

3.3 任务记录

尽可能完善地收集两组任务下的客观指标和主观反馈。主要的客观测量指标是任务完成时间和任务完成的质量，这两项指标通过视频记录的方式进行测量。对于主观反馈，用调查问卷的方式来评估用户体验，在每一项任务完成后使用社会存在问卷（NMM）[28]来评估用户在协作过程中的紧密程度；使用NASA-TLX 任务负荷指数问卷[29]来测试用户在不同任务环境下的任务载荷。同时，实验参与者还会被要求在各种设备下选择自己比较喜欢的设备，并在实验问卷结束后有选择的挑选一部分参与者进行用户访谈，以获取其主观反馈。最后还会在提前告知参与者的情况下利用外部摄像机收集“工作人员”和“远程专家”的任务执行视图，记录参与者之间的对话和行为以进行用户行为研究。

4 实验结果分析

招募的12 名参与者[其中男性9 名，女性3名，年龄分布在17～28 岁，M(平均值)=24；SD(标准差)=3.8]进行实验，为保证实验进行过程中，参与者完成任务时不会受到专家能力的影响，从中铁上海工程局集团第七工程有限公司选取了4 名常年具有任务经验的施工人员担任此次任务的专家，这4 名专家对任务、场地以及设备都非常熟悉。

4.1 任务时间

为调查不同方式下执行任务的时间情况，本文记录了用户完成任务所需要的总共时间。由于结果不是正态分布的，使用了非参数检验（Wilcoxson 符号秩检验，其中α=0.05）。

首先，比较3 组用户完成巡检任务（任务1）的时间，如图7a 所示。远程专家通过AR 指导[M=13.25 min，SD(平均差)=1.13]完成任务所需时间（组3）明显少于无专家指导（M=18.8 min，SD=0.87）和专家远程音视频会议指导（M=15.03 min，SD=0.51）。同时经过Wilcoxson 符号秩检验下可以得出结论：工作人员在AR远程专家指导下完成巡检任务所需时间与无专家指导情况下（Z=2.2014，p=0.0277<0.05）、远程专家音视频会议（Z=2.2075，p=0.0273<0.05）比较下呈现显著差异。

图7 两项任务消耗时间统计Fig.7 Time Consumption Statistics for Two Tasks

统计3组用户完成设备操作任务所需时间，如图7b所示。为了使数据尽可能精确地反应工作人员思考和操作设备所需要时间，剔除等待设备执行时间（7 分钟）和观察设备反馈时间（2分钟）。其中工人在无远程专家指导的情况下完成设备所需的时间（M=210.03 s，SD=15.67）明显大于专家音视频会议指导所用时间（M=91.32 s，SD=3.01）和专家远程AR指导所需时间（M=101.77s，SD=5.20），经过Wilcoxson 符号秩检验可以发现，无远程专家指导情况下工作人员完成设备操作任务所用时间与远程专家通过音视频会议指导（Z=2.2014，p=0.0277<0.05）和远程专家通过AR 指导所用时间（Z=2.2043，p=0.031<0.05）相比都具备显著性。在设备操控任务完成过程中远程专家通过AR 指导所用平均时间略大于远程专家用音视频电话会议指导所用时间，可能由于专家在绘制线索时消耗了额外的时间，但该差异不具备统计学规律（Z=1.9917，p=0.0564>0.05）。

4.2 任务准确率

本文记录了无指导、专家音视频会议指导以及专家AR 指导3 组条件下完成巡检任务（任务1）和设备操控任务（任务2）的任务情况，如图8、图9所示。其中在无远程专家指导的情况下，工人平均能在30 个标记中完成23.17 个标记的查找（Mred=6.67、Mgreen=16.50 ，其中Mred为工作人员检查到专家非常关注区域（红色）的数量，Mgreen为检查到专家比较关注区域（绿色）的数量，Mtag=Mred+Mgreen）。而在有专家音视频会议（Mtag=26.83 、Mred=8.67 、Mgreen=18.17）和AR设备的帮助（Mtag=26.17、Mred=8.00、Mgreen=18.33）下对巡检任务的完成的准确性在均值上有一定提升，同时在该任务下No Guidance组与Au/Ai 组（Z=2.0319，p=0.0422＜0.05）、AR 组相比（Z=2.2173，p=0.0267＜0.05）具有显著的统计学差异。在巡检任务的任务准确性上，Au/Ai 组与AR 组在统计学上未发现显著差异（Z=1.8411，p=0.0656＞0.05），并无法得出AR组一定比Au/Ai 组在巡检任务的准确率上更好的观点。但本文发现，在巡检任务执行过程中，用户在对红色标签（专家重点关注区域）观察的过程中，AR 组（M=8.00，SD=1.00）好于Au/Ai组（M=9.67，SD=0.44）且两组数据之间出现统计学差异（Z=1.8257，p=0.0479＜0.05）。因此可以初步得出结论：有远程专家帮助下（无论是Au/Vi 指导还是AR 指导）工作人员在巡检任务的观察准确率都会有提高，但是通过AR系统远程专家可以指引本地工作人员更好地完成对重点观察地区的巡检。

图8 执行任务时准确率统计Fig.8 Accuracy Statistics During Task Execution

图9 设备操控任务中错误个数Fig.9 Number of Errors in Equipment Manipulation Tasks

在设备操控任务执行中，AR 组的任务完成的质量出乎意料，整个实验过程中只有一个出现了操作失误且失误一次（M=0.167，SD=0.278），在出错数量上AR 组远远好于No Guidance 组（M=6.1667，SD=2.7778）和Au/Vi 组（M=1.3333，SD=0.7778）。且经过Wilcoxson符号秩检验可以发现，AR 组与其他两组（no guidance（Z=2.0319，p=0.0422＜0.05）、Au/Vi（Z=2.0604，p=0.0394＜0.05）均具有明显的统计学差异。这说明专家通过AR 设备进行指引能够显著的帮助工作人员在设备操控的任务上减少错误的发生。

4.3 调查问卷结果研究

本部分分析了参与者对两种量表问卷（NMM 社会存在问卷、NASA-TLX 任务负荷指数问卷）的回答。

采用NMM 社会存在问卷[28]对不同组别下工作人员的社会存在感进行了测量(如下图10a所示)。工作人员在Au/Vi 组（M=57.00，SD=5.33）和AR 组（M=49.67，SD=9.00）完成任务的社会存在评分明显高于No Guidance 的评分（M=32.00，SD=6.33），Au/Vi 组（Z=2.2075，p=0.0270＜0.05） 、AR 组（Z=2.2121，p=0.02817＜0.05）与No Guidance在社会存在评分上均具备显著的统计学差异。不过AR组和Au/Vi（Z=1.1563，p=0.2476）之间未发现具有显著的统计学差异，可能由于Au/Vi组的双方有着更高频次的语言交流。

图10 社会存在与任务载荷统计Fig.10 Social Presence and Task Workload Statistics

采用NASA TLX 问卷[29]对工作人员的工作负荷进行了测量（如下图10b 所示）。工作人员在Au/Vi 组的任务载荷评分（M=84.33，SD=5.44）在数值上明显高于No Guidance 组的（M=64.83，SD=6.17）和AR 组的（M=56.67，SD=9.00），且Au/Vi 与其他两组no guidance（Z=2.2076，p=0.0276＜0.05）、AR（Z=2.2014，p=0.0275＜0.05）相比均呈现出了显著的统计学差异。但是AR 与no guidance 相比（Z=1.1531，p=0.2489）两者并无明显的统计学差异，在用户访谈中会有所讨论。

4.4 主观调查

除了上述的一些客观指标和量表问卷，在访谈过程中要求参与者（包括12名工作人员和4名专家）评选出他们心中最喜欢的系统（如图11所示）。12 名参与者（工作人员）中共8 位将AR设为自己最喜欢的系统；3个参与者将No Guidance 选择为自己最喜欢的系统，Au/Vi 仅有1 名工作人员将其设置为最佳。专家组这边，3名专家将AR 设置为自己最喜欢的系统，1 名专家将Au/Vi设置为自己最喜欢的系统。

图11 工作人员（左）、专家（右）最喜欢系统统计Fig.11 System Statistics Most Preferred by Staff(Left)and Experts(Right)

本文希望通过面对面访谈的方法得到专家或工作人员的一些建议和反馈，专家E3指出：他更喜欢AR 系统的主要原因是AR 可以在PC 端快速地完成资料的投放，通过该方法的使用，可以比其他方式更快、更加精确地完成目标的指引，这非常有利于复杂任务的执行。另一位专家E2 指出：传统的沟通方式例如对讲机容易让远程指挥人员感到迷失和混乱，但是AR系统可以通过头戴摄像机的方式在后台对现场实施情况进行了解并给出解决方案，当然AR的缺点是专家端可能会受到一些网络波动的影响。

本地工作人员P1指出：AR可以有效地改善专家-工人之间的关系，但是固件的限制可能会导致工作过程中同时出现疲惫的状态；同时也有工作人员P7 指出：相比其他两种方式，通过AR设备能出色的完成赋予的任务，这使他获得了极大的成就感。同时也重视喜欢无指导的工作人员的意见，本地工作人员P9指出：其不擅长沟通，在无指导的情况下，会感到更自由。另一名工作人员P12则表达了不同的想法：他在平时的工作中并没有感觉到社交困难，只是不喜欢被别人时刻盯着去完成一项任务，相比之下他更喜欢轻松状态下的工作。

通过用户访谈本文注意到，用户偏爱AR系统的主要原因是高效的任务完成效率以及任务完成后的成就感，因AR系统提供的远程专家知识库、物理环境系统的实时反馈以及工人注意力的实时跟踪对于远程专家而言更加有益。但本文还注意到另一个现象是对于远程协助而言，有相当一部分人在工作中希望较少的社交、轻松地完成工作，对于这部分人员而言，应该更多关注他们内心的想法，帮助其找到打开沟通方式的桥梁。

4.5 结果讨论

有专家指导的情况下（Au/Vi 或AR）处于工作环境中的工作人员完成任务的时间、以及任务完成的准确率上一定是比无专家指导更好的（RS1）。但是Au/Vi 和AR 相比，两者在任务完成时间上很难分辨谁更优秀，这一点是出乎意料的，本文认为出现这个现象的原因是多样的，一方面，专家对虚拟空间的标注和箭头的绘制可能导致消耗额外的时间；另一方面，由于AR系统下工作人员需要对专家的指引进行额外的观察，一定程度上会分散工作人员对物理任务的注意力，但是这种注意力的分散或许不一定是坏事，工作人员通过额外的观察在一定程度上也提升了两项任务的准确率。在任务的完成质量上，在两项任务中远程专家通过AR指引的精度和错误率都优于其余两种方式，尤其是任务2（设备操控任务）的执行过程中整个实验仅有一人出现1次操作错误，这一点验证了前面提出的假设。

由于Au/Vi 在引导用户的过程中会引发双方更频繁的语言交流，这导致了其在社会存在感上相较于AR 会更加紧密（RS2）。另一方面，Au/Vi 比其他两种方式会给用户带来更高的任务负荷，AR 和无专家指导时的任务负荷相似，但是AR组的用户平均差更大，这代表着组内的差异相较于其他方式更加明显，这可能由于不同人对于AR 设备以及全新交互方式的适应能力有关。

在用户偏好上，无论是远程专家还是工作人员都对AR 设备有更强的偏好，但意外的是，Au/Vi 的指导是本地工作人员最不愿意接受的一种情况。本文在任务后对一些用户进行了相关问题的访谈，发现工作人员不喜欢Au/Vi主要是因为其对工作人员有过多的限制，这些工作人员在任务执行的过程中也不喜欢听到远程专家的“碎碎念”，这些都可能导致远程用户因此受到过高心理压力（RS3），同时Au/Vi 较高的任务载荷也佐证了本文的观点。

最后观察到用户在设备控制任务（任务2）一次点击失败后心理压力会大幅提高，这可能是工作人员出现连续失误和工作时间大幅度增加的主要原因，这个现象可能在现实的任务执行过程中更加明显。而远程专家对于解决上述情况有非常积极的作用，一方面远程专家的协助会使任务的错误减少；另一方面远程专家的帮助会很大程度上疏导本地工作人员出现错误后的心理压力（RS3）。这对未来改善本地工作人员完成工作有非常积极的作用。

5 结 语

本文提出了一个基于AR 的实时多线索远程工业协同系统，该系统允许远程专家通过多线索指导本地操作员执行程序性任务和注释。此外，探索使用基于AR稳定的同步协作远程场景的注释方法。在本文中，描述了系统架构、软件组件和用户互动，包括线索虚实扩散算法、眼动追踪和注释的稳定性。最后，在复杂的真实工业场景下进行了完善的用户研究实验，将AR远程支持系统与纸质维护说明、传统电话指导进行对比分析，实验结果表明使用AR 远程支持时，错误任务数量有明显减少，同时任务完成速率有所提升。通过两种量表问卷以及用户主观调查的分析，发现用户对解决方案都表达了积极的看法，并强调了与远程专家支持、注释相关的功能以及发送照片、图表和其他多媒体内容对他们非常有价值。同时，本项工作得到了领域内专家和作业人员的认可，他们的建议将指导本文后续开展的工作。

致谢：

感谢中铁上海工程局集团有限公司郑济铁路濮阳至省界段桥墩预制场的作业人员及专家对实验的帮助和配合以及针对本文系统提出的意见反馈。

利益冲突声明

所有作者声明不存在利益冲突关系。