增强现实智能装配辅助技术研究*

武殿梁，周 烁，许汉中

（1.上海交通大学，上海 200240；2.中国航发上海商用航空发动机制造有限责任公司，上海 201306）

航空发动机等重大装备类产品装配过程复杂、工序众多[1]，目前以人工装配操作为主，这导致装配工艺执行困难、过程管控难度大，迫切需要与装配工艺相适应的装配操作及质量控制的新方法。装配过程数据感知及装配工艺3D 数字化建模方法使得人工装配过程在线辅助成为可能，人工智能（Artificial intelligence， AI）与增强现实（Augmented reality，AR）技术结合将能够在装配操作过程中提供在线的智能化感知、判断和指导[2-4]。

美国波音公司与MIT 联合进行增强现实辅助装配研究，研发的AR 辅助系统能在工人视野中叠加布线路径和文字等来协助飞机制造中的电力线缆的连接和接线器装配工作[5]；欧盟资助的德、法等国家的6个公司联合进行AR 在复杂机电系统装配和维修领域应用研究，开发了Starmate 系统[6-8]；英国罗·罗公司和微软合作研究AR 航空维修操作辅助技术[9]。国内，上海交通大学、华中科技大学等单位研究了基于产品和工装3D 数字化模型的装配工艺定义、AR 与3D 数字化装配工艺结合的人工装配/维修操作智能辅助技术，并应用于航空发动机装配中的操作引导/防错和参数采集、车辆维修维护等领域[10]。

本文研究人工装配过程的在线操作辅助技术，提出AI 与AR 结合的装配作业辅助方法，以解决基于光学透视AR 眼镜的3D 可视化、智能化装配辅助问题，实现装配操作中的智能识别、引导、防错和信息感知，据此研发出AR 智能装配辅助系统，并以航空发动机装配为对象进行应用验证。

AR 智能装配辅助应用模式与系统组成

1 复杂产品装配过程AR智能辅助需求与应用模式

航空发动机等复杂产品装配时亟需解决的问题是保证操作目标正确，比如航空发动机机匣装配时多个边螺母操作顺序不能出错，转子叶片装配时每片均有固定顺序，人工装配时由于疏漏等原因可能导致操作目标或顺序错误，因此AR 辅助系统首先要能解决正确目标或操作位置识别，随后能根据工艺要求进行正确操作，并能感知用户是否按照预定工艺内容进行了正确操作，如果出错应给予及时的提醒，这些确定了辅助装配的基本功能：目标识别、参数显示、动作引导与操作防错。此外，为了保证装配过程可追溯，还需要将装配过程的一些重要信息，如实际操作顺序、实际扭矩等自动记录下来，为质量控制提供依据。

人工装配时，操作者难以在装配的同时再去使用其他与装配无关的设备，因此辅助系统不能影响正常装配操作，硬件设备应该尽量简单、轻便，可以选择使用一副具有计算、通信和显示功能的光学透视AR 眼镜。辅助装配开始时需要接收装配任务和选择工艺内容，此过程中还可能需要查看工艺内容、电子图纸等，所以与辅助系统的人机交互也是必不可少的。由于用户端除了一副AR 眼镜外没有其他交互设备，用户只能采用自然交互方式，如语音和手势。实际环境中语音可能因为环境噪声识别率下降，手势有可能因为环境光线的变换识别率不理想，因此可以采用语音和手势混合交互方式。图1（a）为通过语音激活3D 虚拟菜单，激活后可以通过语音或手势进一步操作其中菜单项；图1（b）为通过手势拖拽3D 虚拟窗口查看3D 工序内容，此时还可以通过手势操作虚拟窗口中的物体或视点。

图1 AR辅助操作中的自然交互Fig.1 Natural human computer interaction in AR operation assistance

2 AR智能装配辅助系统组成

除了上文提到的操作过程辅助功能外，作为引导依据的装配工艺需要是3D 数字化表达模式，因此AR智能装配辅助系统还应具有3D 数字化装配建模功能；为了实现装配过程的视点定位、物体跟踪和虚实融合显示，还需要先将零部件、工装和环境3D 模型注册到真实装配环境中。

因此本文提出如图2 所示的AR智能装配辅助系统架构，包括数据层、功能层和界面层。数据层包含产品数据、装配工艺/知识、预置AI 特征数据、3D 数模等，用于支持各种业务功能；功能层封装了工艺规划、信息感知、AR 跟踪定位、AI 操作辅助等，它们在实际使用中可以是相互独立，也可以互相协作；用户界面层提供了与装配辅助相关的各种交互和显示功能，包括语音与手势混合的自然交互、虚实融合显示、3D 动态显示等。硬件主要包括用于虚实注册的测量/照相设备、用于操作辅助的AR 眼镜，其中AR 眼镜也可以用平板电脑替代。

AR 智能装配辅助关键技术

依照AR 智能装配辅助系统组成，影响系统功能与性能的关键技术主要包括：支持AR 装配辅助的装配工艺3D 数字化建模方法、适用于装配现场的AR 注册/定位/跟踪/显示方法，以及基于AI 视觉图像的装配信息感知方法。

1 装配工艺3D数字化建模

装配工艺是定义在装配生产条件和装配对象零组件上的装配操作过程和参数集合，对于AR 装配辅助来说，装配工艺提供装配目标、工具、操作逻辑顺序、操作参数等众多信息，是装配辅助的主要依据。

本文将装配工艺抽象为执行流程逻辑模型和工序/工步执行内容模型，执行流程可描述装配过程逻辑顺序，用于判断装配顺序是否正确、提示下一步操作等；工序/工步执行内容详细描述一个工序/工步的具体操作信息，包括装配目标、工具工装、操作参数、操作动作过程、质检数据等，是具体操作引导的依据。

装配工艺流程采用有向图模型来表达，图结点即为一个工序或工步，结点之间的关系表达前后工序之间的依赖关系，分为“绝对依赖”（前序必须完成）和“选择依赖”（多前序结点时，仅一个完成即可）。本文采用邻接表法来描述装配过程有向图模型，如图3 所示，表结点即为所有的工序结点，其数据项主要为指向工序对象的指针；邻接点描述一个表结点的后续工序结点组，一个表结点有0 个或多个邻接点。邻接点有4 个数据项：自身对应的表结点地址、对前序结点依赖类型、当前执行状态和后一个邻接点地址（如无则为空指针）。

装配工序/工步包含以下较多信息。（1）3D 数模：本工序零部件数模、工装工具数模、装配环境数模；（2）操作说明：文字类型的操作要领、说明等；（3）操作动作：定义在3D 数模上的动作描述；（4）相关参数： 执行参数、质检参数；（5）2D 电子图纸： 2D 装配图和其他2D 电子资料。工序/工步采用面向对象方法描述，上述5 类信息作为对象的属性，还同时封装属性提取、动作仿真和2D 信息显示等方法。

2 支持装配辅助的AR注册、跟踪与混合显示技术

2.1 大尺寸装配场景高精度虚实注册

虚实注册是AR 的基本问题，也是AR 应用中基于视觉图像进行视点定位和物体追踪的基础。目前AR 虚实注册常用的基于Mark 点的图像定位算法精度能够满足一般人工装配操作需要，但对于大尺寸的装配现场需要多角度拍摄图像，摄像机互相定位再进行场景坐标归一化，这导致精度降低且操作麻烦。考虑到对于一个装配现场注册仅需要一次性生成注册文件，可以采用基于标识点测量的统一坐标法来进行高精度注册，其过程简述如下：首先在实际环境中特征分明处布置标志点（靶标点），点的形状可采用十字图案，在注册软件中导入3D 模型，在相应位置布置虚拟标志点；采用全站仪等测量仪器对靶标点进行位置测量，将测量坐标系作为世界坐标系；3D 虚拟模型上多个虚拟标识点与测量坐标系的对应点群匹配，获得变换矩阵；以该矩阵对3D 模型进行位姿变换完成该模型注册；据此可完成多个模型注册，保存各模型位姿到注册文件。注册后测量仪器和标识点即不再需要。

图2 AR智能装配辅助系统组成Fig.2 Framework of an AR intelligent aided assembly system

图3 装配工艺流程有向图模型及其数据结构Fig.3 A directed graph model of assembly process and its data structure

2.2 面向实时视点跟踪的自动修正SLAM算法

实时的视点定位不但是AR 显示的基础，也是基于视觉图像的运动物体（如装配中的手持工具）位姿计算的基础，因此高精度的视点位姿计算是AR 装配辅助的关键问题。目前常用两种方法：

（1）Mark 点法。在环境中预设已知位置Mark 点，计算Mark 点在视觉坐标系中的位置，再反算视点在世界坐标系中位姿。该方法精度高、速度快，但需要预先布置Mark 点，且Mark 点识别时受距离、光线变化影响大。

（2）SLAM 算法。包括基于离线和在线地图方法，可以实现无参跟踪，重复精度很好，但计算量很大，定位精度不高。

本文将两种方法联合使用，主要使用SLAM 方法，但可以手动或自动激活Mark 点法进行修正，自动激活时按照一定的时间周期启动校正。该方法将SLAM 的重复精度与Mark 点法定位精度高的优点结合，实现过程如图4（a）所示。

图4（b）给出一种无需Mark点的物体跟踪方法，其原理是在虚拟空间中根据虚实视点一致性构造虚拟图像，与真实图像进行有限特征匹配，据此调整虚拟物体位姿直到符合图像匹配误差。笔者测试结果是光线稳定环境效果较好，但因其属于迭代计算，导致帧率不稳定。甚至迟迟无法收敛，因此在实际使用中仍采用在工具上布置一两个Mark 标识的方法。

图4 AR智能装配辅助过程的视点及运动物体跟踪Fig.4 View point and moving objects following in AR intelligent aided assembly

2.3 面向融合显示的虚实互遮挡技术

一般AR 应用只需要将信息叠加显示在真实场景中，不需要考虑虚拟景象与真实模型之间关系。但装配辅助中的目标识别、操作引导时需要指示到真实对象上，虚拟工具或零部件的运动也要符合实际情况，此时需要虚实融合显示，其核心是“虚实互遮挡”。

AR 装配辅助应用中，无论是装配对象还是工装工具一般都有对应的3D 数模，据此本文提出一种基于对应3D 虚拟模型进行遮挡计算、控制渲染输出顺序的虚实遮挡方法，实现过程如图5（a）所示，真实物体遮挡虚拟物体是通过获取真实物体对应的3D 数模来进行遮挡运算，再控制不同模型渲染后图像输出叠加顺序获得虚实遮挡后场景图像，该方法速度快、精度高，不需要额外的深度信息获取。图5(b) 为某导弹弹体尾段装配工艺验证中的虚实融合显示，工装为真实设备，尾段为虚拟模型，可见虚实互遮挡效果。

图5 AR智能装配辅助过程的虚实遮挡与融合显示Fig.5 Virtual and real occlusion and fusion display of the auxiliary process of AR intelligent assembly

3 装配特征信息感知

在基于AR 的辅助装配中，可从AR 眼镜获得单目或双目实时图像，因此可以利用AI 图像处理方法提取装配过程的各种特征信息。如某位置上零件是否装配、工具上扭矩等读数、管线连接状态、零部件缺陷，这些可用于支持装配过程的实时防错、顺序判断、参数记录等。

装配现场图像中可能蕴含多种信息，可以结合装配工艺知识，对应3D 数模和多种AI 图像处理算法来获取装配过程特征信息，基本步骤是：图像获取，自动分割和分类，分块图像预处理，分块图像特征识别匹配，根据装配工艺和以往知识进行分析判断。

图像的自动分割与分类。应用AR 定位方法获得摄像头位姿参数；根据摄像参数和3D 虚拟场景获得2D 虚拟映射图像；根据2D 图像不同区域关联3D 数模形状和属性确定分区图像的边界和蕴含信息类型，据此将真实视觉图像进行分割和分类。图6 显示了如何构造和分割图像，根据摄像头位姿和成像参数在虚拟场景中渲染出对应的虚拟图像，记录各模型在虚拟图像上的位置。

图6 根据摄像头位姿和成像参数构造 虚拟图像Fig.6 Creating virtual image based on camera position and parameters

基于分块分类图像的装配特征信息辨识。设计能够提取不同类型特征信息（如数字、划痕、曲线、堆叠顺序、相对位置等）的AI 识别算法库（如在装配过程中识别七段数码管的数字信息就可用到CNN 算法）、各类信息的特征图像库；对分割后图像根据其类型选择图像识别算法（SURF、SIFT、HOG、ORB 等）进行图像处理，结合特征图像库提取各类信息。

装配操作结果分析判断。根据实时装配特征信息，再结合装配工艺、执行进度和当前相关装配特征信息，确定应该进行的装配操作；基于以往装配知识进行综合分析，判断结果正确性和精确性。

4 装配操作过程辅助技术

4.1 装配目标位置识别与指示

在我国，目前基础教育所设立的各门学科中，从没有对孩子进行过财商教育。这也许是受了中国一句老话“君子言义，小人言利”的影响，人们总觉得孩子的主要任务是学习，离金钱越远越好；至于理财能力，长大了可以无师自通。似乎只有这样学习才能专心，才能纯洁心灵。但事实远非如此，大多成年人都有这样一种体会：改革开放以后，突然感觉自己在消费、金融管理等知识面前一片茫然，不得不花几倍的力气去补习，否则就难以适应快速发展的时代潮流。

目标识别用于在装配过程中指示正确的装配位置。从装配工艺中获得某个步骤的要装配的零部件对象，以及它需要装配的位置信息。如果装配位置在前面过程中未随着模型移动，则根据注册信息来确定该位置在世界坐标系中的位置参数；如果装配位置已随模型移动，则获取零部件模型位姿，根据装配位置在该零部件上的位置计算其在世界坐标系中的位置参数；生成3D 指示箭头或指示线模型，指向装配位置。

在进行目标识别与指示时，要同时显示当前工步操作要求、被装配的零部件模型名/编号等信息，使得操作者一目了然。

4.2 装配操作引导

操作引导用于在实际环境中演示一个操作动作。从工序/工步模型中获得操作对象、工具/工装3D模型以及动作过程信息，按照工序中预设的运动轨迹起点设置3D 模型初始位姿，自动或操作者交互发起动作过程演示，使用动作过程信息驱动零部件和工具/工装模型，驱动过程中进行互遮挡计算，若为AR 眼镜，则输出遮挡计算后的虚拟模型图像，若为一般显示设备则输出虚实叠加后图像。

4.3 操作过程防错

AR 操作防错主要用于防止3类错误：位置错误、顺序错误和参数错误。

（1）装配位置防错。根据工艺获得正确位置信息，根据实时感知的真实装配位置，包括正在安装的位置、本步操作后正确位置是否已装配好，判断某零部件是否被正确装配。

（3）参数错误判断。对于某一工序/工步，操作过程获得参数，如螺栓实际扭矩、尺寸测量数据等，与工序规定的参数对比，不符合工艺要求则提示和报警。

装配过程AR 智能辅助 应用验证

以某型航空发动机机匣装配应用AR 智能辅助为例验证系统框架和关键技术。某型航空发动机目前仍处于研发和原型机生产状态，机匣和转子装配是原型机装配的重要工艺，涉及大量人工装配操作。

基于本文提出的智能装配辅助技术路线开发了AR 智能装配辅助原型系统，包括数字化装配工艺规划模块、AR 虚实注册模块、AR 智能操作辅助模块、基于AI 图像的信息提取模块，模块之间关系如图7（a）所示。

随后创建机匣装配的3D 数字化装配工艺文件，并读入用于现场指导的AR 眼镜中，辅助操作者进行装配操作，在这个过程中辅助用户进行操作目标识别、操作引导、信息感知和操作防错。本案例中，为了能够防止用户强行错误操作，将螺栓拧紧半自动工具也编程集成到系统中，当操作错误时可以锁死工具无法进行操作，图7（b）为机匣装配工位现场。

图7 AR智能装配辅助系统组成及应用Fig.7 AR intelligent aided assembly system and its application

1 实现过程

初始化阶段。根据机匣装配工艺在数字化装配工艺规划模块中创建3D 数字化装配工艺模型，保存成机匣装配3D 数字化装配工艺文件包；在航空发动机及相关工装上贴校正用的Mark 标识；采用多摄像头完成场景初始注册，并保存成场景虚实注册文件。

辅助操作阶段。将数字化装配工艺文件包、场景虚实注册文件导入现场指导用的便携电脑中，本例使用GPD MicroPC 巴掌电脑和Mate 2 AR 眼镜；用户佩戴AR 眼镜、携带巴掌电脑进行装配操作，启动AR 智能辅助操作模块，首先根据虚实注册文件自动完成虚拟场景注册到真实场景，读入数字化装配工艺文件，生成3D 数字化装配工艺模型；随后即可伴随用户的操作完成信息感知、目标识别、操作引导和防错。图8 为机匣装配工位上使用AR 智能辅助的情景，机匣边螺母拧紧时的目标识别，此时箭头指向工艺规定的被操作螺母，如果拧紧工具头的位置错误则在眼镜上提示错误，并暂时锁死拧紧工具。图9 为盲装操作透明化实例，通过一个特殊工装操作壳体内的螺栓，工装旋转角度通过编码器测量。图9（a）为实际操作情景，图9（b）为通过AR 眼镜观察到的情景，可见壳体“内部工具头和操作目标”，并在眼镜上显示旋转多少度即可到达操作位置。

图8 航空发动机机匣装配AR辅助Fig.8 AR aided operation in aero turbine engine assembly

图9 航空发动机某组件装配的透视化引导Fig.9 Transparency display in aero-engine part assembly

2 结果分析

通过对结果的分析，本案例中的原型系统实现了装配操作目标识别、操作过程引导、虚实混合显示、操作信息感知、正误判断提示，并结合可编程的半自动拧紧工具防止用户强行错误操作，基本达到了预定目标。从响应时间上看，系统完成视点计算、根据工艺信息定位和判断、根据AR 图像识别目标和感知信息，综合响应时间为2～5ms，完全能够满足人工交互操作。

本案例的信息感知包括操作目标识别、操作步骤感知、扭矩读数获取、指针仪表读数获取，没有诸如划痕、污损等信息提取，验证过程未出现信息提取错误，目标识别正确率100%，这是因为物体定位精度±3mm，本例的螺栓中心最小距离为8mm，再配合3D 工艺中的螺栓模型和AI 修正算法完全满足要求。但此精度无法实现一些微小零件的识别。

结论

（1）AR 与3D 数字化装配工艺建模、AI 图像识别等技术结合，用于复杂装备类产品的人工装配过程目标识别、操作引导、信息感知与记录、操作过程防错等环节，能够提高装配操作效率和质量，降低对操作者的要求。

（2）本文提出的AR 智能装配辅助系统体系适用于复杂产品AR 智能装配辅助，可以作为此类系统的一种基本架构。

（3）本文提出的装配工艺模型、AR 注册/ 跟踪/ 显示技术满足装配现场的操作辅助需求，AI 识别与分析判断方法还需要进一步研究和开发。

（4）目前的AR 硬件性能用于装配智能辅助还不能满足需求，某些定位、跟踪、AI 识别与分析算法还需要在后端服务器上完成，未来将可能全部在AR 眼镜上实现。