VR/AR/MR 技术在飞机装配制造领域的应用与发展

仲小慧 刘义明 高培轶

（ 航空工业西安飞机工业（ 集团）有限责任公司，陕西 西安710089）

1 虚拟现实/增强现实/混合现实概述

随着计算机及通信技术的高速发展， 虚拟现实技术（ Virtual Reality，VR）和增强现实技术（ AugmentReality，AR）已经开始应用于飞机装配。 使用VR 技术，能够建立一个全三维的虚拟环境，使用AR 技术可以将虚拟信息叠加到现实场景中， 综合运用了AR 和VR 的混合现实技术（ Mixed Reality，MR）所建立的虚拟环境可以提供更集中、更全面的装配信息，同时建模量也大大减少。基于MR 技术的虚拟装配系统可以对装配所需的大量信息进行统一、 集中的管理，可以大大缩短飞机装配前置时间，减少资源浪费并能够降低成本。 将虚拟环境和真实环境相匹配并融合，对工作人员而言，拓展了信息获取的渠道和范围，加强了对重要信息的感知能力，同时也降低了对工作人员视觉空间能力的要求；对装配工作而言，可以有效的减少人为因素造成故障拒收，大大缩短飞机装配时间，极大的提高装配效率和质量。

1.1 虚拟现实技术

虚拟现实（ Virtual Reality，简称VR）技术，虚拟现实是利用高性能计算机系统通过虚拟现实产生器(VR Engine)重构一个3D 虚拟的数字化世界，借助近眼显示、感知交互、渲染处理、网络传输和内容制造等新一代信息通信技术， 通过多种传感和体感终端控制设备，如头戴式显示器、运动追踪器等与3D 虚拟世界中的虚拟人和事物进行交互。 立足身临其境的沉浸体验，为用户提供了一种全新人机交互方式。 通俗点说，就是可以让人身临其境，仿佛进入一个真实的梦境。 由于当前技术限制，VR 还处于部分沉浸阶段，现在戴上VR 设备去体验，你是清晰的知道身体处于现实世界，感受都是模拟出来的。 理想的VR，进入之后，你是分不清虚拟和现实的。 随着5G 技术的到来， 更高容量带宽和更高速的传输效率，使得大数据量的云计算数据可以和VR 设备进行实时的数据交互，目前可以预见在不久的将来在VR、AR 游戏、视频/影片观看、商业培训、在线设计和在线展示、工业制造、医疗教学、教育培训等领域等一系列细分行业的发展让VR/AR 行业进入落地阶段。

1.2 增强现实技术

增强现实(Augmented Reality，简称AR)技术，是在虚拟现实技术基础上发展而来， 是一种计算机生成的数字内容与现实世界实时融合结合的技术。其与虚拟现实（ VR）技术有着明显的不同，将用户完全沉浸在合成环境中， 使用户可以看到叠加在现实真实空间上的增强了的三维虚拟对象世界。

AR 系统必须满足以下三个特征：

它结合了真实和虚拟内容

该系统是交互式的，可以实时执行

虚拟内容已在现实世界中注册

先前的研究表明，AR 技术可以应用于广泛的领域包括教育，医学，工程，军事和娱乐。 例如虚拟可以将地图覆盖在现实世界上，以帮助人们在现实世界中导航， 医学图像可以出现在真实的患者身上，建筑师可以看到虚拟建筑物在建造之前就位。

1.3 混合现实技术

混合现实(Mixed Reality，简称MR)包括增强现实和增强虚拟，AR 和VR 都是更广泛的现实- 虚拟连续性的一部分，称为“ 混合现实”（ MR），20 世纪90 年代初， 米尔格拉姆和基希诺提出Mixed Reality，简称MR 一词，他们认为，混合现实环境是“ 将现实世界和虚拟世界的对象， 在虚拟连续体极值之间的任何位置的环境一起呈现在一个显示器中。 ”混合现实技术可以增强用户对现实世界的感知和互动。

1.4 相关硬件和软件系统关键技术

混合现实应用需要准确了解相机的相对位置和场景。 当它们中的任何一个移动时， 这意味着实时跟踪所有定义摄像机相对于场景的位置和方向的六个自由度， 或等效地对象相对于相机的3D 位移。 许多技术试图实现这一目标：跟踪技术：如何实现虚拟图像的稳健而准确的覆盖在现实世界中；显示技术：用于AR 的头戴式，手持式和投影显示器，增强现实头戴式显示器、基于投影仪的增强、基于手机的增强现实；移动增强现实：使用移动计算机开发AR 应用程序可以在户外使用；交互技术：与AR 内容交互的方法新颖的增强现实应用。

2 VR/AR/MR 技术在飞机装配制造领域应用发展

VR/AR/MR 飞机装配制造领域，都有三种驱动力,分别为降低成本，加快流程和提高质量，这将导致引入新技术。 如果一个可以在正确的时间将适当的信息带到正确的位置， 所有三个力量得以解决。 在几乎所有情况下，VR/AR/MR 技术似乎都是理想的选择。其可以为飞机装配制造脉动生产线提供准确有用和最新的制造信息，可以显著缩短生产节拍时间，减少培训工作，减少故障，降低制造成本。

2.1 VR/AR/MR 相关技术在飞机装配制造业的应用主要包括虚拟研发设计调试、虚拟制造装配、设备维护检修质量控制、飞机装配制造模拟考核验证培训等， 相关技术已经在大型装备的制造中实现初步应用。 中国商飞在大客（ C919）模拟测试飞行控制中心，运用虚拟现实技术能大幅提升产品性能的精准性， 使用机载测试系统的地面验证平台来监控和分析飞行参数， 以确保飞行前和实际飞行中飞机相关参数的准确性和正确性； 空中客车公司将Microsoft MR 设备导入飞行员程序后，设计项目在虚拟空间中实验的运行时间至少节约了80%， 在德国STADE 的空客工厂里生产A350XWB 机身总装，已经成功应用一种“ MR”投影技术，有效的提高机身隔框、长桁、剪切角片及系统支架的精确定位；波音运用三维模型仿真技术进行波音777 外形和结构设计等等； 接线图附图对于每架要建造的飞机来说都是独一无二的。 因此，线束需要根据车间中大型面板上显示，预先在车间中配置数量庞大的计划。 使用光学透视头戴式显示器，显示接线路径，以完成成捆的手动操作，可将计划直接添加到面板上。 对线束作业流程进行提示及装配正确性进行核验(见图1)。

图1 管线辅助安装

罗尔斯- 罗伊斯通过虚拟现实技术在线进行实时数据传输与分析，采用虚拟现实投影技术和运动捕捉系统，查看发动机细节，突破时间、空间的限制，实现虚拟指导和现实操作相结合全流程检测； 空客公司为A350XWB 开发了世界第一个混合现实实训平台进行飞机装配制造模拟考核验证等教学工作， 利用增强现实的交互性及可实时执行性，避免实操验证风险、降低培训模拟成本。 以上所有实例可以统一称为航空工业VR/AR/MR 应用， 可以预见在不久的将来，随着航空产业制造技术能力提升，VR/AR/MR 应用是一种理所当然的选择。

2.2 近年来，手机已发展成为增强现实的理想平台（ AR）。 当前一代的智能手机具有视网膜显示屏，集成4K 摄像头，高性能移动处理器，甚至已经集成专用的移动3D 图形芯片，其已经具备强大运算显示平台。 重要的是要进行研究最适合手机和用户界面的AR应用程序类型开发这些应用程序的准则，目前手机已经成为AR 应用程序的主要平台之一， 各种APP 应用已经广泛的出现在我们的日常生活，特别是5G 技术的发展和普及，移动大数据和云计算中心可以实时进行交互数据交互反馈，在不久未来，用于飞机装配辅助的智能手机专用VR/AR/MR 程序一定能够普及。

3 结论（ 结束语）和建议

我国的飞机装配制造行业中， 相关VR/AR/MR 技术应用与国外其他飞机制造商相比， 在应用的场景及相关技术采用方面存在较大差距，VR/AR/MR 技术领域的创新很少，但是该技术在广泛的工业应用中具有巨大的潜力，对用户来说，使用VR 可以有效的降低运营成本，提高生产效率，具有实实在在的利益。 随着各项技术研发及算法优化迭代日益成熟，在未来的十年中，飞机装配制造行业VR/AR/MR 技术必将取得长足的发展。