基于增强现实的飞机发动机辅助维修系统研究

任栋梁 关守东 杨佳强 宋时雨 李梓航

摘   要：将增强现实技术与移动设备结合，能使许多工程领域抽象、复杂的问题变得可视化、立体化。本文运用3ds max等建模软件构建模型，通过c#语言控制模型，利用高通VUFORIA AR SDK多目标实时跟踪特性，借助虚拟仿真平台unity3d开发出一个可用于移动设备的发动机维修辅助系统，系统能把维修程序与三维动画关联并展现出来，极大地提高维修者的工作效率以及准确率。

关键词：增强现实技术  unity 3d  发动机辅助维修  3ds max建模  c#  高通SDK

中图分类号：TP39                                   文献标识码：A                        文章编号：1674-098X（2019）02（c）-0016-03

Abstact：Combining the   augumented  reality technology with  mobile devices can make the abstract and complex problems in engineering domain to be visualization and stereoscopic. 3d modeling softwares like 3ds max etc. are used to create equiipment 3D models  and the language C# is used to control the model， An aero-engine maintenance supporting system based on mobile equipments were developed by virtul of the real-time multi-objective tracking techninics of  Qualcomm vufortia AR SDK and uinty 3D， this system can greatly enhence  operators efficency and accuracy.

Key Words： Augumented  reality technology; Unity 3d; Engine  maintenance supporting system; 3ds max modeling; Qualcomm SDK

增强现实技术（Augmented Reality ， AR）[1]是近年来研究的一个热点，作为虚拟现实技术重要分支，AR技术主要通过在现实环境中加入构建的虚拟模型，来增强操作者的视觉效果。随着电子软硬件的逐渐升级，AR技术已经走向成熟，在医疗、军事、建筑、工程等各个领域均已开始推广。

对于民航发动机，作为工业皇冠上的明珠，融合了许多技术，内部结构复杂，对工作人员技术要求极高[2]。而现在的维修手段大多依靠翻阅技术手册，造成工作效率不高且易出现失误，而基于增强现实的飞机发动机辅助维修系统将会改变这一现状。

1  系统设计

如图1，结构框图所示为系统设计的核心，即外部环境和手持设备两大部分组成。

第一部分，外部环境主要由图片构成，前期利用高通VUFORIA AR SDK多目标实时跟踪特性，使图片转化为含有若干特殊识别点的识别图，识别图主要用于激活读取设备的摄像头，调用系统中的子程序。

第二部分，以手持设备的摄像头为输入介质，通过处理器对图像识别并与unity3d场景中的识别图进行识别点比对。若匹配成功，通过对设备的操作，从而调用出预设的虚拟模型及脚本信息，使模型出现在屏幕中，从而达到增强现实的目的。

2  系统实现

基于飞机维修手册和发动机航线维护内容，采用Unity3D仿真软件结合增强现实技术，开发以机务为中心智能化的民航发动机辅助维修系统，通过手机或平板电脑上的摄像头获取发动机实物景象或图片，利用图像识别技术对目标对象特征计算分析[3]，将虚拟的发动机、维护工具、信息及维修指令、动作序列等，叠加到真实环境中，以辅助机务工作者认知发动机各系统组成及功能，完成复杂维护工作。以下为主要步骤：

（1）根据维修手册中发动机子单元体或零部件的图片（以风扇单元体为例），结合高通VUFORIA SDK的图像识别特性制作识别图（如图2）。制作识别图时，注意照片格式，导入后完成设置，才能很好的制作成识别图。识别图中识别点越多，识别图星级越高，图像则越容易被识别，并将是必须导出后的Unity package file与高通官网下载的vuforia-sdk-android插件包导入到unity3d新建場景中。

（2）配置识别图与插件包。打开unity 3d创建新场景，将下载的识别图与插件包依次打开后点击Import即导入到新场景中。在新场景中，删除原有的Camera，在图3所示的页面布局中，左下方Projcet项目中可找到Vuforia文件夹，找到ARCamera与ImageTarget两个物体，拖入到图3左上方Hierarchy框中，则AR插件已准备完毕。但是识别图仍未显示，ImageTarget仍是一个白色矩形，这是由于未将识别图由3D（天空盒）调整为2D（平面），在Project框中找到下载的识别图插件包，点击图片，页面右方Inspector框中将图片Texture Shape属性由Cube改为2D。 再点击左面ImageTarget时，部分unity版本会弹出窗口，直接点击Apply即可（如图3中识别图）[4]。

（3）根据维修手册，利用3DS MAX、MAYA工程建模技术制作虚拟模型。制作模型时，以“模型轻量化”的原则，即以最小的模型占用空间量最大程度的还原模型，对于一些不涉及拆装问题的模型棱角可以虚化，减少点线面的数量，为后期手持设备的安装运行做铺垫。模型制作完毕后，需导出对应格式，注意将模型的物理属性调至与unity3d中一致，将导出的模型导入unity 3d中（如图2），并移至ImageTarget下使之成为一个子物体。

（4）根据维修手册的拆装步骤，利用Visual Studio编写C#脚本。脚本以帧数为基础，通过一个变量即可实现帧数的循环。脚本主要控制两个部分的增强现实效果。第一个就是模型，模型在语句中定义后，就会产生从属关系，运用适当的语句，即可实现模型的出现、闪烁、运动以及消失等，分别可以通过下面语句进行实现：

c1g1.GetComponent（）.enabled = true/false（c1g1为定义模型名称。True出现False消失）;

if （（j / 2） % 2 == 0）

{ c1g1.GetCoponent（）.material.color = Color.yellow;

j++; }

else{ c1g1.GetComponent（）.material.color = Color.gray;

j++; }

（j为帧数，可实现模型灰色和黄色之间的颜色变换，达到闪烁效果）

c1g1.transform.Translate（0， 0， 80f * Time.deltaTime）;

（0，0，80f分别代表沿x、y、z轴移动速率）

这样就可以使模型在笛卡尔坐标系（x、y、z）中按照预设路线运动。

第二就是字体，拆装步骤必须有鲜明的文字作指导，以减少维修过程中的差错。字体的大小、颜色和位置可分别通过下面语句实现：

zt.fontSize = 20（20为字号）;

zt.normal.textColor = new Color（0， 0， 0）（根据RGB配色表改变数字）;

GUI.Label（new Rect（10， 70， 400， 400）， info1， zt）（10，70代表屏幕中xy坐标;400，400代表字体所占矩形空间长*宽）;

字体还有一个特殊的功能，即制作按钮，按钮在系统实现过程中是一个重要的角色。它可以控制虚拟维修动画的开始与终止，调用绑定在模型上的脚本，激活嵌套程序中的子程序。按钮的大小，位置可通过下面语句实现：

GUI.skin.button.fontSize = 40;（按钮中字体大小

if （GUI.Button（new Rect（8， 8， 400， 60）， "拆卸风扇主单元体"））

{ i = 1;}

（8，8为按钮位置，400，60为按钮占用空间长*宽，“拆卸风扇主单元体”为按钮内容，i表示步骤）

当一个脚本完整的调用整个模型后，即完成拆卸动画[4]。

（5）对虚拟仿真平台unity 3d制作的场景进行打包发布。在发布前，需要配置环境变量JDK与SDK，两个均可通过网络链接进行下载，并通过路径Edit?Preferences?Eternal Tools配置sdk与jdk的读取路径，从而实现跨平台移植。最终可发布成Android、iOS、Windows等多个平台的运行程序。

（6）将发布成的apk（以Android平台发布的风扇单元体为例）安装到手持设备上，即可运行（如图4）。由于发动机模型较大，在运行时比较考验设备的硬件能力，若发布成Android平台，建议使用高通骁龙845及以上的系统设备。

通过对系统成果的检验，将增强现实技术和航空维修相结合是可取的，相比传统的维修方式有着极大的优势，也代表了下一代维修发展方向，即基于增强现实的数字化维修。但系统仍需要优化，比如模型轻量化、算法优化等，如何有效应用到实际工作中需要进一步探索。而且可以继续研究，将VR中的人机交互引用到AR中，传给使用者的感官产生反馈效果，增强使用体验。

参考文献

[1] Ronald T.A Survey of Augmented Reality[J]. Teleoperators and Virtual Environments，1997，4（2）：355-385.

[2] 李洁.基于Android平台的增强现实系统研究与应用》[A].河北农业大学硕士学位论文[C].河北农业大学，2015.

[3] 张克发.AR与VR开发实战[M].北京：机械工业出版社，2016.

[4] 吴雁涛.unity3d平台 AR与VR开发快速上手[M].北京：清华大学出版社，2017.