增强现实技术在装配检修中的应用研究*

朱 标

(1.中航华东光电有限公司，安徽 芜湖 241000；2.安徽省现代显示技术重点实验室，安徽 芜湖 241000；3.国家特种显示工程技术研究中心，安徽 芜湖 241000；4.特种显示国家工程实验室，安徽 芜湖 241000)

0 引 言

增强现实(Augmented Reality，AR)技术是指将计算机构建的虚拟对象和虚拟场景与人类真实感知的现实场景相叠加，达到虚实结合的目的，以提高用户对真实世界的感知及交互体验。目前，增强现实技术普遍应用于军事装备、动感游戏、三维重建与工业生产等领域，其中工业生产作为国名经济发展中至关重要的一部分，同时产品的装配检修是工业生产过程中最重要的环节之一[1]，所以研究增强现实技术在产品的装配检修中的应用是非常有意义价值的。目前，国内很多企业开设了产品的装配检修技能的培训，但企业员工实际操作大多还是借助图纸或教学视频来实现装配检修，尤其是对于刚参加工作的新进员工来说，图纸或教学视频并不能让他们快速熟悉装配检修流程，就很可能出现误操作而给企业带来时间和经济上的损失，运用增强现实技术指导新进员工对产品进行装配检修，能够让新进员工快速熟悉和掌握该项工艺技能，大大提高了工作效率，降低了时间和经济成本。

随着计算机处理水平的不断提高，将工业生产的装配检修与增强现实技术相结合将会是一个新型行业，方式不仅能够提高企业员工的工作效率和减少误操作，也能给企业带来更大的利润空间，因此主要针对上述问题开发基于增强现实技术的装配检修系统，将增强现实技术应用到工业生产的装配检修中，目的是提高了企业员工的装配和检修的效率和降低装配和检修的误操作率。

1 国内外发展现状

增强现实技术作为当今研究热点方向之一，许多国内外著名的企业与研究机构都将其作为主要的研究方向。首先针对国外的研究情况，Wanger等[2]开发出能够在掌上电脑上运行的增强现实技术，通过利用ARToolKit开发包进行开发，并且移植到计算机平台。美国NASA喷气推进实验室利用虚拟现实三维引擎开发了火星探测车的模拟系统[3]。德国Bauhaus大学研究小组开发了一套基于增强现实的博物馆导览系统并移植到手机，在此基础上利用蓝牙装置收发的信号来定位用户实时的具体位置信息[4]。AIRBUSMilitary的Serván等[5]在飞机车间零件装配中利用增强现实技术和工业数字样机技术开发了相关项目，并证明了项目的可行性和实用性。

国内增强现实技术相对国外发展起步较晚，研究稍少，但近几年随着互联网技术的不断发展，增强现实技术在国内掀起了一波高潮，并伴随着巨大的商业价值和良好的发展潜力[6-9]，万华根团队通过IVAS装配系统搭建了一个可对零部件的选取、装配的人机交互界面，不仅如此，系统还能有效地获取零部件装配的正确顺序，随着国内增强现实技术不断发展，带动了工业生产中基于增强现实技术的智能眼镜的进步，如国内的亮亮视野的GLXSS Pro眼镜主要应用在医疗和安防领域，在医疗领域主要利用增强现实技术提升就诊时间效率，在安防领域主要让警务人员实时地获得人脸识别信息，并将实时信息远程传输到后台服务器中进行分析处理，并指导警务人员进行下一步操作。

2 装配检修系统的总体设计

2.1 智能眼镜的规格需求

目前国内外基于增强现实技术的智能眼镜众多，都有各自的优势与成像技术，选择爱普生BT-300智能眼镜作为验证平台，BT-300智能眼镜的优势首先在于光学系统成像很清晰，不会出现重影的现象，然后结构设计符合人机工学并且是双目，不会使人产生疲劳感，最后其结构轻巧便利，待机时间长。图1为爱普生BT-300智能眼镜的结构图，其基本规格参数如表1所示。

图1 爱普生BT-300智能眼镜的结构图

表1 爱普生BT-300智能眼镜的基本规格参数

2.2 增强现实的主要技术

基于增强现实技术的装配检修系统主要包括5项关键技术，基于增强现实技术的装配检修系统的原理如图2所示。

图2 装配检修系统的原理图

(1)虚拟对象的获取。首先需要建立虚拟装配场景及所需的虚拟三维模型，虚拟三维模型可以通过3dmax、Maya和SolidWorks等三维建模平台建立而获取。

(2)信息采集。通过智能眼镜的摄像头传感器在真实场景中获取相应的视频流数据。

(3)根据摄像头参数并通过预先设定的识别标记对象将三维的虚拟对象匹配到视频流上的真实场景中，达到虚实结合的作用。

(4)当虚拟对象与真实场景匹配完成之后，在此基础上开发满足操作人员需求的内容，并将三维虚拟信息、真实场景信息及装配检修信息展示给操作人员。

(5)将最终的应用程序移植到智能眼镜上，目的是让操作人员解放双手并提供真实的交互体验和安全可靠的装配检修指导。

2.3 开发平台的选择

三维开发引擎有很多，包括Unity3D、UE4和Cryengine等，目前国内外大多采用Unity3D引擎开发产品，该引擎开发效率高、开发周期短、人机交互性好与支持多种三维模型插件，引擎最大的优势在于该软件支持多种平台的发布，包括安卓、IOS、Mac和PC等。

对于虚拟三维模型的构建主要是通过SolidWorks三维建模平台，SolidWorks拥有多种模块功能，并具有实体设计、曲面设计、模具设计、装配体和动画等基础功能，操作界面简单明了，设计人员容易上手等优势[10]。

基于增强现实技术的装配检修系统通过SolidWorks软件建立虚拟三维模型并将其导入到Unity3D引擎中作为虚实结合中“虚”的部分，并最终与真实场景相结合。

2.4 功能需求及整体框架的设计

根据企业的实际需要确定功能需求，通过增强现实技术实现两个方面操作，一是对型号产品的拆解与装配，二是使用万用表对电路主板的检修操作以及线束线缆的排列，目的是给操作人员提供一定的指导和培训，因此，开发内容应满足几个基本需求:

(1)具有准确的、真实的三维模型以及真实场景;

(2)具有旋转、平移、流程步骤的选择功能;

(3)对每一步的装配检修流程均给出文字或者动画提示;

(4)完成的应用程序要能移植到移动终端智能眼镜中，供操作人员佩戴操作;

(5)具备扫描二维码的功能。

在得到具体需求后，装配检修系统的整体框架可以设计成4个主要组成部分，装配检修系统的整体框架设计如图3所示。

图3 装配检修系统的整体框架设计图

(1)三维模型的构建。三维模型的构建是增强现实技术很关键的一部分，主要是制作三维虚拟对象，包括装配所需要的零部件，通过SolidWorks软件将制作好的模型以3ds的格式导入到Unity3D软件中，并模拟出真实的应用场景。

(2)UI界面的交互。UI界面是一个产品较为关键的一部分，注册跟踪、鼠标的拖拽、屏幕的触控技术等，一个高效率的UI界面能够给操作人员更为简洁明了的操作，包括如何点击事件，如何跳转场景以及该应用程序如何使用。通过UI界面以及整个虚拟装配流程可以有效地向操作人员展示。

(3)应用程序的移植。开发完的应用程序需要移植到移动平台上，由于是应用在工业生产上，所以最佳的移动平台是智能眼镜，可以将智能眼镜直接佩戴在头上即可操作，避免手机、平板电脑等平台不能脱离双手的局限性。

(4)二维码的识别。通过启动智能眼镜的摄像头扫描二维码可以快速地进入应用程序，方便高效且安全可靠。

3 装配检修系统的验证

主要通过两个实验来验证装配检修系统，实验一是对型号产品的拆解与装配，对实验一的开发和设计流程进行详细介绍；实验二是使用万用表对电路主板的检修操作以及线束线缆的排列，实验二开发流程和实验一相同，不在阐述，仅给出实验结果。

3.1 UI界面设计

首先确定需求及功能，然后根据需要和功能进行设计和开发，UI界面通过Unity3D中自带的UGUI进行开发，程序启动后出现启动画面，启动画面包含公司的标志，以及相应产品的基本介绍和功能说明，最后出现功能界面，功能界面包含3个功能按钮，分别代表操作说明、培训指导和拆解组合。

3.2 功能设计

根据3.1节中生成功能界面，分别设计相对应的功能，如图4所示，图4(a)-图4(c)分别为单击操作说明、培训指导及拆解/组合3个功能按钮后将出现对应的3个UI界面。其中操作说明UI画面表示对产品的操作步骤进行说明，使操作人员提前对产品操作有一个大概的了解；培训指导UI画面是操作人员与产品进行互动的环节，操作人员根据装配检修系统指示进行操作；拆解与组合UI画面是以动画的形式向操作人员演示产品的拆解与组合的过程；3项功能UI界面都有返回功能界面的按钮，相互之间可以切换，以利于操作人员更快熟悉装配的工艺流程。

(a)操作说明

功能界面中3项功能之间互相补充，首先以文字与动画的相结合的方式向操作人员展示装配工艺，然后在实际操作中又进行一步步进行指导，并进行错误提示，使装配的错误率达到最低，最后对整个装配过程进行记录，为操作人员事后分析提供依据。

3.3 文件的打包与测试

在开发完应用程序之后，需要将应用程序移植到移动终端，首先通过Unity3D打包成.apk文件，并移植到爱普生BT-300 AR智能眼镜中进行安装，为操作人员进行佩戴使用，根据使用反馈，装配检修系统为操作人员，特别是新进人员提供便利和指导，减少了装配出错率，提高了装配效率，通过一段时间的数据统计，装配百台产品错误率由之前的20.6%降低到12.5%，装配百台产品效率相比之前提升了10.3%。

实验二的演示效果图如图5和图6所示，图5展示了如何指导操作人员使用万用表在电路板上进行电路板端电压以及主要零件间好坏的测试，图6展示了线束装配的仿真效果。根据操作人员的使用反馈，装配检修系统的最终的效果能够满足操作人员的需求，同时能够无故障的长时间运行，为设备产品的装配和检修提供一定的指导操作。

图5 设备检修的效果图

图6 线束装配的效果图

4 结 语

提出了基于增强现实技术的装配检修系统，首先对增强现实技术国内外研究情况进行调研，发现增强现实技术在工业生产特别是装配检修过程具有很好的辅助指导作用，然后结合企业新进员工在效率低和出错率高方面的问题，开发了基于增强现实技术的装配检修系统；最后将装配检修系统移植到移动终端，并使用两个实验进行验证，通过新进员工的使用反馈，基于BT-300 AR智能眼镜的装配检修系统具有较好的交互性和沉浸性，能够让新进员工更好地了解企业产品的结构和装配检修工艺，提高了装配检修的效率，降低了装配检修出错率，对实际操作具有一定的指导意义和辅助作用。

目前的增强现实技术虽然已快速发展，但仍有许多问题未解决，如虚实结合受环境的影响比较大等，只能在特定环境下使用，但随着增强现实算法的不断优化和移动终端设备的不断升级与完善，增强现实类产品的普及是必然的趋势。

参考文献(References):

[1] 王博.中国机械制造行业现状分析及未来发展趋势[J].企业技术开发,2013,32(21):9—10

WANG B.Analysis of the Current Situation and Future Development Trend of China’s Machinery Manufacturing Industry[J].Technological Development of Enterprise，2013，2(21):9—10(in Chinese)

[2] WAGNER D，SCHMALSTIEG D.ARTool Kit Plus for Pose Tracking on Mobilephones[C]//Proceedings of the 2nd IEEE Intl.Augmented Reality Toolkit Workshop，Tokyo,2003

[3] WANG J，BENNETT K J.A Virtual Reality Study on Santa Maria Crater on Mars[J].Virtual Reality，2013(12):105—106

[4] BRANS E，BROMBACH B，ZEIDLER T，et al.Enabling Mobile Phones to Support Large-Scale Museum Guidance[J].IEEE Multimedia，2007，14(2):16—25

[5] 王楚迪.移动增强现实跟踪注册技术的研究与应用[D].沈阳:沈阳工业大学,2017

WANG C D.Research and Application of Mobile Augmented Reality’s Tracking and Registration Technology[D].Shenyang:Shenyang University of Technology,2017(in Chinese)

[6] 侯颖,许威威.增强现实技术综述[J].计算机测量与控制,2017,25(2):1—22

HOU Y，XU W W.A Survey of Augmented Reality Technology[J].Computer Measurement & Control，2017,25(2):1—22(in Chinese)

[7] 慕竞玮.增强现实技术发展分析及预测[J].软件导刊,2018,17(3):4—7

MU J W.Analysis and Prediction of Augmented Reality at Home and Abroad[J].Software Guide,2018,17(3):4—7(in Chinese)

[8] 周洋.增强现实技术(AR)在游戏上的运用研究[J].无线互联网科技,2016(7):114—115

ZHOU Y.Research on the Use of Augmented Reality(AR)in the Game[J].Wireless Internet Technology,2016(7):114—115(in Chinese)

[9] 周忠,周颐,肖江剑.虚拟现实增强技术综述[J].中国科学:信息科学,2015,45(2):157—180

ZHOU Z,ZHOU Y,XIAO J J.Survey on Augmented Virtual Environment and Augmented Reality[J].Scientia Sinica Informationis，2015,45(2):157—180(in Chinese)

[10] 陈洪,马钦,朱德海.基于Unity3D的交互式农业仿真平台研究[J].农机化研究,2012，32(3):184—186

CHEN H，MA Q，ZHU D H.Research of Interactive Virtual Agriculture Simulation Platform Based on Unity3D[J].Journal of Agricultural Mechanization Research,2012，32(3):184—186(in Chinese)