基于移动终端的飞机装配现场工艺可视化系统*

（北京航空航天大学机械工程及自动化学院，北京 100191）

飞机装配是飞机制造过程中的重要环节，与飞机的性能、质量等因素密切相关[1]。在飞机装配过程中，装配现场工艺可视化程度直接影响操作人员的工作效率[2]。提高装配现场工艺可视化程度，优化装配现场信息管理方式，有利于提高飞机装配的效率。

现代飞机装配行业中，基于三维模型的装配仿真技术得到广泛应用，为飞机装配现场无纸化提供了重要前提，因主要应用于装配工艺设计阶段，在装配现场应用较为有限[3]。Autodesk公司提出了一种可交互三维工艺可视化方法应用于工业装配现场[4]，西北工业大学通过基于（Model Based Definition,MBD）技术的三维作业卡，将轻量化模型应用于飞机等复杂产品的检修现场[5]。但是在现场应用过程中，由于可视化终端设备固定，操作者在飞机内部或距离终端设备较远的位置操作不便，甚至需要从装配工位到控制计算机反复、频繁移动，并依赖对三维模型的感官记忆辅助装配，人机交互需要借助鼠标和键盘来浏览三维模型，严重影响操作者的直观体验[6]。因此，在飞机装配现场应用三维可视化技术过程中，提高可视化终端设备的便携性和直观性有利于提高装配人员的工作效率。

本文提出了基于移动终端的飞机装配现场工艺可视化及信息管理方法，将仿真动画和三维简化模型载入移动终端，提高工艺可视化水平，并在此基础上对传统的交互方式进行改进，通过触摸屏实现装配人员与三维模型的直接交互。利用移动终端无线网络数据传输技术实现装配现场信息的实时发布和反馈，开发了一套基于移动终端的飞机装配现场工艺可视化及信息管理系统，提高飞机装配现场的工作效率。

基于移动终端的工艺可视化及信息管理方法

飞机装配现场工艺可视化的目的在于工艺规程的分层次展现[11]，并通过装配仿真过程动画以及三维模型使装配人员直观理解装配工艺。可视化信息包括任务文本、工艺规程文件、仿真动画以及三维数字化模型等，可以通过无线网络数据传输技术从远程工作站下载，用以指导现场装配。

飞机装配现场工艺可视化及信息管理系统总体架构和模块划分如图1所示。其中显示层用于装配现场工艺可视化，通过任务信息、AO工艺文本、仿真动画以及三维数字化模型直接指导现场装配；数据层负责组织装配数据信息，并存储于后台装配信息数据库；数据传输层实现工艺数据发布和反馈功能。

1 基于数据字典的工艺数据组织与可视化

工艺文件的数字化改变了传统的工艺设计过程，使工艺人员从繁重的重复劳动中解脱出来，有利于工艺规程的编制和管理[12]。从数字化工艺文件中自动提取工艺规程并存储于数据库，与移动终端系统数据字典形成映射模型，即可实现工艺规程在终端系统上的可视化。本文采用基于数据字典的工艺数据组织与可视化方法进行数据组织和可视化，其实现流程如图2所示。

（1）AO工艺规程电子化:工艺员在Excel环境下编写工艺规程，形成Excel类型电子化工艺文件，便于工艺规程管理及与CAPP系统集成[13]。

（2）建立工艺数据库:通过Excel表格行与列的定位关系，批量自动提取工艺文件中的工艺规程信息，如工艺规程编号、工序名称、工步序号、操作说明等，存入工作站数据库创建工艺数据表。

罗译：...since he is almost of the same age and as erudite as another man...[6]64

（3）工艺数据网络传输:从数据库中提取工艺规程信息，按其层次关系组织为Json格式数据，通过Http网络框架传输至移动终端，以工艺规程编号为键值建立工艺信息与数据字典的映射关系，并存储为属性列表（plist）文件。

（4）工艺规程可视化:在移动环境下按键值对关系解析数据字典中的工艺数据，分层次显示在移动终端页面，实现工艺规程便携式可视化。

上述过程以数据字典方式存储工艺规程数据，不仅能够满足飞机装配工艺规程逻辑要求，而且节省存储空间。移动终端存储容量有限，采用合理的数据存储结构，有效地保证了大量工艺数据在移动环境下的可视化。

图2 基于数据字典的工艺数据组织与可视化流程Fig.2 Process organization and visualization procedure based on data dictionary

2 便携式数字化仿真与三维模型交互

2.1 便携式装配仿真

为实现装配工艺的便携式直观可视化，将仿真动画载入移动终端辅助现场操作。通过实现移动终端系统的多媒体数据接口API，完成仿真动画在移动终端上的播放及进度控制，在装配过程中随时保证仿真过程的清晰和流畅。通过移动终端系统关键字查询功能，装配人员可快速检索到所需的仿真过程文件，并进行仿真过程回看、仿真过程分步浏览等操作。

2.2 三维模型绘制与交互

在移动终端上绘制三维模型需要嵌入式CPU与GPU等硬件支持，并依托于OpenGL ES、OSG等嵌入式三维图形绘制API[14]。在移动终端进行三维模型绘制时，为提高图形绘制速度和交互流畅度，需采用简化后的轻量化三维模型。本文采用二次误差测度（Quadric Error Metrics,QEM）简化算法，以迭代边折叠为简化手段，通过不断进行边折叠的代价计算完成模型简化过程[15]，并将模型数据文件输出为obj格式，用于移动终端显示。

利用基于OpenGL ES的三维图形加载引擎NinevehGL，加载简化后的obj格式三维模型，并嵌入可视化窗口。通过添加面片、光照、材质等信息，实现轻量化模型在移动终端系统中的绘制和渲染，其实现流程如图3所示。

在三维模型载入移动终端显示的基础上，利用移动终端的触屏功能，通过监听移动设备屏幕上的触摸事件，实现操作者与三维模型的人机交互。

针对操作者对三维模型的不同操作情况，设计并实现了手势交互算法，算法流程如图4所示。

（1）获取移动终端屏幕上接触手指的数量，若为1判断为旋转操作，若为2判断为缩放或平移操作，若＞2按终端系统默认手势处理。

（2）当判断为进行旋转操作时，获取手指与屏幕当前接触点和先前接触点坐标，并计算X、Y两轴方向的差值，将此差值进行加权后作为三维模型各轴旋转量，进行模型重绘，实现旋转操作。

（3）当判断为缩放或平移操作时，获取手指与屏幕当前两个接触点和先前两个接触点的坐标，分别计算两对接触点距离并求得距离差值。若此距离差值＞阈值，则判断为缩放操作，将此差值加权后作为缩放倍数，进行模型重绘，实现缩放操作；若此距离小于阈值，则判断为平移操作，取当前任一触摸点计算其与先前触摸点的X、Y轴向差值，将此差值加权后作为平移位置参数，进行模型重绘，实现平移操作。

图3 移动终端三维模型绘制流程Fig.3 Rendering procedure of threedimensional model

图4 三维模型手势交互算法流程图Fig.4 Gesture interaction algorithm of digital model

本算法根据接触手指数量及移动轨迹的变化，对三维模型的坐标进行相应变换，实现模型的旋转、缩放、平移等交互响应，交互方式更加直观，有利于现场装配人员对装配信息的全面理解。

2.3 移动环境下装配现场信息管理

利用移动终端与后台数据库远程通信技术，可以实时更新上游装配信息数据库，实现现场信息的实时反馈[16]。当装配现场信息发生改变时，如任务状态改变、装配工位人员变动、实际测量值更改等，装配人员通过移动终端向服务器发送修改请求，服务器连接装配信息数据库进行数据更新，并将更新结果实时发布到移动终端显示，提高装配信息流传递与更新的效率，其工作过程如图5所示。

系统以Tomcat服务器为介质，进行移动终端与工作站数据库之间的数据传输。按数据传输的过程分为数据筛选、数据传输和数据反馈3个基本阶段，各阶段工作过程如下:

（1）数据筛选:移动终端通过ASIHttpRequest移动网络请求框架向服务器发送（post）数据筛选条件，后台数据库接收并处理服务器的请求后，连接数据进行查询操作。（2）数据传输:在Windows系统环境下，通过Jdbc方式建立Windows系统与SqlServer数据库的连接，经过Servlet技术处理后上传至服务器，经过Json数据组织和解析，发布显示在移动终端页面。（3）数据反馈:当装配现场数据发生变化时，移动终端返回更改值到服务器，通过无线网络远程更新数据库，实现装配现场数据信息的实时反馈。

系统实现

利用本文提出的基于移动终端的飞机装配现场工艺可视化及信息管理方法，通过移动终端开发技术以及无线网络通信技术，开发了一套基于移动终端的飞机装配工艺可视化及信息管理系统。选取承载iOS6操作系统的苹果公司平板电脑iPad2作为移动终端系统硬件，利用Xcode开发工具进行移动终端前端系统开发。应用Tomcat服务器作为数据传输介质，以SqlServer数据库存储工艺数据，通过J2EE技术实现数据库与服务器之间的数据交互。

移动终端系统通过无线网络从工作站数据库下载任务信息、工艺规程、仿真视频和轻量化三维模型等工艺数据文件，以模块化形式展现工艺信息。

系统任务模块界面如图6所示，将任务信息以简洁的用户界面呈现，装配人员可快速准确地获得所需信息。

系统装配工艺AO模块页面如图7所示，将电子化工艺规程分层次展现在移动终端。

系统装配仿真模块界面如图8所示，将仿真动画嵌入可视化窗口框架，并实现仿真动画的进度控制，直观体现装配工艺过程。

图5 移动环境下装配现场数据传输及反馈过程Fig.5 Data transmission and feedback process on site

图6 系统主页任务模块页面Fig.6 Home page of the task module

图7 装配工艺AO模块页面Fig.7 Page of assembly process AO module

图8 仿真动画播放及进度控制Fig.8 Simulation play and control

图9 三维模型渲染与交互Fig.9 Rendering and interaction of digital model

系统三维模型浏览交互模块界面如图9所示，将轻量化三维模型引入装配现场，便于操作者随时查看装配体或零件的三维模型，并可以通过手指直接与三维模型进行交互。

结束语

本文开发了基于移动终端的飞机装配现场工艺可视化及信息管理系统，研究了基于移动终端的工艺数据组织方法，采用移动三维图形绘制技术和无线网络通信技术，解决了工艺仿真结果在飞机装配现场应用困难问题。与传统的桌面端工艺可视化和信息管理系统相比，本系统具有直观便携性，更好的人机交互体验及实时信息反馈机制，且支持多个终端同时操作，为并行作业提供了基础。现代化智能移动终端的应用越来越广泛，随着其硬件性能的提高和系统开发的多元化[17]，其在飞机装配行业中具有广阔的应用前景，对提高飞机装配现场作业效率具有先导性意义。

[1]范玉青,梅中义,陶剑.大型飞机数字化制造工程[M].北京:航空工业出版社,2011.

FAN Yuqing, MEI Zhongyi, TAO Jian.Digital manufacturing engineering of large aircraft[M]. Beijing:Aviation Industrial Press,2011.

[2]ZHU W，HAN H，FANG M, et al.Studies on visual scene process system of aircraft assembly[J]. Journal of Manufacturing Systems，2013, 32(32):580-597.

[3]QU L, ZHAO T. Technological research on aircraft assembling process visualization oriented assembly field[C]. 2010 International Conference on Computer Application and System Modeling, Taiyuan, 2010.

[4]WANG Q H, LI J R. Interactive visualization of complex dynamic virtual environments for industrial assemblies[J].Computers in Industry, 2006,57(4): 366-377.

[5]GENG J H, TIAN X T. A design method for three-dimensional maintenance, repair and overhaul job card of complex products[J].Computers in Industry, 2014, 65(1):200-209.

[6]赵伟. 三维可视化装配技术[C].2011年河南省先进制造技术学术年会，郑州,2011.

ZHAO Wei. Three dimensional visualization technology[C]. Advanced Manufacturing Technology Seminar in Henan Province in 2011,Zhengzhou, 2011.

[7]肖峥嵘, 赵友军. 移动终端3D技术及发展分析[J]. 移动通信, 2013, 37(5):27-30.

XIAO Zhengrong, ZHAO Youjun. Analysis and development of 3D technology of mobile terminal[J]. Mobile Communication, 2013,37(5):27-30.

[8]MORKOS B，TAIBER J，SUMMERS J，et al. Mobile devices within manufacturing environments: a BMW applicability study[J].International Journal on Interactive Design &Manufacturing, 2012, 6(2):101-111.

[9]Airbus. Global market forecast[EB/OL][2012-02-31]. http://www.airbus.com/company/market/forecast/.

[10]HAN S H，AL-HUSSEIN M，ALJIBOURI S, et al. Automated post-simulation visualization of modular building production assembly line[J]. Automation in Construction,2012, 21(1):229-236.

[11]王云渤.飞机装配工艺学[M].北京:北京国防工业出版社, 2012:23-26.

WANG Yunbo. Aircraft assembly technology[M]. Beijing: National Defense Industry Press, 2012:23-26.

[12]RÍOS J, MENÉNDEZ J L, GÓMEZ A. A process-oriented approach to modeling the conceptual design of aircraft assembly lines[J].Advanced Manufacture Technology, 2013, 67(1-4):771-784.

[13]ANSELMETTI B，FRICERO B. Aid tool for the design of process and aircraft assembly lines[J]. Aerospace Science & Technology, 2012,23(1):387-398.

[14]何高奇. 面向移动设备的图形绘制技术研究[D]. 杭州:浙江大学,2010.

HE Gaoqi. Research on graphics rendering technology for mobile devices [D]. Hangzhou:Zhejiang University, 2010.

[15]杨毅. 面向移动设备的真实感图形处理[D]. 合肥:中国科学技术大学, 2010.

YANG Yi. Realistic graphics processing for mobile devices[D]. Hefei: University of Science and Technology of China, 2010.

[16]BILAL M. An intelligent future mobile terminal architecture[C]. International Conference on Information & Emerging Technologies, Karachi,2010:1-6.

[17]LI Shangmeng, SHANG Yanlei, HA Jingjing, et al. The design and implementation of multimedia conference terminal system on 3G mobile phone[C]. 2010 International Conference on E-Business and E-Government, Guangzhou, 2010.