基于虚拟融合技术的QAR数据应用模式构思

2018-01-02 10:31韩静茹
科学与财富 2018年31期
关键词:元数据

韩静茹

摘 要: 中国民航飞行品质监控基站汇集了大量快速存取记录器( QAR,Quick Access Record)数据,虽然QAR数据具有很高的应用价值,但仅仅基于QAR数据进行分析,维度不够丰富,而QAR数据包含敏感信息,因此不能利用传统的拷贝方式,与其他数据进行融合。为解决此问题,本文提出利用虚拟融合技术,经过元数据仓库构建和元数据关联等过程,构建QAR数据与其他数据集的融合,以此作为底层数据源,在数据不做物理搬迁条件下,进行多源数据综合分析,深度挖掘QAR等飞行数据的价值。经过实例验证,在不复制拷贝的条件下,通过融合基站数据与不安全事件库,进行关联匹配分析,匹配结果正确。

关键词: QAR;虚拟融合;飞行品质监控;元数据

1.引言

目前我国要求各运输航空公司按照民航局《飞行品质监控(FOQA)实施与管理》咨询通告开展本公司的飞行品质监控工作。[1]2017年,中国民航飞行品质监控基站正式运行,每日收集中國民航三千余架飞机的快速存取记录器( QAR,Quick Access Record)数据,数据量巨大。QAR数据记录了整个航段的各类飞行参数的数值,为航空器操作、维修和设计以及民航领域的安全管理提供数据和信息支持。

拥有如此庞大有价值的数据样本,科研工作者以此为基础,开展了民航安全、民航运行等各个领域的数据分析工作。目前,QAR数据的利用主要集中在三个方面: 一、飞机性能监控与机务维修。如利用QAR 数据进行航空器性能风险评估。[2]二、利用QAR 数据对飞行品质进行分析。局方基站工程师利用QAR数据开展了各类飞行品质统计分析,如地面滑行时间统计、起降机场风速风向分析、冲偏出跑道风险分析。三、事故调查中,利用QAR数据进行飞行仿真,更直观的展现事故情形。虽然,QAR数据价值广阔,利用QAR数据也已经开展了很多相关分析,但是限于QAR数据的特殊性,以上的应用分析研究仅仅依靠QAR单一数据源,数据分析维度单一。若想利用QAR数据进行更深层次的分析,势必要融合多源数据,比如机组资源数据,运行数据、气象数据、地质数据等等,而QAR数据相对敏感,不允许采用传统拷贝复制的方式,与其他数据进行集成融合。

虚拟融合技术能够很好的解决传统数据融合物理迁移的问题。本研究引入元数据理念,经过仓库构建和元数据关联等过程,构建QAR数据与其他数据集的融合,以此作为底层数据源,在数据不做物理搬迁条件下,进行多源数据综合分析,深度挖掘QAR等飞行数据的价值。

2.虚拟融合流程

122.1QAR工程值结构

QAR原始数据为二进制文件,经过译码软件译码后,可以生成工程值文件,目前比较通用的译码软件如AGS、AirFase,都可将QAR工程值存储为CSV格式的文件,下图所示为某架B737飞机的部分译码参数的CSV文件:

2.2虚拟融合

元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(data about data),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。[3]元数据主要应用在数据仓库的建立过程中,数据仓库管理系统的重要组成部分,它描述哪些数据在数据仓库中,帮助决策分析者对数据仓库的内容定位;同时定义数据进入数据仓库的方式,作为数据汇总、映射和清洗的指南。[4]而这些特性可以应用到虚拟融合场景。虚拟融合技术基于元数据理念,通过元数据仓库构建、元数据关联,构建数据的虚拟整合。

虚拟融合框架负责建立和存储元数据模型和模型之间的关联关系,在数据的分析应用过程中,根据元数据信息将查询和计算分解,分解后的子查询和计算下发到各个原始数据库或文件管理服务器,利用原始本地资源进行计算和查询,最后将计算和查询结果在返回到虚拟融合框架,进行业务整合,最终将结果返回应用。整个流程数据始终没有离开原始存储位置,返回的中间值为计算结果而非原始记录,从而保证数据安全的同时,进行了联合查询计算。

3.应用案例

1233.1案例概述

局方基站按照《运输航空承运人飞行品质监控(FOQA)实施与管理》咨询通告的要求,已经建立了飞行品质监控信息上报的工作程序[5]。每日收集的QAR数据,经过基站事件程序处理,触发超限事件告警,理论上这些超限事件已经被各航空公司或机场经航安网上报,但实际存在漏报、瞒报的情况。因此局方基站触发的5级超限事件需要和航安网上报事件进行对比匹配,如果匹配成功,则说明该事件已正常上报,如果匹配失败,则表明可能存在漏报情况,应启动事件核查程序。

选取局方基站触发超限事件与航安网不安全事件库进行匹配。同时,与CSV文件进行关联,将超限时间前后5秒的监控参数值输出。

3.2融合机理

实验总共涉及三个数据源,如下:

1、QAR工程值文件:实验选取全量参数CSV文件作为数据源之一。

2、局方基站超限事件库:该事件库为AGS系统采用的Sybase数据库,存储了AGS处理QAR原始数据生成的超限事件。

3、航安网不安全事件库:该事件库为Oracle数据库,存储了全民航上报的不安全事件。

QAR工程值文件命名规则为:飞机号 + FileNo + 译码日期,FileNo为AGS译码软件译码后生产的唯一标识。因此与局方基站超限事件库可通过飞机号与FileNo号关联;局方基站超限事件库与航安网不安全事件库匹配原则为:飞机号相同,事件触发时间与事件上报时间相差小于48小时。如满足匹配原则,则视为匹配成功。

3.3结果展示

利用上述逻辑,对三个数据源数据进行融合,在此基础上匹配查询了2018年7月的接地俯仰角超限事件,查询结果如下图所示:

比对结果列表显示8条数据,其中前4列显示信息为局方基站超限事件库,后三列为航安网不安全事件库,根据飞机号和发生事件核对,匹配结果正确,但是存在两条超限事件关联同一条航安网事件的情况,这是由于两个系统监控事件关注点不同,超限事件同一航班监控到两条事件,而事件发生原因属于文字描述,如果需要进一步精准对比则需利用文本挖掘进行匹配,但不属于本课题关注点,在此不进行详述。

点击结果中某条数据,可以查看当前事件前后10分钟的CSV明细数据,如下图所示,显示了无线电高度、垂直加速度、低速、空速等信息。

4.结束语

本文主要讨论了一种基于虚拟融合技术的QAR应用分析模式,指出了在数据不做物理迁移的情况下,进行QAR数据与多源数据融合的思路,进而多维度的挖掘QAR数据的应用价值。通过事件对比案例,展示了融合后分析结果,验证了虚拟融合框架对简单数据运算的处理。但对于复杂模型的数据分析,算法可能存在无法有效拆分的情况,因此利用运算分解替代数据拷贝复制,无论从运算正确率还是运算效率上都需进一步验证,可作为下一步研究的方向。

参考文献

[1] 俞力玲. 中国民航飞行品质监控回顾与展望[J].航空安全,2012,8(140):51-53.

[2] 祁明亮、邵雪焱、池宏. QAR超限事件飞行操作风险诊断方法[J]北京航空航天大学学报 2011,10 (37):1207-1210.

[3] 吉文杰、夏小玲. 基于元数据的电子政务发布系统的设计与实现[J].计算机应用与软件,2011,12(28):175-178.

[4] 余叶兰. 基于银行数据仓库的元数据管理体系研究[J]. 湖北第二师范学院学报,2017,2(34),38-40.

[5] 中国民用航空局.飞行运行品质监控(FOQA)实施与管理(AC-121/135-FS-2012-45).2012.

猜你喜欢
元数据
元数据国际交换共享的客家古民居数字记忆工程建设
基于来源的组织机构元数据构建研究
元数据与社会化标签在微视频搜索中的应用
高等院校智慧校园建设规划与实现
利用VB读取中国知网过刊数据提取元数据的研究
财会信息资源元数据标准的研究
基于隐语义模型和用户信任的个性化推荐模型
基于关联数据的语义数字档案馆框架设计研究
基于角色控制的异构数据展示在企业门户中的应用
基于元数据映射机制的异构数据操作