基于超限事件的飞行训练品质评估模型

王帅， 陈勇刚*， 曾超

(1.中国民用航空飞行学院， 广汉 618307； 2.四川航空股份有限公司， 成都 610225)

飞行训练是保证飞行安全，实现民航高质量发展的基础性工作。目前，中国民航飞行员数量已超过60 000人，每年输入运输航空和通用航空的飞行人才近5 000人，基本满足中国航空业发展的人才需求。做好飞行学生训练工作，确保培训质量，为中国民航发展提供专业人才的支撑和保障，不仅关系到中国民航安全水平能否进一步提高，而且影响到建设民航强国的宏伟战略目标能否实现，这也是新时代对民航飞行训练提出的新要求[1]。近年来，民航局不断出台相关政策，全面深化飞行训练改革，提出要实施“大数据+飞行训练”战略：以“科学分析、合理应用”为原则，加强各类数据与核心胜任能力的关联性理论研究，积极拓宽数据源，开发多维度的飞行训练相关数据应用平台，以全面支撑飞行员技能全生命周期管理体系[2]。

飞行品质监控(flight operation quality assurance，FOQA)作为分析运行风险、改进训练方法、提高训练质量的重要手段，可以尽早地识别出超限操作、程序缺陷、航空器性能衰减等，为改进措施地制定提供数据和信息支持，在运输航空与通用航空的飞行训练过程中都发挥着重要作用[3]。目前，众多学者针对运输航空飞行品质监控数据的深入挖掘做了深入的研究。袁伟良等[4]选取起飞爬升和进近着陆阶段的飞行数据记录器(quick access recorder，QAR)数据，利用机器学习算法通过训练粒子群算法与支持向量机(particle swarm optimization algorithm and support vector machine，PSO-SVM)模型实现飞行品质的评估；周长春等[5]利用民用飞机在进近着陆时的影响因素和QAR译码数据,构造出相应灰色聚类评价模型对航空公司某阶段飞机进近着陆安全性进行评估；沈晓峰等[6]建立QAR数据分析的单维度模型和多维度模型,分别针对飞行员个体和机队开展飞行品质分析；陈勇刚等[7]参考“空客飞行品质监控项目”和企业QAR监控项目,构建基于混合型中心点三角白化权函数和树扩展朴素贝叶斯(tree-augmented naïve bayesian，TAN)模型的运输航空飞行安全绩效模糊动态评估模型，实现对企业整体飞行安全状态的动态掌握。在通用航空领域，飞行品质监控的实施以及监控数据的挖掘仍还在起步阶段。任可等[8]对通航综合航电系统飞参数据的筛选和清洗方法进行了详细的介绍；张华忠[9]基于日常飞行中GARMINI1000机载SD卡的飞行数据分析，建立飞行品质监控模型。综上，随着通用航空飞行品质监控项目的不断完善以及监控模型的不断优化，为通用航空飞行品质监控数据的收集和挖掘提供了极大便利。

鉴于此，在收集C-172R、C-172S、SR20型飞机机载GARMIN1000综合航电系统SD卡数据监控超限事件的基础上，提出一种客观与主观相结合的优化组合赋权方法，结合优劣解距离法TOPSIS法和RSR法，对通用航空飞行训练品质进行评估，以期帮助改进训练方法，不断提升训练质量。

1 基于超限事件的飞行训练品质评估指标体系

飞行训练品质监控工作是通过收集训练飞机机载综合航电系统所监控的飞行参数，设定监控项目和指标进行监控，并根据监控情况动态评估飞行训练品质和安全状态，对于训练管理具有十分重要的意义。正因如此，越来越多的训练飞机都安装了综合航电设备，其中佳明公司的产品应用较为广泛，如C-172R、C-172S、DA-40/42、SR-20等常见训练机型均使用GARMIN1000系列航电系统。该系统共记录参数60余个，参数类型较为全面，为飞行品质监控项目的确定提供了数据支持[10]。

通过机载综合航电系统监控发现的超限事件分为偏离事件和红标事件两类。偏离事件的阈值设置基于《飞行运行手册》(Aircraft Flight Manual，AFM)、《飞行员训练手册》(Pilot Training Manual，PTM)、实践考试标准、安全程序与措施、运行经验等制定，红标事件是指在偏离事件基础上严重程度更高，认为需引起足够重视，必要时需介入事后调查的事件[11]。同时，红标事件发生的频次也可以用来反映训练品质的好坏。为此，首先借鉴运输航空FOQA经验，确定3类一级指标，分别为技术指标X1、结果指标X2和行为指标X3；其次，在完成监控项目运算阈值设置并长期实践验证的基础上，选取11项监控超限事件作为二级指标，分别为俯仰姿态超限X11、深失速/非正常失速状态警戒X12、坡度超限X13、近地俯仰坡度警戒超限X14、低空下降率警戒/超限X15；结果指标对应的二级指标有：近地过载超限(重着陆)X21、低燃油量X22、空速超限X23；行为指标对应的二级指标有：粗猛油门操纵X31、俯仰操纵粗猛X32、连续地面等待超时X33)[12]。

2 基于方差最大化的组合赋权方法

2.1 G1法确定主观权重

G1法是通过优化层次分析法(analytic hierarchy process，AHP)法而得到的一种无需一致性检验的权重计算方法[13]，计算过程相对简便，可操作性强，同时可以充分发挥行业专家知识和经验的优点，减少判断误差。具体步骤如下。

步骤1指标重要性排序。统计飞行领域专家各个指标Xi,i=1,2,…,k的打分情况，对打分结果按照重要性进行排序，其表达式为：

(1)

式(1)中:Xi*为排序后的各个指标Xi,i=1,2,…,k。

步骤2确定重要程度rn。对于重要程度，需要用数值对其进行量化。在G1法中通过rn赋值来计算。表1为G1法则常用的rn赋值范围。

通过这些预定的取值，将各个指标的权重量化，具体公式为

(2)

表1 rn赋值参考

式(2)中：Wn为第n个指标的权重。

步骤3计算权重系数。飞行训练中的各个指标权重系数Wz计算公式为

(3)

2.2 CRITIC法确定客观权重

考虑到G1法受专家主观影响较大，可能导致权重赋值上对某些指标“不公平”，不能合理又客观地反映整个系统的“态势”，因此，需要使用更加客观的方式来修正G1法的缺陷。

CRITIC法是一种比熵权法和标准离差法更好的客观赋权法[14-15]，在考虑指标变异性大小的同时可以兼顾指标之间的相关性，对于飞行训练品质监控指标具有较强的适用性。具体步骤如下。

步骤1“0-1”归一化。“0-1”归一化用于消除不同指标间的量纲，同时也可以消除由于数据范围不同带来的误差，具体公式为

(4)

式(4)中：x*为每一个指标归一化后的数据；x为每一个指标原始数据；xmin和xmax分别为每一个指标所能取到的最小值和最大值。

步骤2计算标准差。对标准化后的数据，计算样本的标准差公式为

(5)

式(5)中：σj为第j个指标的标准差；m为样本的记录个数；xij为第j个指标的第i条记录；¯xj为第j个指标的平均值。

步骤3计算指标间的相关系数。计算第j个指标和第k个指标间的相关系数rjk，计算公式为

(6)

式(6)中：Xik为第k个指标的第i条记录；¯Xj、Xk分别为指标j、指标k的样本均值。

步骤4计算各个指标的客观权重Wk，计算公式为

(7)

2.3 基于方差最大化的组合赋权计算

基于归一化约束条件下的方差最大化原理对主客观权重进行优化组合，可以有效反映各属性值本身的差异程度，从而使各个评估对象的评估值相对离散，使得组合赋权更加合理[16]。具体步骤如下。

步骤1构建线性规划方程。假设：方案集X=(x1,x2,…,xn)，属性集G=(f1,f2,…,fm)。yij=fi(xj)，是方案xj在属性fi下的属性值(i=1,2,…,m；j=1,2,…,n)；rij为决策矩阵Y=(yij)m×n的规范化结果。

(8)

步骤2构造Lagrange函数[17]求线性相关系数x1、x2，可表示为

(9)

式(9)中：λ为Lagrange乘子。

(10)

(11)

3 加权TOPSIS-RSR法评估模型设计

在基于方差最大化的G1-CRITIC法组合赋权计算的基础上，采用TOPSIS(technique for order preference by similarity to an ideal solution)-秩和比法(rank-sum ratio，RSR)法建立评估模型，对评估结果进行排序并分档。具体流程如图1所示。

图1 评估模型流程图Fig.1 Flow chart of the evaluation model

3.1 加权TOPSIS法贴进度排序

加权TOPSIS法也叫逼近理想解排序法[18]，根据已经获取的指标权重，利用指标数据的信息，精确地对各评估方案进行综合排序。其步骤如下。

步骤1构建初始标准化矩阵V1。首先，将X评估指标数据进行正向化处理，转化为极大型指标(指标值越大越好)，常用的处理方法有倒数法和差值法。

步骤2构建加权标准化决策矩阵V2。为消除指标量纲影响，需对初始标准化矩阵V1进行归一化处理，并将处理后的矩阵与组合权重做乘积运算，得到V2。

V2=(vij)m×n

=(Zjyij)m×n

(12)

式(12)中：vij为矩阵V2的第i行、第j列的值；Zj为第j个指标的组合权重系数；yij为矩阵V1归一化处理后所得矩阵的第i行、第j列的值。

步骤3确定正理想解集V+和负理想解集V-，其表达式分别为

(13)

步骤4计算评估对象到正、负理想解的欧式空间距离，其表达式为

(14)

式(14)中：di+、di-分别为第i个参数与正理想解、负理想解的距离

步骤5相对帖近度Ci可表示为

(15)

3.2 RSR法定性分档处理

秩和比法(RSR法)是一种比较成熟的统计分析方法，广泛应用于医疗卫生等行业的质量评价过程。借鉴该方法的分档思想，在TOPSIS法计算得到贴进度的基础上，借助RSR法对研究对象进一步分档[19-20]。

(1)Probit值的获取。用Ci值替代RSR值排序后做频数分布表格处理，分别计算各Ci值出现的频数f、秩次R以及累积频数p，结合向下累计频数p(单位：%)查百分比与概率单位对照表得到概率单位Probit值。

(2)回归关系分析。以Probit值为自变量、Ci值为因变量，拟合得到回归方程，并进行显著性验证。

Ci=a+bProbit

(16)

式(16)中：a为常数项；b为斜率。

利用回归方程计算Ci值，即为RSR估计值RSR。

(3)合理划分Probit值，对RSR估计值进行分档，确定评估对象等级。

4 飞行训练品质评估模型实例验证

以某飞行训练单位为例，选取该单位2019—2021年14 个月的监控超限事件时次率作为评估样本指标数据(表2)，对飞行训练品质评估模型进行验证。

4.1 飞行训练品质评估指标组合权重计算

根据飞行领域专家打分结果，可以得出各级指标的重要性序关系，一级指标：X2>X3>X1，二级指标：低燃油量X22>空速超限X23>近地过载超限(重着陆)X21>近地俯仰坡度警戒超限X14>低空下降率警戒X15>俯仰操纵粗猛X31>坡度超限X13>深失速/非正常失速状态警戒X12>俯仰姿态超限X11>粗猛油门操纵X33>连续地面等待超时X32；根据各个指标间的重要性比值rn，利用式(1)～式(3)计算得到一级指标权重系数W=(w1,w2,w3)=(0.206 6,0.462 8,0.330 6)，从数据可以看出，衡量安全状态的结果指标在训练品质评估过程中的权重系数占比较大，以规章底线为约束的行为指标比技术指标更重要，这与当前民航作风建设要求相符合；同理，可以求得各二级指标的主观权重Wzj。由式(4)～式(7)对表2样本数据进行分析，求得二级指标的客观权重Wkj。由式(8)～式(11)可以求得线性规划方程的线性相关系数x1=0.463 7，x2=0.536 3，则基于方差最大化的主客观组合权重方程为

Zj=0.463 7Wzj+0.536 3Wkj

(17)

将Wzj、Wkj代入式(17)求得各二级指标的组合权重Zj，计算结果如表3所示。

4.2 飞行训练品质评估结果及分档

表2 飞行训练品质监控超限事件数据(时次率)

表3 指标权重计算结果

表4 加权TOPSIS-RSR法飞行训练品质评估结果

表5 飞行训练品质评估分档结果

4.3 评估结果展示及可靠性验证

初期使用MATLAB快速搭建模型进行模拟，得到较好地成果反馈；搭建了一套网站可视化系统。该系统前端使用“vue+echart”开源技术；后端使用“spring cloud”搭建框架。服务启动后，后台应用会读取放入固定目录下的“.csv”数据文件，按照加权TOPSIS-RSR模型算法进行解析，求出各个挡位对应的值反馈给前端页面进行展示，展示结果如图2所示。

系统对14个月的飞行训练品质进行评估，根据评估结果：2020年5月、2020年7月、2020年8月、2021年4月整体运行品质较好；2020年4月、2020年12月、2021年1月整体运行品质较差，其中2020年4月最差。同时，训练品质变化呈现出一定的规律性，被评估对象在各学期停飞前、开飞后评估结果明显下降；开飞后2个月内，训练品质逐渐好转并趋于平稳。

图2 飞行训练品质趋势分析Fig.2 Trend analysis of flight training quality

经查阅该单位历史发布的2019年12月—2020年8月月度机载SD卡监控红标事件统计数据(图3)，红标事件时次率波动情况与贴近程度Ci变化相符，呈现负相关。红标事件发生次数较多的2019年12月、2020年04月，贴近程度Ci值较小；红标事件发生次数较少的2020年08月、2020年09月，贴近程度Ci值较大。

图3 飞行训练品质监控红标事件统计Fig.3 Flight training quality monitoring red label event statistics

综上，计算所得到的评估结果与训练运行实际基本相符。需要指出的是，训练品质的好坏受多方面因素影响，超限事件只是评估指标体系的一部分，以超限事件为评估指标的品质分析更加注重的是训练飞行的安全性、规范性，对于促进依法训练、保证训练安全具有重要作用。

5 结论

(1)构建了基于超限事件的飞行训练品质评估指标体系，利用归一化约束条件的方差最大化原理对CRITIC-G1法确定的主客观指标权重进行组合，在充分考虑主观赋权和客观数据的基础上，有效反映各指标本身的差异程度，达到了优化组合赋权的目的，使指标的赋权更加科学、合理。

(2)所构建的飞行训练品质评估模型为飞行品质评估提供了一种新思路、新方法。将加权TOPSIS法与RSR法相结合，可以有效反映训练品质的动态变化，实现定量数据向定性特征的转变，便于决策者更加明确的做出相关决策。

(3)搭建实际的系统，通过选取某飞行训练单位实际训练运行过程连续14个月的监控指标数据作为样本，对训练品质进行评估。评价结果与该单位月度SD卡数据分析红标事件频率相符，验证了该模型的可行性和有效性。