恶劣气象条件下机场跑道侵入的预警研究

李佳骏，王永忠，千月欣，万连成

(中国民用航空飞行学院，四川 广汉 618307)

0 引言

现如今，航空公司扩大机队规模，机场增加跑道数量、跑道入口、扩大设施规模等都是为了扩增机场容量，提高跑道使用率。一方面，全球每年因跑道入侵引起的事故多达数千起，尤其当机场出现大雾、降雨、降雪等恶劣气象条件时大大增加了跑道入侵的风险，再加上机场的复杂程度、机场道面标志被覆盖、机组对机场不熟悉等不确定因素的影响，仅仅依靠人工监视已无法满足跑道安全和运行需求，在恶劣气象条件下对机场跑道侵入的预警系统进行研究是航空业健康发展的当务之急。研究恶劣条件下的跑道入侵问题不仅可以提高地面运行效率，减少工作人员的工作负荷，而且对降低航空不安全事件和事故的发生频率，提高民航交通流量有极大意义。

1 国内外研究现状

随着跑道侵入引起的事故及事故征候数量的不断增长，国际民航组织(ICAO)启动鼓励各国严格执行行业标准、建议措施及程序的计划。国内外学者纷纷从不同角度研究，旨在寻找出预防事故发生的最优可行方案。国内学者刘源[1]从引起跑道侵入的原因出发，认为交通流量、机场布局及灯光设计、人员培训是跑道侵入的3个主要风险来源。罗军、林雪宁[2]等人使用基于模糊集和改进TOPSIS方法对跑道侵入的各风险指标进行评估，得出管制员工作负荷是最大ATC因素的结论。赵坚、奉泽昊[3]等人提出利用物联网平台建立基于感知数据可视化的跑道侵入预测及预警系统的建议。潘伟军、吴郑源[4]等人使用基于混合高斯模型的背景减除法对机场视频数据进行追踪，计算运动状态。另外，民航局空管局在2019年颁布的《防止跑道侵入技术措施与实施路线》一文中，明确把ADS-B作为防止跑道侵入的相关成熟技术之一，同时建议A类以下机场具备ADS-B监视能力[5]。

国外方面，欧洲航行安全组织(Eurocontrol)从2003年开始就对大量关于跑道入侵的事件和事故进行分析，和机场、相关机构合作，制定可以提高飞行安全的建议措施[6]。美国联邦航空局(FAA)对造成跑道入侵问题的来源和原因进行统计，得到飞行员差错(缺乏情景意识，尤其是在低能见度情况下；紧张运行时间表压力下；对管制许可警觉差。)是航空器之间产生冲突的主要原因[7]。

2 图像去雾降噪技术

近地面常见的恶劣天气，例如大雾、降雨、降雪等直接影响到跑道能见度及机场附近的可见视线，这对以目视为主的起飞降落极为不利。为最大程度降低安全威胁，减轻因天气原因为飞行员和管制员带来的压力与工作负荷，多数机场选择安装视频监控作为辅助应对措施。把从机场传来的视频进一步处理，关键进行去雾、降噪，改善图片的清晰度，进而识别可能影响飞行的障碍物。

图像去雾是图像增强的重要组成部分，目的是降低或消除图像中雾气的干扰，提高成像质量。在户外成像系统中，对天气有非常大的依赖性，尤其在恶劣气象条件下，大气中往往悬浮着大量粉尘和粒子，经过光的吸收散射作用被放大，影响到透光率，导致获取的图像严重退化。图片中的细节特征被遮盖，清晰度、对比度降低，动态范围缩小，甚至可能会因为图像色彩饱和度的降低而使图片失真，直接影响到物体的识别。

2.1 直方图优化去雾技术

直方图是图像技术的统计表达形式，它可以用来反映图像的概貌，包括图像的亮度、对比度、灰度范围及分布等。直方图均衡化技术的基本思想[8]是把原始图像做非线性变换处理，提高数量较少的灰度级，减少数量较多的灰度级，增加灰度值动态范围小的图像对比度，使整张图像表现的色彩更加丰富，主要步骤为：

对原始图像做预处理，得到图像直方图Yi,则有：

Pi=ni/N,i=1,2,...,m

式中，Pi为第i灰度级的分布概率；ni为第i灰度级的图像像素个数；N为图像像素总数；m为图像灰度级数量。

并作累计直方图：

根据灰度变换表计算该直方图的灰度值变化表，有：

H(j)=round((m-1)*D(j))

其中:round函数表示取整。

做查表变换，把预处理的原始图像直方图中的灰度值带入到交换表中，得新的灰度值直方图。

该方法可分为全局直方图均衡化和局部直方图均衡化。其中，全局直方图均衡化方法是改善整张图像的视觉效果，而局部直方图均衡化是把图像分解为多个区域之后，每个区域再进行单独的直方图均衡化，最终各个区域再组合成完整图像。为选取最优的去雾技术，分别使用上述两种方法进行实验。

截取2019年11月24日江苏南京禄口国际机场早晨监控视频的一帧画面，据报道，该机场6时到9时，整个场区能见度只有100米左右，期间近90分钟内无航班降落，对机场运行产生了极大影响。

图1 全局直方图均衡化前后对比图

图1中，左边是原图及初始灰度值直方图，右边全局直方图均衡化处理之后的图像及其灰度值直方图。

图2 局部直方图均衡化前后对比图

图2中，左边是原图及初始灰度值直方图，右边局部直方图均衡化处理之后的图像及其灰度值直方图。

无论是使用全局直方图均衡化方法还是使用局部直方图均衡化方法，得到的结果视觉效果显著，而且便于操作。但是从结果图中可以发现存在明显的弊端，天空区域有块化现象，颜色失真。

2.2 Retinex方法去雾技术

Retinex理论[9]认为人类大脑形成的关于目标物体颜色的信息与外界光照强度没有关系，只与目标物表面的反射性质相关。使用Retinex算法，可以使压缩动态范围、颜色保持恒定、增强边缘三方面达到平衡，是国内外学者持续关注的图像去雾技术。该理论把原图像分为照度图像和反射图像两部分，图像的本质信息储存于反射图像中，而照度图像是原图像受外界光照强度干扰的产物。照度图像通过高斯滤波获取，之后从原图像中分离出来便可得到反射图像，其关系可表示为：

T(x,y)=Z(x,y)*F(x,y)

T(x,y)为原图像，Z(x,y)为照度图像，F(x,y)为反射图像。多尺度Retinex算法公式为：

经过计算机编码处理之后，得到使用Retinex方法的结果如图3所示。

图3 Retinex方法前后对比图

通过对比明显可以看出Retinex方法下的图像去雾效果优于直方图均衡化方法，得到的结果图细节增强明显，色彩失真较小。除此之外，Retinex方法的适用范围也比直方图方法广泛，并且对场景没有特殊要求。

2.3 基于形态学的权重自适应算法的降噪技术

形态学的基本思想是具有一定形态的结构元素去度量和提取图像中对应形状以达到对图像分析和识别的目的[10]。在形态学中，开运算用来过滤图像的噪声，闭运算用于增强低灰度区域，所以选用形态学开-闭级联形式对图片进行处理。另一方面，由于不同形状结构元素对图像的影响不同，需要综合考虑各种结构元素，最终组成多结构形态学的开-闭运算。原始图像把每个结构元素开-闭运算Ki(i=1,2,...,n)连续做两次就可以构成一个串联结构[11]，如图4所示。

图4 开-闭运算串联结构

为使各个结构元素运算之后的优点在最终图像中被放大继承，把每一个元素的开-闭运算串联结构并联组成串-并复合结构。定义权值Pi为每一个结构元素的开闭运算串联结果与原图像的差值。可以得到形态学自适应权值Qi的计算公式:

Qi=Pi/(P1+P2+...+Pn)

最终基于形态学的权重自适应算法公式表示为:

其中：G(x,y)为输出图像，Ii(x,y)为串联处理后的结果。

同样截取2019年11月24日江苏南京禄口国际机场早晨监控视频的一帧画面作为原始图像，如图5所示。从图中可以看出画面中有无数白色、灰色噪点，已经严重影响到图片的清晰度。

图5 原始噪声图像

选取6个结构元素组成6个单独的串联结构。为更清晰直观地看出哪些结构元素的降噪效果显著，分别就原始图像做各自串联开-闭运算，并对初步降噪结果进行对比，如图6所示。

图6 串联降噪效果图

图6中依次展示的是6种串联结构得到的降噪结果。通过对比，第5、6种串联结构更好。把这两种串联开-闭运算并联来使降噪效果叠加，计算各自形态学自适应权值Q5,Q6，带入到基于形态学的权重自适应算法公式中，最终输出图像。

图7 串并复合降噪效果对比图

由图7可以看出，经过基于形态学的权重自适应算法计算之后，部分噪点被降低甚至消除，一些低灰度区域颜色被增强，相比之下，更容易对机场场面内的飞机，标识物等进行识别和分析。

3 目标检测技术

研究跑道侵入需要从动态角度去检测机场场面状况，即运动检测，与上面去雾降噪技术只需改进单帧图像上的特征大不相同。运动检测是通过检测目标与背景之间的运动方向和速度实现的，传统运动检测方法主要有三种：帧间差分法、背景差分法以及光流法。

帧间差分法和背景差分法原理相似，都是根据两张图像做差分计算之后获取目标物运动轮廓。两种方法的区别在于做差分的两张图像，帧间差分使用的视频中相邻两帧的图像，而背景差分使用的是单帧图像和背景图像。当场景中出现运动物体时，可根据两帧图像的亮度差判断目标运动的特性。使用这两种算法比较简单，易于实现，但是存在区域提取不完整，过分依赖帧间时间间隔，不易获取静止背景等缺点。

光流法是运动检测中最典型的方法。除此之外，在实际应用中，会随检测跟踪的目标物增多，各个目标物单体特征存在差异等原因，有不同的针对多目标、多特性的方法出现。对多目标跟踪而言，目前有概率数据关联与联合概率数据关联算法、随机集滤波和有限集统计算法。对多特征跟踪来说，色彩、轮廓、边缘、梯度等信息可以通过一个传感器获得，然后根据特征之间的独立性，在贝叶斯滤波下选择加权组合或线性组合[12]。

3.1 光流法

光流代表了空间运动目标的图像像素点变化的瞬时速度，光流法是建立在3个假设的前提上，即亮度恒定假设、空间一致假设、时间连续假设[13]。光流法的基本思想是通过计算各帧图像中的像素点的时域变化和相关度，把二维速度和图像灰度相联系，建立光流约束方程来实施目标跟踪。设二维原始图像在t时刻在(x,y)点的亮度表示为A(x,y,t)，根据亮度恒定假设则有δt时刻的亮度:

A(x,y,t)=A(x+δx,y+δy,t+δt)

由泰勒展开式可得:

经简化得到矢量形式:

▽A*U+At=0

其中：▽为梯度方向，U=(u,v)T为光流，u,v是U在x,y方向上的分量。

截取香港国际机场监控视频的一段画面来实施验证，正如图9所示，以画面中主要的两架位于滑行道上的飞机为研究对象。最左边一列展示的是每隔2 s两架飞机所处的位置，从中可以观察出从左到右两架飞机之间的距离在逐渐增大，说明至少有一架飞机在运动。

计算飞机运动的速度矢量的前提是确定飞机分别在x,y方向上移动的距离。为此，需要从摄像机视角出发建立空间坐标系，通过前后两张图像中同一目标的坐标差确定▽x,▽y，结合时间t已知(t为选取相邻帧时间间隔μ的倍数)，即可得到目标物上每一点的速度矢量。用光流法通过计算机处理后可以得到如图9所示的速度矢量图。

图9中,实线代表速度，实线长短表示速度的大小。

图8 相间2秒连续三帧原始图像 图9 基于光流法的速度矢量图

速度越大，线段越长，说明右边的飞机正在运动，并且速度在逐渐增大；左边的飞机处于静止且起步准备状态，因为其发动机和机头位置的速度由无变大，但是飞机自身位置无变化。

当飞机运动起来时，速度矢量会急速变化，触发系统做出目标运动识别，正如图10所示，右边飞机正在运动，并且机头位置的图像像素点变化的瞬时速度最大，被系统识别后跟踪，直至消失在摄像机可覆范围之外。

图10 基于光流法的目标识别图

使用光流法的优点是不易受到复杂环境的干扰，精度高，而且也不需要提前获取图像背景，可以直接得到目标的运动参数，在基于对象的运动估计、运动检测和跟踪方面有很好的应用前景[14-16]。但是光流法存在实时处理效果差，对噪声敏感，检测对象单一且数量有限的缺点，不能满足繁忙机场要实现同一时间对多架飞机和场内所有运动目标的识别和跟踪的任务。

3.2 混合高斯-卡尔曼滤波的多目标检测与跟踪技术

高斯分布又称正态分布，表示的是随机变量出现的概率。由于图像中各点的像素值是随机的，所以可以使用高斯分布对像素点的分布进行拟合。背景像素点相对稳定，其像素值在小范围内波动，而运动目标的像素点变化大，其像素值波动范围大，可以通过判断像素点是否服从高斯分布来区分背景图像与前景目标[17]。

由于单高斯模型只适用于简单场景，对复杂场景适应力差，所以本文使用混合高斯模型。混合高斯模型最早是由Stauffer和Grimson提出，它的基本思想是每一个像素点都使用K(K=3～5)个被赋予不同权重的高斯分布共同描述，并且同时考虑背景图像的像素占整张图像像素的比重，由此表征各像素点的背景值[18]。下面介绍传统混合高斯背景模型，假设t时刻像素点(x,y)属于背景图像的概率为:

η(Tt(x,y),μi,t,∑i,t)=

n代表Tt(x,y)的维数。

当xi与已建立的任意高斯分布模型都不匹配，且xi的高斯分布模型个数k小于K时，应新增一个高斯分布；当k=K时，新的高斯分布模型取代优先级最小的原有高斯分布模型；当存在有匹配成功的高斯分布时，需要按照规则对第一个匹配成功的分布的参数进行更新，其他分布的均值和方差则保持不变，但是权值也要按规定更新。第一个匹配成功的高斯分布参数更新公式如下所示：

ωi,t=(1-α)ωi,t-1+α

μ=(1-β)μi,t-1+βTi(x,y)

β=αη(Tt(x,y)|μ,σi,t)

其他分布的权值更新公式为：

ωi,t=(1-α)ωi,t-1

式中，β由α决定，β代表更新率，α代表学习率。

使用混合高斯模型通过Matlab软件输入香港国际机场监控视频的一段画面来实施验证，正如图11所示，左边飞机静止，而右边飞机运动明显，画面中运动的飞机作为前景图像被识别出来，其他静止目标一起被视为背景图像。前景目标的识别是靠与背景图像的像素差异来实现的。

卡尔曼(Kalman)滤波器[17]是在系统线性和系统噪声、测量噪声与时间不相关的假设基础上，根据历史测量值的累积检测出不受噪声影响的部分。在进行目标跟踪时，分为预测阶段和校正阶段。预测阶段是根据当前运动状态预测之后可能发生的轨迹；校正阶段是用实际观测的结果对预测值校正。两个阶段不断交替进行，使得基于Kalman滤波建立的动态模型越来越接近系统真实模型。考虑到卡尔曼滤波器方法对目标跟踪准确，耗费内存小等优点，使用此方法对上面基于混合高斯模型的目标检测图做进一步的跟踪检测，其效果如图12所示。

图11 基于混合高斯模型的目标检测图 图12 基于卡尔曼滤波的目标跟踪图

图中右侧显示的是对已经识别的运动飞机的跟踪效果，并且用相对应的符号、数字代码、颜色等进行标记。不同的符号标记可以表示具有独立特征的不同类目标物，数字编码可以用于同类目标之间的区分，例如“圆圈和1”可以表示1号运输汽车，“矩形和1”可以表示场面1号飞机，这种标记方法有利于系统跟踪效率的提高。

3.3 目标检测技术小结

本章主要介绍了光流法和基于混合高斯和卡尔曼滤波的多目标检测与跟踪技术。经过验证，这两种方法的目标检测效果都很明显。但是光流法存在检测容量局限，易受噪声干扰，不适合复杂繁忙机场在预防跑道侵入时使用。所以在本论文中，更倾向于使用基于混合高斯和卡尔曼滤波的多目标检测与跟踪的方法。

4 摄像机标定算法

在基于机器视觉的图像测量计算的应用中，为确定目标物某点的信息与图像采集图片中对应点之间的关系，需要建立相应的相机成像数学模型，其中涉及到的一些参数叫做相机参数[19]。这些参数通过实验和推算得到，我们把求解相机参数(内参、外参、畸变系数)的过程叫做相机标定(或摄像机标定)[20]。在机器视觉应用中，相机标定是关键环节，它为后续把相机视角中的二维图像信息转化为机场三维立体信息奠定了基础。图13为基于机场视觉和摄像机视觉的综合坐标图，通过此坐标可以实现两个坐标系的相互转换。

图13 双视角综合坐标系

图13中，O1MNh三维坐标系是以机场场面为基础，O1位于摄像头的垂直地面，假设机场内每一部摄像头离地面的高度h一定。XO2Y平面坐标系是摄像机视角画面，O2是此二维坐标系的原点，两坐标系中X轴平行于M轴。设此时飞机位于机场平面MO1N中A(m,n)点处(A点在N轴上的投影是A4，投影于M轴于A3点。)将A点与摄像头相连接，与平面XO2Y相较于A1，所得A1就是摄像机视角中飞机的位置。从A1点向平面MO1N做投影，相交于A2点。之后分别从A1,A2开始向X轴、Y轴、N轴做投影，依次相交于x,y,A6点。一般来说，A1坐标(x,y)可以根据相机屏幕中像素点与畸变系数的乘积得到，摄像头安装俯视角度α和安装高度h的数据可以从机场获得，由于本论文只考虑机场场面，所以令O2在N轴上。把已知参量在ΔhO1A,ΔO1AA4,ΔO1A2A6中做相似运算，显然可以求得飞机A点在MO1N坐标系上的方位，具体推导过程如下：

通过摄像机标定算法可以实现机场视角与相机视角的位置坐标转换，当把机场所有的摄像机信息都融合到机场视角时就可以实现对机场场面所有运动目标的识别，再根据各目标运动的特性进行跟踪和预测。另外，设定一个合理的速度或距离阈值，当运动目标超过阈值时，系统报警，提醒工作人员存在潜在碰撞危险，需要及时做出反应。

5 实验结果与分析

本文对恶劣气象条件下机场跑道的视频进行预处理，目的是找出易识别的运动目标，判断各物体的运动趋势。之后再进行摄像机与机场坐标转换，实现目标物的跟踪与检测。实验结果证明，在图像去雾处理中，使用基于直方图优化的去雾技术得到的结果视觉效果显著，但存在明显的块化现象，颜色失真。相比之下，Retinex方法下的图像去雾效果更优；降噪处理中，可明显看出经过基于形态学的权重自适应算法计算之后，部分噪点被降低甚至消除，一些低灰度区域颜色被增强，大大提高了对机场场面内的飞机、标识物等物体的识别率；通过实验对比，使用光流法的目标检测技术识别出来的对象单一，对于繁忙机场更加适合使用基于混合高斯与卡尔曼滤波器模型的方法来实现多目标检测；最后创立的摄像机标定算法是为了确定机场场面目标物某点的信息与图像采集图片中对应点之间的关系，实现机场视觉坐标和摄像机视觉坐标的转换，把整个机场目标物融合为一个整体来进行跟踪与预测，达到提高跑道运行安全率的作用。

6 结束语

本文首先使用Retinex方法和基于形态学的权重自适应算法对机场恶劣天气下的监视视频进行图像进行去雾降噪预处理。之后分别使用光流法和基于混合高斯与卡尔曼滤波器模型的方法进行目标检测，两种方法通过对比，发现基于混合高斯与卡尔曼滤波器模型的方法更加适用于恶劣气象条件下繁忙机场场面上的目标检测和跟踪。最后创造性地建立摄像机标定算法，完成摄像机视角与机场视角坐标的转换，利于从机场大视角对场面所有运动目标的检测和跟踪。