基于混合高斯模型的跑道侵入检测方法

(1.中国民用航空飞行学院 空中交通管理学院，四川 广汉 618307；2.天府新区通用航空职业学院，四川 眉山 620500)

0 引言

跑道侵入是指在机场发生的任何航空器、车辆或人员误入指定用于航空器着陆和起飞的地面保护区的情况[1-2]。随着民航业的飞速发展，民航运输量不断增加，机场也日益繁忙，跑道侵入事件也愈发频繁。跑道侵入是一种严重威胁航空安全的事件，可能导致灾难性的事故，并带来人员伤亡。1977年3月27日，两架波音747在西班牙特内里费岛洛斯罗德奥斯机场的跑道上高速相撞并引发爆炸，导致583名乘客和机组人员死亡，是迄今最严重的民航事故之一[3]。2016年10月11日，我国虹桥机场也发生跑道侵入事件，A320机长处理得当、及时，避免了人员伤亡[4]。据美国联邦航空管理局(Federal Aviation Administration, FAA)将跑道侵入严重程度分为A-D共4类，严重程度从高到低，其中A、B两类情况很严重，而C、D两类风险较低[2]。FAA统计结果表明，2000～2016年期间，A、B两类跑道侵入事件合计共发生428次[5]。我国的统计结果也表明，1995～2009年期间，民用航空器在全球范围内共1 508起，其中因跑道安全问题造成的事故共457起，占总量的29.9%[1]。

针对发生较为频繁且存在风险的跑道侵入事件，为了保障旅客和航空器的安全，国内外民航组织均对防止跑道侵入事件进行了大量的研究，并在机场进行实地测试。随着场面监视雷达(surface movement radar, SMR)、多点定位和自动相关监视广播(automatic dependent surveillance-broadcast, ADS-B)设备和技术的发展，有效地减少了跑道侵入事件的发生[6]。在上述机场监视设备的基础上，美国的部分机场还额外建立了跑道状态灯(runway status lights, RWSL)系统，通过在机场关键位置的灯光系统，来引导地面的飞机和车辆的移动，能够进一步地防止跑道侵入的事件的发生。但上述设备，无论是价格成本还是环境要求都很高，国内的大部分中小机场并未安装上述监视设备，且受到机场建筑等因素的影响，监视设备存在一定的盲区，并不能完全覆盖整个场面。针对此情况，南航大陈文提出了一种基于视频图像技术的跑道侵入检测方法，提出了针对CCD抖动的动态目标检测方法，解决了机场摄像头具有较大抖动下的监视，但未建立动态目标与跑道安全区之间的关系，也未分析跑道侵入的风险[7]。鉴于此，本文提出基于混合高斯模型的跑道侵入检测方法，使用机场摄像头采集的视频数据，实时地追踪跑道安全区附近的动态目标，检测跑道侵入风险，并及时向管制员告警。

1 混合高斯模型背景检除法

对于机场里场面监视雷达等设备存在覆盖盲区的地区以及需要提高监控精度的区域，采用摄像头采集的视频序列的数据进行检测。为避免建筑的遮挡等情况，摄像头的位置需要一定的高度，且摄像头位置和方向需固定，仅仅会发生轻微的抖动，因此可以近似地考虑为静态背景，或轻微抖动的动态背景。对于跑道侵入，由于考虑动态目标，包括可能会发生潜在冲突的航空器、车辆和人，因此检测跑道侵入的是否发生的关键在于静态背景下的动态目标检测，背景减除法中的混合高斯模型是一种效果理想，且计算效率较高的一种方法[8]。

混合高斯模型(Gaussian mixture models，GMM) 由单高斯模型扩展而来，原理是建立多个高斯函数以表征图像中像素点的状态，使用的高斯函数的数量越多，所建立的模型也就越准确，所包含的细节也越多，但计算量也会随之增大，计算所花费的时间和耗费的计算机内存也越多。本文所采用的为Stauffer等人提出的在线的自适应高斯混合模型[8]，能够满足机场实时检测的需要。

设机场摄像头探测的视频图像的连续帧中，特定点的像素值构成的集合为X，表示如下:

{X1,X2,…,Xt}={I(x,y,i),1≤i≤t}

(1)

其中：I为视频图像序列。

单高斯模型中设置该集合且满足单一的高斯分布，即：

X～N(μ,σ2)

(2)

而对于混合高斯模型，是多个单高斯函数加权叠加的结果。设特定像素点特征满足k个高斯函数分布，其概率分布函数如下：

(3)

(4)

其中:n代表维度。

通过xt,μi,σi的值来判断像素是否匹配某高斯函数：

(5)

更新对应下一帧高斯模型的权值，并修正：

(6)

更新模型后需要对权值ωk,t+1归一化：

(7)

并对高斯函数进行排序，权值较大、方差较小的高斯函数模型对应的像素点为背景模型的像素点，相反，权值较小的高斯函数模型对应的像素点则认为是前景像素点。

设定阈值T，排序在前面的B个高斯函数的权值大于T时，为背景，反之为前景：

(8)

提取出的前景，即为我们关注的动态目标。由于拍摄等原因，可能会存在噪点等干扰因素，因此使用图形学中常用的形态学腐蚀和膨胀操作进行处理。首先利用图形学中较为常见的腐蚀和膨胀操作去除杂点。对于检测出的前景像素点，使用连通分量算法进行像素点合并，从而生成完整的动态目标[9]。

本文采用的8连通性的Flood-Fill连通分量算法，即考虑前景像素点相邻的8个点是否前景点，如果是前景点，则继续考虑该点相邻的8个点，直至所有点都被考虑过一次，或没有符合条件的点，这些考虑过的点的集合合并为一个完整的动态目标。

2 跑道侵入检测方法

对于是否发生跑道侵入事件或存在风险，其关键点在于运动目标是否进入了跑道安全区或者距离安全区较近，且有接近的意图。因此，跑道侵入中跑道安全区的概念极为关键。

我国规章中的跑道安全区如图1所示，其中包括了机场跑道以及滑行道位于使用的跑道等待位置和实际跑道之间的部分，跑道中线两侧各75米范围内的土面区、ILS敏感区、ILS临界区和跑道端安全区[1]。其中地面保护区根据不同类别的着陆情况，不同机场还有略微的差别，本文按照规章中的距离跑道中线75米为例，由于主要是地面的航空器和车辆之间的冲突，故本文仅考虑地面保护区范围内的跑道侵入情况。

图1 跑道安全区示意图

不同于FAA，我国对于跑道侵入事件的严重等级分类与ICAO一致，将其分为A～E共5个等级[1]。ICAO根据航空器之间或航空器与车辆之间最小距离；冲突双方的几何关系；避让或修正动作的特点(机动动作幅度越大，事件的严重程度等级也越高)；反应时间的长短等因素对跑道侵入进行分分类，同时，ICAO也提供了对应未开源计算工具，但本文重点在于基于机场监控视频设备的视频进行辅助监控告警，因此本文不对此进行研究。

对于检测出的运动目标，虽确定了动态目标在视频图像上所处的位置，但并不能直接确定运动目标所处的真实位置。但判断是否发生跑道侵入时间，需确定跑道和运动目标之间的相互位置，以及运动目标的运动状态，才能确定是否已经构成跑道侵入或存在潜在冲突风险，因此需确定运动目标和跑道以及跑道保护区之间的相互位置。针对该问题，解决的方法有两种：一种为通过相机所处的位置和角度，通过相机标定的方法反算出物体的世界坐标系中的坐标[10-13]，再和跑道的坐标对比判断，便能判断当前是否发生跑道侵入以及是否存在潜在侵入风险，但该方法首先需要对摄像机进行标定，但是标定一般使用的黑白棋盘法不太适用于像机场跑道这样的大型区域；另一种方法是利用视频图像中的标志点进行定位，将跑道和跑道安全区域的位置标识在视频图像中，并与运动目标进行判定，确定是否发生跑道侵入或存在潜在侵入风险，该方法计算量较前者更小，但这种方法需要背景静止等限制因素，且还需要标定点未固定点。由于机场的摄像头相对固定，背景静止，且用于标定安全区的设定点不会移动，因此跑道对应在图像位置中的像素点集合相对固定，故本文采取的计算效率更高的后者。由于需要实时监控，因为动态目标均考虑其轮廓线上的点，而非所有点。

根据机场跑道和跑道保护区的标志点，对机场跑道和对应的跑道保护区在视频图像中通过边缘关键点在视频图像中进行标定，分别通过边缘点像素点集合标定机场跑道和跑道保护区，则对应的视频中跑道的区域和保护区的区域为将边缘像素点集合覆盖的最小凸多边形，即其凸包(Convex Hull)。考虑到方法的实时性，本文使用计算时间复杂度为线性(不考虑排序)的Graham-Scan算法[14]，其算法流程如图2所示。该方法能够有效的计算标记关键点最外围的一圈点，即改区域的边界点，进而用于与动态目标的区域进行冲突判断。

图2 Graham Scan算法流程图

获取了当前动态目标的位置，以及跑道和保护区的位置，对于判断当前情况是否有发生跑道侵入的风险，本文考虑的是当前跑道是否被占用、运动目标的状态和运动目标和跑道安全区的距离。跑道是否被占用，除了通过视频图上中识别是否有航空器在跑道上之外，还需要和管制部门信息进行对接确认。运动目标的状态根据视频图像前后帧的所处的位置来判断，根据位置的变化可以计算出其运动方向和运动速度，由于此处的动态目标在视频图像中不会发生突然消失或者出现的情况，因此不考虑目标丢失的情况。

运动目标和跑道安全区域的距离，本文使用由M.I.Shamos提出的旋转卡壳(Rotating Calipers)算法[15-17]，该算法能求解凸包相关的大部分问题，且时间效率也极高，为线性复杂度。对于凸包之间的距离，其最短距离为点-点、点-线和线-线这三种情况，如图3所示。

图3 旋转卡壳凸包最小距离示意图

旋转卡壳算法求解凸包之间的距离的流程如图4所示。

图4 旋转卡壳凸包最小距离示意图

通过旋转卡壳算法计算出的动态目标和跑道安全区域的距离d，并根据前后帧动态目标的变化可以计算出动态目标的运动方向和大小：

v=(d1-d2)/Δt

(9)

其中:d1和d2为该目标相邻帧距离跑道安全区的距离，Δt为相邻帧的时间差。

检测出的单个动态目标的危险等级取决于其距离安全区域的距离和其运动方向，本文采用双变量分段函数映射的方式计算其危险等级，如式(10)所示：

ObjectLevel=F(d,v)

(10)

其中:d为旋转卡壳算法计算的视频图像中距离跑道安全区域的距离，v为该动态目标垂直跑道安全区方向的速度(其中正值表示靠近安全区，负值表示远离安全区)。

F函数如表1所示，其中0表示安全安全，不存在跑道侵入的风险，1表示有跑道侵入风险，此时需要告警提醒管制员这一情况，2和3则已经发生跑道侵入事件，此时需要管制员立刻响应处理。

表1 F函数

其中:d0为设定的预设值，针对不同的机场，不同的摄像头放置，其值会有差异，一般根据安全区在视频图像中的像素距离来设定，且需要考虑一些安全余量。告警等级越大越危险，且应是所有运动目标危险等级的最大值：

AlarmLevel=max(F(di,vi))

(11)

3 仿真验证

用于验证本文方法的视频序列采集于四川广汉机场。首先使用第1节提出的基于混合高斯模型的背景建模方法，对采集的视频图像处理后图像如图5所示，图5(a)和(b)均为原始视频图像示例，(c)和(d)为原始视频图像所提取出的Mask(掩膜)，提取结果表明该模型能够有效地提取动态目标。

图5 GMM背景减除效果

由于摄像头的轻微抖动和视频采集过程中存在杂色点，因此提取后Mask的存在杂点，图中能够较为清晰地看到。针对此，本文对原始图像提取的Mask进行图形学腐蚀膨胀处理之后，如图6所示，之前存在的杂点几乎都被处理掉了，效果理想，并使用连通算法将同一区域的前景点连通处理，此时能够有效地将处理出的像素点合并成运动目标，不会出现图5中的目标分割的情况。

将跑道及跑道安全区的标志点在视频中标记后，根据第2节中提到的Graham Scan计算出其凸包，并在视频上标记出区域如图7(a)和(b)所示，由于拍摄位置距离跑道较远，跑道在视频图像中呈现为较小的带状，此时标记出的跑道范围较小，跑道安全区本文根据跑道区定义在视频图像上仅标记地面部分。图7(c)和(d)中标记的目标即为是使用Graham Scan算法对混合高斯模型确定的运动目标所求解得出的凸包，算法确定的凸包区域准确，成功地识别了其中处于移动状态的地面航空器，并追踪移动航空器的运动状态。

图6 图形学腐蚀膨胀效果

图7 Graham Scan算法计算结果图

图8 旋转卡壳算法计算结果图

依据旋转卡壳算法出的动态目标航空器距离跑道安全区的距离d和相对跑道安全区的速度v随时间曲线图8所示，其中距离和速度均通过归一化处理，当距离跑道安全区为0个单位时，即发生跑道侵入事件。

由于机场内的航空器均严谨按照管制的指挥进行，距离跑道安全区保持在4个单位，不存在跑道侵入的问题，因此无论是图8 (a)所示的距离d和图8 (b)所示的速度v按照表2中的告警等级划分均处于安全的状态，因此根据跑道侵入模型所计算出的告警等级AlarmLevel在这段时间均为0，不存在跑道侵入的风险，为安全状态，符合视频中的情况。

此外，本文所采集视频距离跑道有一定的距离，拍摄角度俯角较小，因此图7(a)和(b)中跑道和跑道安全区中在视频图像序列中的轮廓边框不是很明显；对于有一定高度的运动物体也会存在误判的情况，因此图8中的曲线存在略微波动的情况，但对于整体判断是否存在风险影响不大。在机场安放摄像头实际过程中，应尽量摄像头位于一定的高度，确保摄像头具备较大的俯角，从而能获得更好的精度，最理想俯角应接近90°，摄像头采集的视频图像序列为该区域的俯视图，此时跑道和跑道安全区在视频图像中的边框更加明显，也不会出现由于目标高度而错误判断位置的情况。

4 结束语

本文通过使用混合高斯模型的背景减除方法，能够有效地识别机场所拍摄跑道安全区的视频图像序列中的前景运动目标，经过图形学腐蚀膨胀处理之后，能去除大多数噪点。通过对连通之后的动态前景目标求凸包的过程，能够有效地合成追踪机场的真实动态目标，并有效地降低后续处理过程中的数据量。使用Graham-Scan算法根据跑道标志点成功的计算了跑道和跑道安全区的轮廓并成功求解了混合高斯模型的出的动态目标的轮廓，能完整地表征动态目标，计算与跑道安全区的距离和相对跑道安全区的速度，并能有效降低后续计算的计算量，且这两种算法的时间复杂度最求解凸包计算凸包距离最优的算法之一，能够满足跑道侵入检测的实时性要求。最后的仿真结果表明，本文提出的跑道侵入检测模型和方法能够较为有效地检测动态目标运动状态并计算和跑道安全区的距离，并依据此计算告警等级，从而实现较为准确地告警功能，为中小机场防止跑道侵入提供了一种低成本辅助监视的思路。