基于无人机视觉的森林火情预测

王 君，蒲 磊，黄 宁，陈楷升，梁薇薇，杨振威

(1.中山大学南方学院 电气与计算机工程学院，广东 广州 510970；2.重庆邮电大学 自动化学院，重庆 400065)

0 引 言

森林火灾是破坏森林最主要的灾害，位居首位，森林火灾的发生，直接危及林木、林下植物、土壤以及动物的生存，同时又使人类的生命财产和森林生态环境造成了巨大的危害。森林火灾容易失去控制，随着蔓延扩展，带来危害和生命财产损失，有突发性强、破坏性大、过火面积大、救助困难等特点。所以，需要发现森林火情，及时发出报警，准确监控火场面积以及燃烧的植被种类。发现自己处在森林火场中，监控系统可以辅助救援决策，辅助向安全地带迅速转移[1-3]。基于机器视觉的无人机可用于发现森林火情，能对森林火灾进行及时的预警与预测[4]。

随着无人机技术的创新和普及，其精准、直观的火场分析数据的特点，使无人机进行森林防火巡查成为趋势[5]。该文针对单一提取颜色特征的误检测，综合了颜色、尖角数、纹理等综合特征进行检测，过滤掉容易干扰结果的因素，并根据实时的火情，预测火势蔓延的方向和位置，提升对特定区域识别火灾情况的预判，为火情救援决策分析提供了依据。

1 森林火情分析

1.1 火焰特征分析

火灾是一种复杂的燃烧现象，火焰是重要物理特征[6]。森林火灾一般有比较明显的可见视觉特征，如火焰的颜色、圆形度以及尖角数[7-8]等等。火焰颜色与烟雾是主要的识别要素，其颜色边缘等特征也更为明显。

森林火灾的出现往往伴随着烟雾和火焰[9-10]，烟雾因燃烧物的不同而不同。而火焰的颜色特征相对比较明显，火焰的颜色在红色到黄色范围内变动[11-13]。可将尖角数作为是否为火焰的判据。因为稳定的光源尖角数可能会有跳动。火焰图像中的尖角特征是局部极值点的顶点，在形态上表现为狭长、宽度偏小、高度偏高。

1.2 烟雾分析

森林火灾的火焰燃烧时常常会伴随着大量的烟雾，烟雾包含许多特征参数。森林火灾的初期烟雾通常呈现的是青灰色，其烟雾图像在RGB空间，三个颜色的基色数值非常接近，最大最小的数差通常小于某一值。

通过大量的实验发现，火焰像素区域的红色通道值大于绿色通道值，绿色通道值大于蓝色通道值。可根据识别火情图像，设定偏差为±5°。

此外，分析烟雾图像的纹理特征，其与清晰的图像有很大区别，这也表明了烟雾图像的独特特征[14]。纹理特征的分析方法一般有灰度差分统计法、灰度共生矩阵等。该文使用了角二阶矩的统计量来提取纹理特征。其中，角二阶矩的定义为：

(1)

式中，Ng表示图像的灰度量化级，p(i,j)表示灰度共生矩阵。可知，角二阶矩值较大表示粗糙纹理，较小则表示细密纹理。

2 森林防火监测系统设计

传统的火灾监测，一般利用火灾探测器来实现。而对于森林中的连续区域，如果使用传统的火灾探测器，投入成本较大，维护成本高，而且区域定位不够灵活，同时，探测器的感知范围较窄。

为了提高感知的精准度，需要在比较短的距离就要安装一个探测器，如此大的排布密度增加了火灾探测的成本。因此，基于机器视觉的火灾监控系统应运而生。

对于图像型的火灾监控系统，直接对火焰进行颜色识别的方法很方便，但其检测的准确度不高。在环境复杂的情况下，极易受到各种因素的干扰[15]。

单一识别算法导致系统的抗扰动性能较差，降低了系统的识别率，直接影响到了火灾的监测。作为监控系统，稳定性是一项重要的指标。

该系统结合火焰与烟雾多特征融合的识别，能极大地提高检测准确度。为有效提高抗干扰能力，融合多种特点辨别方法将在未来的相关应用中越来越普及。

森林防火检测系统的识别流程如图1所示。

图1 森林火灾识别流程系统框图

步骤总结如下：

(1)系统对实时拍摄到的视频进行分帧处理，检测当前图像与相邻帧的图像之间的差异；

(2)结合火焰、烟雾特征提取，通过多特征融合，对获得的图像进行色彩、火焰尖角数、烟雾纹理验证；

(3)分析火情，计算出火焰、烟雾的面积变化以及移动速度，并通过多项式拟合预测火情的趋势，达到预警的效果。

2.1 火焰识别

图像输入系统后，为了排除干扰，增加系统的稳定性，需要对图像进行预处理。图像的预处理一般包括增强、滤波、细化几个方面。该系统对感兴趣的区域进行预处理，目的是得到预期的火焰图像效果。

在对火焰图像进行预处理后，下一步就是对RGB颜色分量的提取。将这些图片中的火焰像素点颜色分布与强光高温等干扰的像素点的颜色分布进行对比分析。通过实验可得含有火焰的火灾图像的三原色分量满足一定阈值，从而对火情疑似区域进行分割。

对于检测森林火灾颜色模型来说，还存在诸如夕阳渲染的天空、秋天的叶子颜色等外界因素的干扰。由于叶子的颜色在颜色上与火焰十分接近，所以还要提取尖角数特征加以辅助来判断是否发生了火灾。

将分割后的图片使用Harris角点检测算法进行尖角数的提取。对比干扰场景下与火情场景下的尖角数，而红叶干扰场景下的尖角数数量较少，可以通过尖角数量特征辅助判断火情。

2.2 烟雾识别

与火灾检测部分类似，输入待检测图像以后，对其进行预处理，适当强化细节、去除噪声、锐化边缘并得到供后续识别的图像信息。在对烟雾图像进行预处理后，下一步就是对图像进行HIS颜色空间转换。

对包含烟雾的图片和不包含烟雾的图片进行分析，将这些图片中的烟雾像素点色度与不含烟雾的色度进行对比。

在H分量直方图中，可以看见含烟雾的图像在0.5左右处分量值较大，而不含烟雾的图像在0.5处的分量值较小，转化为角度关系可知直方图0.5左右处的H分量角度值大约在175°±185°区间范围内。因此，采取H分量值为180°±5°作为烟雾的判定依据。如某张图像满足此阈值，则进行分隔提取操作。

单一地提取烟雾特征，可能存在误判，不足以成为火灾的判定条件，还需要同时提取烟雾疑似区域的纹理。综合纹理特征进而判断是否发生火灾。

可以使用计算共生灰度矩阵，角二阶矩值综合特征来识别烟雾区域的纹理特征。分割烟雾区域后，可以首先计算共生矩阵。然后，通过共生矩阵计算对应的烟雾区域能量。

本系统中使用计算共生灰度矩阵角二阶矩值的方法，识别了烟雾区域的纹理特征。并通过分割烟雾区域后，计算共生矩阵。通过共生矩阵计算对应的烟雾区域能量，如图2所示。

图2 烟雾能量曲线

可以看出，烟雾图像区域的角二阶矩值(能量)比较大，所以此方法作为判定烟雾是否存在的判据是合理的。本系统把能量阈值设定为0.65。如果输入的图像满足此能量阈值，则判定为发生火灾，并发出警报。

3 实验结果与分析

无人机采集到的照片，信息量大，影响了计算效率，很多干扰影响了识别成功率，所以要先进行预处理去除无用信息再进行后续识别。预处理后得到关键特征信息。此外，系统进一步简化图片信息数据，得到感兴趣区域(region of interest，ROI)。通过ROI处理，可以减少图片总信息数据量。然后，进行图像归一化处理，使识别过程中，减少环境光亮对输入图像的影响。通过采集的森林图像，可以快速识别火焰颜色特征并对火焰ROI区域进行分割，分割后的区域使用Harris角点算法计算尖角数，进一步确定火焰特征。对于烟雾特征的提取，也与上述方法类似。火焰与烟雾区域提取效果如图3、图4所示。

图3 提取火焰图像效果

图4 提取烟雾图像效果

确定为火焰和烟雾区域后，计算该区域的火焰和烟雾区域占整幅图像的比例。实验中将连续的7分钟视频等间隔采样，取出7帧进行处理,其中实验视频的分辨率为1 280*720。将获取到的7张火焰和烟雾ROI面积比例使用多项式进行曲线拟合操作，得到火焰和烟雾像素点面积增长曲线。火焰、烟雾区域的面积比例如表1所示。

表1 火焰、烟雾区域面积比例

续表1

通过多项式拟合得到的拟合曲线，可以预测出下一帧的火焰、烟雾面积。如需预测下几帧的火焰或者烟雾面积变化趋势，则需要添加实际的下一帧图像来对拟合曲线参数进行修正，这样得到的预测结果相对比较准确。

其中，图5为火焰、烟雾面积拟合曲线图。从实验数据可以看出，对原始数据进行合适拟合后的曲线能大致表现火焰以及烟雾的变化趋势，且通过拟合曲线得到预测第八帧数据(火焰像素点比例3.28%，烟雾像素点比例47.75%)与实际第八帧的数据(火焰像素点比例3.58%，烟雾像素点比例46.8%)，比较一致，火情面积持续增大，需要加强救援措施，如增加救援设备。因此在时间上，提前预警救援方向，并辅助救援决策。

图5 过火面积、烟雾面积变化曲线

根据实际情况，研究发现，火势蔓延主要与热对流、热辐射和热传导有关。热对流是由于热空气上升，周围冷空气补充，在附近上方有对流烟柱，集聚了燃烧的主要能量。

在预热阶段，火源的引火，局部可燃物温度上升，蒸发大量水汽，并伴随产生大量烟雾。在可燃物呈现收缩和干燥，处于燃烧前的状态。所以，在初期监控系统可以用烟雾预警为主。

在气体燃烧阶段，随着可燃物的温度急骤增加，有黄红色火焰，这时监控系统以火焰识别为主，烟雾识别为辅。

在木炭燃烧阶段，因为碳粒子燃烧，不容易见火焰，以烟雾并火焰的尖角点细化，增加火情判断的敏感度，防止死灰复燃。

对于检测运动的目标来说，重心位置是重要的特征。火焰以及烟雾的重心变化在一定程度上可以反映变化的趋势。同样的，计算得出的火焰和烟雾区域重心坐标也可以使用多项式进行曲线拟合，火焰和烟雾重心坐标的原始数据与拟合后的横、纵坐标变化曲线分别如图6、图7所示。

图6 火焰重心坐标变化曲线

图7 烟雾重心坐标变化曲线

得出了预测帧与实际帧的火焰、烟雾重心坐标。通过拟合曲线可以预测下一帧的火焰的重心坐标(238,395)和烟雾的重心坐标(275,287)，与实际火焰的重心坐标(247,392)和烟雾的重心坐标(256,271)。最后通过坐标变化散点图体现重心移动的方向性，如图8所示。

图8 火焰、烟雾坐标相对位置变化趋势

虽然预测存在一定误差，但在判断火情发展趋势的时候，为了使预测更加准确，同时结合火焰以及烟雾区域的重心坐标移动方向和面积变化，可以对下一帧的火焰区域进行预判，依次按时间递推。提前发出预警，设定非安全区域，并用无人机机器视觉监控火场面积以及燃烧的植被。在森林火场的区域范围中，监控系统可以辅助救援决策，辅助向安全地带迅速转移。

4 结束语

该文设计了基于图像处理的森林防火检测系统。针对单一的火焰识别技术容易受到环境的影响，提出了基于多特征识别相融合的识别系统。系统提取颜色特征、纹理特征以及能充分表明火焰存在的尖角数特征，通过多种特征的综合识别，并分别在预热阶段、木炭燃烧阶段，根据实际情况，调节各个特征的敏感度，从而判断森林火灾和火情预测。该系统采用多特征融合判断方式，判断的准确率较高，并且通过仿真表明，该系统能在很大程度上降低森林火灾干扰因素的干扰，对复杂的森林环境也有很好的适应性。使用多项式拟合，能在一定程度上预测火灾的趋势，为抢险工作提供参考。