基于多特征融合的视频烟雾检测

黎粤华，单 磊，田仲富，朱自民

(东北林业大学 机电工程学院，黑龙江 哈尔滨 150040)

基于多特征融合的视频烟雾检测

黎粤华，单 磊，田仲富，朱自民

(东北林业大学 机电工程学院，黑龙江 哈尔滨 150040)

烟雾检测对火灾早期防范非常重要,传统的火灾探测技术主要利用传感器对火焰和温度进行识别，其每一个传感点只能检测到布控点周围的局部空间，对于开放空间等特殊场合难以发挥作用。为了克服传统火灾检测存在的误报率高等缺点，文中提出一种基于烟雾多特征融合技术的图像型火灾检测方法。该方法首先利用背景减除法获取普通CCD摄像机拍摄的疑似火灾烟雾区域，然后再从时域和频域着手，提取火灾烟雾的轮廓不规则特征、背景模糊度特征和纹理特征作为神经网络的输入信号，同时采用sigmoid函数将输出归一化，最后通过对BP神经网络训练完成火灾烟雾的多特征融合，并对来自网络的火灾视频进行测试。实验结果表明：图像型火灾检测方法能够准确快速地识别火灾烟雾，达到早期预警的目的。

烟雾检测；轮廓不规则特征；模糊度特征；纹理特征；特征融合

0 引 言

火灾的发生在时间和空间上表现为无规律性，是一种反人类意识的行为，传统的火灾探测方法具有一定的局限性，往往出现误报或漏报的情况。随着数字图像处理技术在计算机领域的不断发展，图像型火灾探测技术越来越广泛地应用于火灾检测领域[1]。在烟雾图像处理方面，Shu Xueming等提出了基于粒子成像系统、光散射系统和烟雾通道系统的火灾检测方法[2]。袁非牛等[3-4]提出了基于主运动方向和累积量的视频烟雾检测算法。Khananian等提出了将遥感技术和神经网络技术相结合的检测林火烟雾的方法[5]。Chen等[6]提出了基于烟雾静态特性和动态特性的检测算法。这些方法都具有一定的局限性。其中，Shu Xueming和Khananian等提出的方法造价较高，不易推广，袁非牛和Chen等提出的方法易受环境等因素的影响，检测效果不佳。

因此，文中根据烟雾图像检测在复杂多变环境下的高随机性，从经济实用的角度出发，提出了基于烟雾多特征融合技术的图像型火灾检测方法。该方法通过对指定场景进行实时监测,并对疑似火灾烟雾区域进行特征融合判定，达到早期发现火险并准确定位火情的目的。

1 运动检测

运动检测是实现烟雾检测的前提,文中选取背景减除法对运动区域进行检测。背景减除法首先在Kalman滤波的基础上根据时域递归低通滤波对背景进行更新和提取，再使用带阈值的背景差分法获取运动目标[7]。

图1显示了火灾烟雾图像的区域运动分割过程。

图1 运动区域分割示

2 特征提取

2.1 烟雾轮廓不规则特征提取

火灾发生时，在热气流的影响下，烟雾从着火点开始不断向周围扩散；烟雾的边界呈现出一种不规则的状态，而行人、汽车和动物的边界看起来更规则，可将这一特性作为检测烟雾和非烟物体的一个依据。

一般来说，面积相同的图形，边界区域越不规则其边界长度越大。文中将圆形度[8]作为检测烟雾和非烟物体的依据。圆形度定义为：

(1)

式中，A为图形面积；L为图形周长。

文中采用8向链码提取周长L和面积A。通过8向链码求取区域周长L的方法为：将区域像素看成点，将周长L定义为区域边界像素的8链码长度和[9]，其表达式为：

(2)

通过边界链码求取区域面积A的方法为：

(1)令点(x,y)为链码起点，取横坐标x为长度起点，纵坐标y为第一高度，并对链码初始化，使长度终点等于起点。

(2)取一个新点(x1,y1)，判断纵坐标y1是否等于y，若等于转到步骤3，若不等于转到步骤4。

(3)存储y1作为新高度，并取x1作为此高度的长度起点，对链码初始化，使长度终点等于长度起点。

(4)用x1与点(x1,y1)的高度的起点和终点进行比较，若x1小于起点，则将x1作为新起点；若x1大于终点，则将x1作为新终点；否则转到步骤5。

(5)判断是否到达链码终点，若是转到步骤6，否则进入步骤2。

(6)对每一个高度求其长度，面积等于每个高度的长度之和。

表1为部分烟雾图像和干扰物图像的圆形度数据。

表1 样本图像圆形度统计表

由上述数据可以发现；由于烟雾运动区域的无规则性，其圆形度通常大于3；行人、车辆和动物等规则物体的圆形度一般小于3；因此，可将圆形度作为BP神经网络的第一个输入特征用于融合判断。

2.2 烟雾模糊特征提取

空气中的细小颗粒不断聚集形成了烟雾，随着烟雾浓度的不断增大，图像背景开始变得模糊；在频域上，烟雾的这种性质将会引起高频信号的衰减[10]。因此，可将这一特性作为检测烟雾和非烟物体的一个依据。通常，利用二维离散小波变换提取这一特征，一幅图像经过二维离散小波变换后分解为四个四分之一大小的图像，包括一幅低频分量子图像和三幅高频分量子图像。其中，三幅高频分量子图像分别体现了竖直方向(LH)、水平方向(HL)和对角方向(HH)的纹理信息。其中，低频分量子图像可以较完整地体现出原图像的特征，而高频分量子图像只体现了原图像的部分特征。

设一幅图像经过二维离散小波变换得到三幅高频分量子图像的小波系数分别为LHn(x,y)、HLn(x,y)和HHn(x,y)，用Wn(x,y)表示三幅高频分量子图像的复合能量值，其公式为：

(3)

文中通过定义高频能量衰减率来表示物体背景变模糊的程度，公式如下：

(4)

其中，en表示图像中疑烟区域第n帧的高频能量值；ebn表示疑烟区域对应背景图像经二维离散小波变换后的高频能量值；当视频中出现烟雾时，随着边缘变平滑，细节信息减少，通常会使三幅高频分量子图像的能量值减少[11]。

表2给出了部分烟雾图像和干扰物图像的高频能量衰减率数据。

表2 样本图像高频能量衰减率统计

由上述数据可以发现：由于烟雾运动区域的模糊性，其高频衰减率远大于汽车、行人和动物等刚性物体。一般，烟雾的高频衰减率在0.1～0.5之间；行人、汽车和动物等刚性物体的高频衰减率小于0.1，二者具有很好的区分度。因此，可将高频衰减率作为BP神经网络的第二个输入特征用于融合判断。

2.3 烟雾纹理特征提取

纹理体现了物体表面共有的内在特征，被定义为一个区域内的属性，反映了图像中同质现象的视觉特性。火灾烟雾在热气流的影响下，做着小尺度，快速的随机运动，并会产生漂移、闪烁、扩散和相位起伏等现象，从而引起图像序列灰度值的空间变化[12]。因此，文中选择基于统计法中的灰度共生矩阵法提取样本的纹理特征值，该方法是建立在图像的二阶组合条件概率密度基础上的，具有较好的鉴别能力。

(5)

其中，#代表像元个数；k、l和m、n在各自所选的窗口内变化；一般来说位移方向有4种，即0°、45°、90°和135°，当距离为d时，其计算公式如下：

(6)

(7)

(8)

(9)

实验表明，当灰度级L=16时，计算速度不至于太慢同时也能够表达足够的纹理信息，此时利用灰度共生矩阵可以得到一系列的纹理统计量[13],根据火灾烟雾纹理的无方向性和像素灰度的高随机性，选择更能有效反映火灾烟雾特征的能量和对比度作为纹理特征，其计算公式为：

(10)

(11)

文中分别计算出火灾烟雾图像和样本图像在0°、45°、90°和135°方向上的灰度共生矩阵，再计算出每一个方向上的能量和对比度，最后取每一个特征量在4个方向上的平均值作为识别火灾烟雾的判据。部分实验数据见表3和表4。

表3 样本图像能量值统计表

表4 样本图像对比度统计表

由表中数据可以发现：

(1)反映纹理粗糙程度的能量较小，且纹理越粗糙，能量越大；其中，火灾烟雾的能量最大，动物的最小。

(2)反映纹理沟纹深浅的对比度较大，且沟纹越深，视觉效果越清晰，对比度越大；其中，火灾烟雾的对比度最小，动物的最大。

(3)数据特点都符合图像的纹理特征，并且能量和对比度都有一定的可分性，可以作为区分火灾烟雾和其他干扰物的特征量。因此，将纹理中的能量和对比度作为烟雾特征进行融合判定可以更好地实现烟雾检测。

3 实验过程

BP神经网络在特征融合方面具有很强的鲁棒性、容错性和准确性，并且可以处理不完整的模糊信号[14]。为了应对火灾发生环境的复杂多样性，文中将BP神经网络用于视频烟雾检测，可以实现系统的准确性和实时性的统一。

3.1 烟雾检测的BP神经网络设计

文中采用含有一个输入层、一个隐含层和一个输出层的BP神经网络。其中，输入层节点数与样本特征数保持一致，因此得到四个信号作为BP神经网络的输入信号；输出层节点数由研究对象本身决定，文中选择节点数为一，并采用sigmoid激发函数将输出结果归一化。用Y表示输出结果，根据经验数据，人为划定期望输出Y：Y∈[0,0.8]系统判定为正常，Y∈[0.8，1]系统判定为火灾；隐含层节点数由公式计算得到，结果为7。公式如下：

隐含层节点数=输入层节点数×输出层节点数×2-1

选取各种场合下拍摄的早期火灾烟雾及干扰现象的视频序列作为学习样本，其中含烟雾的视频20个，行人视频3个，动物视频3个，车流视频4个，每个视频提取两组数据，共得到60组输入样本。其中，序号1～40为烟雾图像样本，序号40～60为干扰物图像样本。学习训练时，设置系统目标误差为10-5，步长为0.001。输入学习样本后，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望输出向量尽可能地接近，当网络输出的误差平方和小于10-5时训练完成，保存网络权值的偏差。表5给出了训练样本的部分数据；其训练结果如图2所示。对训练结果观察可得，拟合值和真实值基本吻合，其精度可以达到系统要求。

图2 神经网络训练拟合图 表5 部分神经网络训练样本

样本序号特征分量圆形度高频能量衰减率能量对比度模式类型17.72240.26180.08261.2329(1)27.82410.28240.09491.7869(1)37.03260.32160.07272.1234(1)47.43340.38120.09201.9206(1)58.63570.27240.07481.8166(1)68.83820.32620.06241.8166(1)77.62120.42180.05371.6329(1)87.52370.44260.06862.6143(1)96.92690.21720.07290.9928(1)107.02740.24060.08361.3247(1)………………367.61790.29260.07272.0349(1)376.82070.37260.06921.4929(1)386.92320.40120.08141.6260(1)397.93120.19140.07921.7217(1)408.03410.22000.08182.1318(1)412.80860.05480.03275.4728(0)422.70780.07210.03866.2460(0)432.54720.06270.03126.2342(0)………………572.12210.04180.02189.0317(0)582.41820.05180.02149.3418(0)592.22100.04720.02269.9272(0)602.39210.04020.02129.2217(0)

经过样本训练得到输入层和隐含层的权值系数矩阵为：

隐含层阈值矩阵为：

[-2.270 5 1.408 2 -0.809 2 -0.460 0 1.084 3 1.676 3 2.397 6]T

隐含层和输出层的链接权值矩阵为：

[-0.652 0 -0.107 1 -0.928 4 -0.056 9

-0.413 4 0.022 8 0.010 3]

输出层阈值矩阵为：

该样本的实际输出为：

3.2 测试样本及数据分析

为了验证文中BP神经网络融合烟雾特征方法的有效准确性，利用训练好的BP神经网络对训练样本之外的3个火灾烟雾视频和2个干扰视频进行测试，每个视频提取2组数据，共得到输入数据10组，测试数据如表6所示。

表6 测试样本数据

由实际输出结果可以看出，火灾烟雾视频的输出都大于0.8小于1，其余干扰视频的输出都远远小于0.8，说明已训练好的BP神经网络用来检测火灾烟雾具有一定的准确性和可靠性。

4 结束语

文中基于传统火灾探测技术在某些场合的应用弱点，提出了基于视频的火灾烟雾检测方法。首先通过运动检测提取疑似火灾烟雾区域；然后在频域和时域的基础上，提取出烟雾的轮廓不规则特征、模糊特征和纹理特征；最后用三层BP神经网络对提取的特征进行融合，并对网络视频和拍摄视频进行测试。

实验结果表明：该方法具有较高的火灾识别能力，利用其综合处理的图像输入信号可以改进火灾探测过程中信号不匹配的问题，使火灾探测系统具有了自我学习自我适应的能力，即在得到样本数据后，可以自动建立输入与输出的关系。同时，由于火灾烟雾先与火焰出现在人们的视线里,因此，相比于传统的火焰检测，烟雾检测能更早地发现火情，将损失降到最低，具有更高的可靠性和实用性。

[1] 练秋生，李 党.融合多种特征的烟雾图像检测算法[J].光学技术,2009,35(4):523-528.

[2] Zhao J, Tow J, Katupitiya J.On-tree fruit recognition using texture properties and color data[C]//Proc of 2005 IEEE/RSJ international conference on intelligent robots and systems.[s.l.]:[s.n.],2005:263-268.

[3] Yuan Feiniu. A fast accumulative motion orientation model based on integral image for video smoke detection[J].Pattern Recognition Letters,2008,29(7):925-932.

[4] 袁非牛，张永明，刘士兴,等.基于累积量和主运动方向的视频烟雾检测方法[J].中国图象图形学报，2008,13(4):808-813.

[5] Mena J B,Malpica J A.Color image segmentation based on three levels of texture statistical evaluation[J].Applied Mathematics and Computation,2005,161(1):1-17.

[6] Chen Thou-Ho,Yin Yen-Hui,Huang Shifeng,et al.The smoke detection for early fire-alarming system base on video processing[C]//Proceeding of the 2006 international conference on intelligent information hiding and multimedia signal processing.[s.l.]:[s.n.],2006:427-430.

[7] 严 勇，黄席樾，刘爱君.Kalman滤波在运动图像背景提取及更新中的应用[J].自动化与仪器仪表，2006(2):28-30.

[8] 龚声蓉，刘声平，王 强.数字图像处理与分析[M].北京:清华大学出版社,2006:213-215.

[9] Freeman H.On the encoding of arbitrary geometric configurations[J].IEEE Trans on Electronic Computers,1961，EC-10(2):260-268.

[10] Toreyin B U,Dedeoglu Y,Cetin A E.Wavelet based real-time smoke detection in video[C]//Proc of 13th European signal processing conference.[s.l.]:[s.n.],2005:653-695.

[11] 闫建强.基于DM642和图像分析的林火烟雾检测系统研究[D].杭州：杭州电子科技大学，2010.

[12] 冉海潮，孙丽华.基于烟气湍流效应的火灾判据[J].传感技术学报,2001,14(1):72-74.

[13] 白雪冰，王克奇，王 辉.基于灰度共生矩阵的木材纹理分类方法的研究[J].哈尔滨工业大学学报,2005,37(12):1667-1670.

[14] 刘永锋，李润祥，李纯斌,等.BP神经网络和支持向量机在积温插值中的应用[J].干旱区资源与环境，2014，28(5)：158-165.

Video Smoke Detection Based on Multi Feature Fusion Technology

LI Yue-hua,SHAN Lei,TIAN Zhong-fu,ZHU Zi-min

(College of Mechanical and Electrical Engineering,Northeast Forestry University,Harbin 150040,China)

The smoke detection is very important for the prevention of early fire,the traditional fire detection is a technology that uses a sensor to identify the flame and temperature,each sensor can only detect dispatched around the local space,for the open space and other special occasions,difficult to play a role.In order to overcome the defects of traditional fire detection has disadvantage of high false alarm rate,a fusion technology of image fire detection method based on multi feature of smoke was proposed.The method uses background subtraction method to obtain the ordinary CCD camera shooting suspected fire smoke regions at first.Then from time domain and frequency domain,the fire smoke irregular contour feature,background extraction fuzzy features and texture features are extracted as the input signals of neural network,also with the sigmoid function will output a normalized.Finally through the training of BP neural network,complete fire smoke multi feature fusion,and carry on the test of fire video network.The results show that image based fire detection method can accurately and quickly identify the fire smoke,and achieve the purpose of early warning.

smoke detection;irregular contour feature;ambiguity characteristics;texture feature;feature fusion

2015-04-01

2015-07-08

时间：2016-01-04

黑龙江省自然科学基金项目(C201244)

黎粤华(1972-)，女，副教授，研究方向为信息与网络安全、数字图像处理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160104.1608.074.html

TP39

A

1673-629X(2016)01-0129-05

10.3969/j.issn.1673-629X.2016.01.027