基于Harris特征点检测与跟踪的火灾烟雾识别

胡燕，王慧琴，姚太伟，贾阳

1.西安建筑科技大学管理学院，西安 710055

2.西安建筑科技大学信息与控制工程学院，西安 710055

基于Harris特征点检测与跟踪的火灾烟雾识别

胡燕1，2，王慧琴1，2，姚太伟2，贾阳2

1.西安建筑科技大学管理学院，西安 710055

2.西安建筑科技大学信息与控制工程学院，西安 710055

针对现有的视频火灾烟雾探测方法实时性差，误报率和漏报率都比较高的问题，在深入分析烟雾图像特征的基础上，发现早期烟雾运动缓慢且主要运动方向呈向上趋势，在连续帧中像素的强度变化具有一致性的特点，通过Harris检测算法找到强度变化剧烈和图像边缘的特征点，根据光流场与运动场的对应关系由成像平面中光流的变化估计烟雾的相对运动，计算运动矢量信息，实现多特征烟雾检测。该算法是基于烟雾灰度变化的特征点作为检测对象，大大减少了待处理的数据量，缩短了算法处理时间，综合了烟雾的局部特性和全局特性，具有较强的鲁棒性和较高的检测准确率。

Harris；特征点；Lucas-Kanade目标跟踪；烟雾特征；烟雾识别

1 引言

近年来，随着经济的发展和城市化进程加快，大空间等高层建筑不断出现，带来了实用美观、通透性和采光性好的同时，也带来了新的消防隐患。快速准确地实现大空间火灾探测成为研究的热点问题。基于视频的火灾探测技术是通过现有监控系统采集图像，分析火焰和烟雾图像变化特征探测火灾是否发生，是火灾探测领域新的研究方向，克服了传统火灾探测技术在大空间应用的局限。

火灾形成初期，大多数情况下并没有明显的火焰信号，只存在阴燃，并伴随大量烟雾产生，因此通过烟雾检测能更早地实现火灾的早期预警。目前，国内外对视频烟雾检测技术的研究尚处于初级阶段。大部分检测方法使用了烟雾的可视化特征，如颜色特征、纹理特征、边缘不规则特征、半透明性特征、面积增长特征等，并结合信息融合技术，如SVM、模糊推理、BP神经网络等，实现火灾烟雾识别。文献[1-5]提出了采用固定阈值的背景差分法提取前景目标。事实上，烟雾往往需要经过一定的时间才能使前景和背景之间累计足够的差异形成潜在目标，差分阈值选取过大或过小均会造成过分割或漏分割。文献[6-8]通过对烟雾像素建立一套色彩模型提取疑似区域，对疑似区域进行静态和动态特性分析实现烟雾检测。当烟雾颜色与背景对比度较低，易出现火灾误判，且难以区分颜色相近的目标。文献[2]提取烟雾边缘不规则性、面积增长特性和浓度变化特性，用训练样本构造烟雾识别SVM分类器。文献[9]设计了用小波变换提取烟雾纹理特征作为神经网络输入量实现烟雾分类识别的方法。因烟雾目标具有离散性和时变性，很难选择合理的训练样本，算法的准确性难以保证。文献[10]提出的基于混合高斯模型定位目标图像再用灰度共现矩阵法提取烟雾纹理特征的算法只能对静止背景中的目标图像进行分割，要区分其他运动物体，需结合诸如颜色、轮廓等特征，并且该方法不满足视频火灾探测对实时性的要求。

为了提高烟雾识别精度和抗干扰性，本文提出了基于Harris特征点检测与跟踪的火灾烟雾识别方法。首先用Harris[11]算法搜索只保存图像部分数据，却携带了图像大部分信息的特征点[12]，然后用Lucas-Kanade[13]光流算法跟踪这些特征点，获取其运动平均偏移量，相位角分布比例和质心相对运动作为烟雾识别依据，判断监控区域是否有火灾发生。该算法不需要图像的先验知识，能消除光照、噪声以及背景纹理的影响，对强度变化剧烈和图像边缘的特征点进行跟踪研究，极大提高了检测算法的鲁棒性和实时性。

2 基于Harris特征点检测与跟踪的火灾烟雾识别

烟雾是一种非刚性物体，由悬浮在空中的微小颗粒构成，在热气流的作用下运动相对缓慢和稳定，整体呈现向上升腾状态。通过深入分析烟雾与干扰在图像上表现的特征差异，采用特征点检测与Lucas-Kanade光流跟踪技术在限定区域连续跟踪目标，得到相邻帧特征点的运动矢量作为烟雾和干扰的分类依据。

2.1 Harris特征点检测

特征点是图像的一种重要局部特征，是二维图像强度变化剧烈或图像边缘曲线上曲率极大值的点[14]。Harris特征点检测通过计算灰度自相关函数曲率确定角点位置，即在邻域Ω内使得式（3）取得最小值的点为跟踪目标。此方法利用图像像素点本身的特性直接提取特征点，不依赖于图像的其他局部特征，速度快、实时性强。阈值T的选择是Harris检测法得到较理想特征点的前提，取值过大或过小均会严重影响下一步特征点匹配[15]。本文设定搜索窗口为5，T分别取800，200，100，处理结果如图1所示。

图1 T=800，200，100时特征点检测结果

当T=800时，特征点分布密集，产生聚簇现象，数据冗余度增加。T=100时，特征点分布分散，数量太少，不能表征整个图像特征。T=200时，特征点分布集中，数量适中，能够完整表征整个图像特征，容易在下一帧图像中找到，便于目标跟踪。

2.2 Lucas-Kanade目标跟踪

Lucas-Kanade稀疏光流法是建立在灰度保持恒定、运动保持连续和空间保持一致的三个假设的基础上。假设在t时刻图像中点(x，y)的灰度为I(x，y，t)，在t+Δt时刻移动的位移为(Δx，Δy)，对应灰度为I(x+Δx，y+Δy，t+Δt)。当Δt很小时，根据灰度恒定假设条件，得到光流基本约束方程：

约束方程假设在图像帧中点(x，y)处的光流为(u，v)，并假设在该点的一个小邻域Ω内各点的光流基本相同。即邻域内每一点的光流都可以用(u，v)近似，可通过Ω领域内不同点的权重计算该点的光流。

求解点(x，y)处Lucas-Kanade光流的过程就是使式（3）在(x，y)邻域Ω内取得最小值(u，v)的过程。设邻域Ω内共有n个像素点，使用加权最小二乘法得到点(x，y)处Lucas-Kanade光流方程组为：

其中Ixi、Iyi、Iti分别为邻域Ω内第i个像素在x、y、t方向上的梯度值；wi为邻域Ω内第i个像素权重。

当(ATA)满秩时，(ATA)可逆，反映在图像上是边缘的角点。当跟踪窗口的中心在图像的角点区域时，(ATA)特性最好。正因为(ATA)在角点处有两个大的特征向量，所以这些角点是可用于跟踪的良好特征点。Lucas-Kanade目标跟踪算法流程图如图2所示。

图2 基于Lucas-Kanade的特征点跟踪算法流程图

2.3 运动目标参数提取

相邻帧的烟雾图像满足Lucas-Kanade光流算法的三个假设，而且烟雾边缘很不规则，有很多适合跟踪的特征点。通过对这些跟踪特征点运动参数的计算判断是否有火灾产生。

（1）平均偏移量：利用运动分割算法获取可疑烟雾目标，并对前后两帧运动目标的特征点进行跟踪，得其运动偏移量。假定某一区域内有n个特征点，第i个特征点前后两帧的坐标分别为(xi，yi)，(x′i，y′i)。偏移量记为Li，则则这一目标区域的平均偏移量Lˉ为：

（2）相位角分布比例：目标区域的运动趋势可以通过统计这一区域目标特征点的速度矢量在[0，2π)相位区间分布情况来确定，以π/4为间隔，逆时针方向依次将[0，2π)分为8个区间。假定某一特征点i的运动矢量被分解成水平速度u和垂直速度v，其反正切值θi= arctan表示该特征点的相位角。再统计所有特征点的分布情况，由于烟雾运动基本上呈现向上运动的趋势，反应在相位空间中是运动矢量主要集中在，即划分的2，3区间。通过统计占这两个区间的特征点的比例确定该目标的主运动趋势：

其中λi为分布在第i(i=2，3)个区间特征点的个数，S为可疑目标相位角分布比例。

（3）质心相对运动：随着旧燃烧物燃尽和新的燃烧物被点燃，烟雾区域不断扩散并移动着位置，但是这种移动是非跳跃的，而是连续的、平滑的，相对稳定的，用此特征可以排除运动较快的干扰以及微风带来的影响。该区域在前后帧质心相对运动坐标(ΔX，ΔY)为：

2.4 烟雾检测准则

为了保证算法的抗干扰性和稳定性，统计连续10帧图像的运动目标参数均值，烟雾识别规则为：

3 仿真实验及数据分析

为了验证算法的性能，分别在有烟和行人干扰的情况下进行了仿真实验，视频格式为AVI，采样率为25 frame/s，分辨率大小为320×240，如图3所示，运动目标参数统计如表1所示。

从表1分析可知，在一段时间内，图3（a）运动目标参数分别为：60%满足烟雾检测规则；而图3（b）运动参数分别为：不满足式（7）。虽然行人所穿的衣服与烟雾的颜色相近，在分割时都会当做可疑运动目标被提取出来，但是行人运动的速度相对烟雾运动速度较快，在计算特征点的平均偏移量和质心相对运动坐标的横、纵坐标值大于阈值，同时，行人在镜头前是由近到远运动，表现在图像上其的主要运动方向朝下，与烟雾在热量的驱使下主运动方向朝上相违背，即＜80%。

图3 火灾烟雾与行人运动矢量图

表1 火灾烟雾和行人图像运动矢量参数对比表

为了测试算法的性能，进行了模拟火灾场景的现场实验。实验条件如下：（1）室外白天，强光直射；（2）终端处理系统镜头的垂直高度为9 m；（3）探测器与火源的水平距离为25 m；（4）摄像机镜头为4 mm；（5）燃烧盘规格为30 cm×30 cm；（6）燃烧材料：棉絮、塑料泡沫、纸质物品和树叶；（7）干扰源：穿着与烟雾颜色相近的行人、水蒸气。测试结果如表2所示。

表2 烟雾探测算法测试结果

实验结果表明，该烟雾探测算法能较准确地检测到四种点火材料产生的烟雾，响应时间均小于20 s，其中棉絮产生的烟雾出现了2次漏报，这主要是因为棉絮产生的烟雾偏白，在白天强光下易与背景融为一体，较难被检测到。穿着与烟雾颜色相近的行人因其运动速度比烟雾的运动速度快，用式（7）易于排除；水蒸气无论在形态还是颜色方面都与烟雾非常相似，在实际的检测中易出现误报。因此在以后的研究中可以考虑提高水蒸气的检测率。

4 结束语

传统的火灾烟雾探测是对分割后的可疑目标区域所有像素进行分析研究，往往比较耗时。本文通过对能够表征图像强度变化剧烈和边缘的特征点进行跟踪，减少了待处理的数据，提高了算法的实时性。同时对连续10帧图像疑似目标特征点计算运动参数，可有效排除诸如光线、阴影等干扰带来的突发影响，确保了火灾烟雾识别精度。

[1]Xu Zhengguang，Xu Jialin.Automatic fire smoke detection based on image visual features[C]//International Conference on Computational Intelligence and Security Workshops，2007：316-319.

[2]Yang Jing，Chen Feng，Zhang Weidong.Visual-based smoke detecion using support vector machine[C]//Fourth International Conference on Natural Computation，2008：301-305.

[3]Toreyin B U，Dedeoglu Y，Cetin A E.Wavelet based realtime smoke detection in video[C]//13th European Signal Process Conference，2005.

[4]吴爱国，杜春燕，李明.基于混合高斯模型与小波变换的火灾烟雾探测[J].仪器仪表学报，2008（8）：1622-1626.

[5]Han Dongil，Lee B.Flame and smoke detection method for early real-time detection of a tunnel fire[J].Fire Safety Journal，2009，44：951-961.

[6]Thou Ho-chen，Yen Hui-yin，Shi Feng-huang，et al.The smoke detection for early fire-alarming system based on video processing[C]//Proceedings of the 2006 International Conference on Intelligent Information Hiding and Multimedia Signal Processing，2006：427-430.

[7]Yuan Feiniu.A fast accumulative motion orientation model based on integral image for video smoke detection[J]. Pattern Recognition Letters，2008，29（7）.

[8]Chen T H，Yin Y H，Huang S F，et al.The smoke detection for early fire-alarming system based on video processing[C]//Proc of Intelligent Information Hiding and Multimedia Signal，2006.

[9]Cui Yu，Dong Hua，Zhou Enze.An early fire detection method based on smoke texture analysis and discrimination[C]//Congress on Image and Signal Processing，2008：95-99.

[10]任厚平，张永明，张维农，等.基于混合高斯模型定位的火灾烟雾纹理特征提取[J].微计算机信息，2005，21（11）：83-85.

[11]王葳，唐一平，任娟莉，等.一种改进的Harris角点提取算法[J].光学精密工程，2008，16（10）：1995-2001.

[12]李文，郭立，袁红星，等.多视环境下特征点提取的并行实现[J].计算机工程，2012，38（1）：182-184.

[13]于仕琪.学习OpenCV（中文版）[M].北京：清华大学出版社，2009：356-362.

[14]李淑尚，李雷达，何霁野，等.结合特征点与极谐变换的图像拼接[J].计算机工程与应用，2013，49（3）：234-237.

[15]李欢欢，黄山，张洪斌.基于Harris与SIFT算法的自动图像拼接[J].计算机工程与科学，2012，34（11）：104-108.

HU Yan1，2,WANG Huiqin1，2,YAO Taiwei2,JIAYang2

1.School of Management,Xi’an University of Architecture and Technology,Xi’an 710055,China
2.School of Information and Control Engineering,Xi’an University of Architecture and Technology,Xi’an 710055,China

Aiming at the problem of lower real time,higher false alarm rate and miss rate in the existing video fire smoke detection methods,the feature that early smoke movement is slow,main movement trend is upward and pixel intensity change is consistent in successive frames is found after depth analysis of smoke image characteristics.Multiple feature smoke detection is realized through the Harris detection algorithm to find intensity changes and image edge feature point, based on the optical flow and the motion field correspondence by imaging plane optical flow estimation smoke changes in relative motion,calculation of motion vector information.This algorithm based on the smoke intensity change feature point as detection object greatly reduces the amount of data and shortens processing time.Because the smoke local and global characteristics are studied and applied,the proposed algorithm has the strong robustness and high detection accuracy rate.

Harris;feature point;Lucas-Kanade target tracking;smoke features;smoke recognition

A

TP391.41

10.3778/j.issn.1002-8331.1211-0362

HU Yan,WANG Huiqin,YAO Taiwei,et al.Fire smoke recognition based on Harris feature point detection and tracking.Computer Engineering and Applications,2014,50（21）：180-183.

高等学校博士学科点专项科研基金项目（No.20126120110008）；陕西省教育厅专项科研计划项目（No.14JK1438）；西安建筑科技大学青年科技基金项目（No.QN1125）。

胡燕（1981—），女，博士研究生，工程师，主要研究方向：信息安全和数字图像处理；王慧琴（1970—），女，博士后，教授，博士生导师，主要研究方向：数字图像处理、计算机与通信网络安全、智能信息处理；姚太伟（1985—），男，硕士研究生，主要研究方向：数字图像处理；贾阳（1988—），女，硕士研究生，主要研究方向：数字图像处理。E-mail：huyan.nancy@163.com

2012-11-29

2013-04-11

1002-8331（2014）21-0180-04