基于图像分离的视频烟雾检测方法

董兰芳，余家奎

（1.中国科学技术大学计算机科学与技术系，合肥230027；2.浙江大学流体动力与机电系统国家重点实验室，杭州310027）

基于图像分离的视频烟雾检测方法

董兰芳1，2，余家奎1

（1.中国科学技术大学计算机科学与技术系，合肥230027；2.浙江大学流体动力与机电系统国家重点实验室，杭州310027）

为提高视频中烟雾检测的准确率，提出一种基于图像分离的检测方法。通过高斯混和模型和统计非参数方法建模背景、消除阴影和提取前景区域，在得到前景的基础上结合暗通道得到候选烟雾区域，对候选区域进行分块处理，利用大气散射模型提取该区域内每块图像帧中的烟雾成份，并逐一提取局部二值模式特征，使用支持向量机进行分类和判别，同时采用亮通道进一步加快烟雾成份分离速度。实验结果表明，该方法能够提高烟雾检测准确率和检测速度。

高斯混合模型；统计非参数方法；图像分离；烟雾检测；暗通道；亮通道

1 概述

火灾严重威胁人类的生命和财产安全，因此，及时检测和预防火灾具有重要意义。目前，较成熟的火灾探测方法有感烟、感温和感光等探测技术，但是这些基于传感器的探测技术要求探测器必须安装在起火点附近，且检测依据单一，易受监控环境的面积、湿度和气流等因素影响，而且随着数字图像处理以及计算机视觉理论研究的发展和完善，基于视频图像的检测方法越来越受到大家的关注。

在火灾监控中，烟雾检测对于实现早期火灾预警具有重要意义。目前，多数基于视觉的烟检测技术主要采用模式识别的方法，首先对输入图像进行预处理，然后将每一幅图像划分成块，并对每一块提取对应的显著特征，根据这些特征判断该块所在区域是否为有烟区域，如文献［1］利用2层小波变换的LH，HL和HH高频子带研究对背景高频信息产生的衰减，并使用一维小波分解分析烟雾边界像素的闪烁变化，同时检验YUV颜色空间中U和V通道值的变化；文献［2］通过减背景法及颜色信息确定潜在烟雾区域，并采用Lucas Kanade光流法对潜在区域提取运动信息；文献［3-4］通过烟雾的颜色和能量信息以及时空特征来对其进行检测；文献［5］通过使用运动累计性和主方向性来检测烟雾。上述方法很大程度上依赖于视觉特征的选择，此外，目前也很难对烟的视觉特征进行量化。因此，本文提出使用图像分离的技术检测烟雾。首先采用背景差分方法提取运动像素，结合暗通道的思想得到候选的像素，然后把图像分块，对每一个块提取其对应的烟雾，最后使用局部二值模式（Local Binary Pattern，LBP）［6］和支持向量机（Support Vector Machine，SVM）进行分类和判别。

2 结合暗通道的目标检测和提取

运动目标的检测和提取是视频中烟雾检测的基础，目前常用的方法有背景差分法、帧间差分法和光流法等。本文采用背景差分方法对运动目标进行检测，提取ROI区域。由于背景差分法对于背景的建模有很大的依赖性，尤其在室外环境下，天气、光照、风吹动的树木等其他扰动背景的影响非常严重，再加上视频图像中可能存在阴影，因此本文采用高斯混合模型（Gaussian Mixture Model，GMM）［7］和统计非参数方法（Statistical Non-parametric approach，SNP）［8］方法来检测和提取运动像素。

经统计发现，在绝大多数非天空的局部区域里，某一些像素总会至少有一个颜色通道具有很低的值，也就是说该区域的光强度的最小值是一个很小的数。对于任意的输入图像J，其暗通道［9］可以用如下公式表达：

其中，Jc表示彩色图像的每一个通道；Ω（χ）表示以像素χ为中心的一个窗口。暗通道的先验理论指出：

由式（1）和式（2）可知，对于视频图像中的烟雾来说一般是对应暗通道中的亮区域（黑烟除外），因此可以通过设定一个阈值T_darK，来得到烟在暗通道中的候选区域ROI_darK，再将其与用GMM得到的运动区域求交，并使用形态学滤波等方法进一步的去除一些噪声，即可得到烟的候选区域ROI_smoKe。图1为检测和提取烟的候选区域，其中，图1（a）是视频中的一帧图像，即当前图像；图1（b）是使用GMM建模的背景图像；图1（c）是使用暗通道图像并且根据阈值得到的暗通道二值化图像；图1（d）是使用GMM得到的前景图像；图1（e）是合并暗通道二值化图像和GMM的前景图像；图1（f）是对合并图像进行形态学处理后的结果。

图1 烟雾候选区域的检测与提取

3 烟雾成份的分离

对烟雾成份的分离［10］，就是把一副图像看成是由背景图像和烟成份线性混合构成的。通过把一副图像划分为一些不重叠的图像块，并且用ft∈RN表示含有N个像素在时刻t的图像块。根据2个基础的大气散射模型（衰减和大气光模型）［11］，如果烟存在，由于散射的原因，那么在光线到达相机之前，其会衰减来自背景的光反射。同时烟也会产生一定的大气光，其看起来像是光源。因此可知是由散射模型和大气光模型决定ft，那么ft可以公式表示为：

其中，nt∈RN表示模型的噪声；bt∈RN表示无烟情况下的背景和st∈RN表示被无穷厚度的烟所散射的部分；αt∈［0，1］表示时刻t的混合权重，其依赖于烟的散射系数和沿着视觉线烟的厚度。在一个图像块中，通常假设烟的厚度是一个常量，因此在一个图像块中αt被看成是一个常量，但是在不同的图像块中，其对应的值是不同的。为了保持简洁性，在本文的其余部分将省去下标t。

假设f是通过静止相机得到的图像，通过使用高斯背景建模来得到b近似，那么问题就转换为在给定f和b的条件下，通过最小化噪声项来估计出α和s，即对应以下公式：

由于其有N+1个变量，但是仅仅有N个等式，因此式（4）具有无穷多个解。为了使得解具有唯一性，需要对s和b中的1个或者2个进行约束，考虑到由于不同的应用程序其背景b变化是很大的，而烟通常是有相对一致的视觉特征，再加上通过观察知道，纯烟图像块通常是很平滑的，也就是说在一个纯烟图像块中的像素与其领域像素具有相似的亮度和颜色，因此可以得到如下最优化问题：

其中，si是s的第i个元素；Ωi是第i个像素的小邻域和λ是一个权衡残余误差和平滑约束的权重参数。通过定义一个矩阵T∈｛-1，0，1｝M×N，可以重写式（5）中的第2项，得到如下的公式：

其中，A=TTT，并且T的行数M是由邻域Ω的大小决定的。用式（6）替换式（5）中的第2项可以得到：

对于式（7）的求解，可以通过固定α求s和固定s求α迭代求得。通过固定α求s，式（7）变成了s的二次函数，那么可以得到：

其中，I∈RN×N表示N×N单位矩阵。通过固定s求 α，可以得到：

迭代上面的式（8）～式（10），直到α和s收敛或者达到了指定的迭代次数。

4 亮通道加速烟雾成份的求解

通过实验发现，如果用式（8）～式（10）进行直接迭代求解，其速度较慢，为了提高求解的速度，提出利用与暗通道对应的亮通道来加速求解。亮通道的定义如下：

其中，符号的含义与式（1）类似。使用得到的亮通道图像作为的初值，然后使用式（8）～式（10）的顺序来迭代求解，可以显著加速求解的过程。

5 实验结果及分析

为对提出的方法进行验证，本文分别使用人工合成的图像和真实采集到的视频进行测试。实验环境在Inter®CoreTMi5-2320 CPU和Visual Studio 2010平台实现。

5.1 人工合成的烟雾成份提取性能

为合成大小为16×16的真实烟雾的图像块，使用无烟背景和纯烟图像来进行混合，其对应的图像如图2所示，然后将这两幅图像进行混合，其中所用的混合因子α的值为0.1～1.0，每隔0.1取一个α值得到的10副混合图像的结果如图3所示（从左到右，从上到下，α的值从0.1～1.0，间隔0.1）。测试结果对比如表1所示。

图2 背景与纯烟图像

图3 混合后的图像

表1 测试结果对比

由表1可以看出，使用亮通道和随机值对烟成份进行初始化来计算权重混合因子α的2种方法，总体上来说本文提出的方法得到准确度要稍微优于随机值的方法。而且从表中可以明显的看到，本文的方法在计算权重混合因子的时候其对应的迭代次数要明显优于随机的方法，而且在实际混合权重越大的情况下，这种优势越明显，其主要是因为本文使用亮通道。已知白烟一般对应的图像的比较亮的部分，所以在实际混合权重比较大的情况下，结合亮通道能够很大提高烟成份分离的速度和减少迭代的次数。

5.2 真实视频帧中烟雾的检测

对真实视频中的烟雾的检测，首先使用GMM和SNP提取前景图像，把得到的前景图像与暗通道图像进行合并，得到候选烟雾的区域，根据当前图像和背景图像的对应候选烟雾的区域来提取烟雾成份，为了加快速度，以亮通道的值作为烟成分的初始值。对得到的烟雾成份图像提取LBP特征，并将得到的LBP特征作为SVM的输入，用SVM进行分类，判断当前块是否含有烟雾，具体的流程如图4所示。

图4 真实视频中的烟雾检测流程

使用图4真实视频中烟检测的流程中的步骤对文献［12］提供的公共视频集进行了测试，由于引入亮通道，本文方法的检测速度从文献［10］方法的每秒1帧～2帧提高到每秒3帧～4帧，平均速度提高了2倍以上。而且由于引入了暗通道，使得在前期处理的时候能够更好的排除误检测部分，而且如表2所示，相对于文献［10］方法的结果，其对应的准确率提高了和误检率下降了，准确率从97.7%提高到了99.1%，提高了1.4%，误检测率从2.1%降到了0.6%，降低了1.5%。虽然准确率和误检测率都有改善，但是由于暗通道会排除一些可能是烟的部分，因此其对应的漏检测率会有所增加，实验结果是漏检率从0.2%增加到了0.3%，增加了0.1%。这种漏检率的增加可以通过多帧的连续判断来进一步的减少，因此，本文的方法相对于文献［10］方法具有明显优势的。

表2 不同方法的检测效果对比 %

图5是部分公共数据库视频集［12］中的一些视频图像帧的检测效果，其中，图5（a）表示当前图像帧，图5（b）表示用高斯混合模型GMM建模得到的背景图像，图5（c）表示使用本文提出的基于图像分离和结合亮、暗通道的方法检测出烟的区域。

图5 部分真实视频帧的检测效果

6 结束语

本文对视频图像中的烟雾建立一个分离模型。该模型是根据2个基础的大气散射模型（衰减和大气光模型），把一副图像看成是由背景图像和烟雾成份线性混合构成的，通过对建立的模型进行求解可以得到图像帧中烟雾成份。同时使用LBP特征、SVM分类器和累计确认等方法进一步判断得到的区域是否为烟雾成份。在整个检测的过程中，为提高速度和准确率，本文使用亮、暗通道的方法，虽然速度上有明显的提升，但是还远不能满足视频检测中的实时性要求，因此，下一步的工作是将其移植到多核上，以进一步加速视频图像中的烟雾检测和分离速度。

［1］ Toreyin B U，Dedeoglu Y.Wavelet Based Real-time Smoke Detection in Video［C］//Proceedings of EUSIPCO'05.Antalya，Turkey：［s.n.］，2007：309-310.

［2］ Yu Chunyu，Fang Jun，W ang Jinjun，et al.Video Fire Smoke Detection Using Motion and Color Features［J］. Fire Technology，2010，46（3）：651-663.

［3］ Calderara S，Piccinini P.Vision Based Smoke Detection System Using Image Energy and Color Information［J］. Machine Vision and Applications，2011，22（4）：705-719.

［4］ Lee C，Lin C.Smoke Detection Using Spatial and Temporal Analyses［J］.International Journal of Innovative Computing，Information and Control，2012，8（7）：4749-4770.

［5］ 袁非牛，张永明，刘士兴.基于累积量和主运动方向的视频烟雾检测方法［J］.中国图象图形学报，2008，13（4）：808-813.

［6］ Tina H.Smoke Detection in Videos Using Nonredundant Local Binary Pattern Based Features［C］// Proceedings of IEEE International Workshop on Multimedia Signal Processing.Washington D.C.，USA：IEEE Press，2011：1-4.

［7］ Zivkovic Z.Improved Adaptive Gaussian Mixture Model for Background Subtraction［C］//Proceedings of the 17 th International Conference on Pattern Recognition. Cambridge，UK：［s.n.］，2004：28-41.

［8］ Prati A.Detecting M oving Shadow s：Algorithm s and Evaluation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence.Washington D.C.，USA：IEEE Computer Society，2003，25（7）：918-923.

［9］ He Kaiming.Single Image Haze Removal Using Dark Channel Prior［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.， USA：IEEE Press，2009：1956-1963.

［10］ Tian Hongda，Li Wanqing，Wang Lei，et al.Smoke Detection in Video：An Image Separation Approach［J］.International Journal of Computer Vision，2014，106（2）：192-209.

［11］ Narasimhan SG，Nayar S K.Vision and the Atmosphere［J］.International Journal of Computer Vision，2010，48（3）：233-254.

［12］ Cetin A E.Visor and Computer Vision Based Fire Detection Software［EB/OL］.［2014-08-10］.http：// signal.ee.bilkent.edu.tr/VisiFire/Demo/Sam pleClips.

编辑 金胡考

Sm oke Detection M ethod in Video Based on Image SeParation

DONG Lanfang1，2，YU Jiakui1
（1.Department of Computer Science and Technology，University of Science and Technology of China，Hefei230027，China；2.State Key Laboratory of Fluid Power Transmission and Control，Zhejiang University，Hangzhou 310027，China）

For improving the accuracy of detecting smoke in video，this paper presents a method using image separation.Firstly，it uses Gaussian Mixture Model（GMM）and Statistical Non-parametric approach（SNP）to model background，eliminates shadow and extracts foreground image.Meanwhile，it combines dark channel image to get candidate smoke regions.Secondly，it extracts smoke component from candidate regions.Thirdly，it extracts Local Binary Pattern（LBP）feature.Finally，it uses Support Vector Machine（SVM）to classify and identify.To speed up the smoke component separation，this paper uses bright channel.Experimental results show that the proposed method can im prove the speed and accuracy of smoke detection.

Gaussian Mixture Model（GMM）；Statistical Non-parametric approach（SNP）；image separation；smoke detection；dark channel；bright channel

董兰芳，余家奎.基于图像分离的视频烟雾检测方法［J］.计算机工程，2015，41（9）：251-254，260.

英文引用格式：Dong Lanfang，Yu Jiakui.Smoke Detection Method in Video Based on Image Separation［J］.Computer Engineering，2015，41（9）：251-254，260.

1000-3428（2015）09-0251-04

A

TP18

10.3969/j.issn.1000-3428.2015.09.046

浙江大学流体动力与机电系统国家重点实验室开放基金资助项目（GZKF-201318）。

董兰芳（1970-），女，副教授，主研方向：科学计算可视化，计算机动画，视频图像智能分析；余家奎，硕士研究生。

2014-09-22

2014-10-20 E-m ail：lw jaiyjk@126.com