基于最优质量传输光流法和神经网络的火焰和烟雾检测

王卫兵　徐倩　韩再博

摘要：针对传统光流法不适用于气体和液体等图像检测的问题，提出了使用最优质量传输光流作为复杂过程的低维描述符用于火焰和烟雾检测的方法。检测过程可以抽象成一种关于时空像素邻域的监督式贝叶斯分类问题，其特征矢量是由最优质量传输光流速度和R、G、B颜色通道构成的，并采用单隐层神经网络分类器进行特征提取，最后通过分析像素概率来判断属于火焰或者是烟雾。实验结果表明，该方法成功的区分了烟雾和颜色相似的白云，同样区分了火焰和与火焰颜色相似的背景，具有较强的鲁棒性。

关键词：最优质量传输，神经网络，视频检测，监督式分类

中图分类号：TP183 文献标志码：A 文章编号：1007-2683（2017）01-0086-05

0 引言

目前，火焰检测大多是通过使用点式光电感烟探测技术来执行的。这些方法在大的，开放空间和有固定延时的情况下检测效果不好，这是因为燃烧粒子所到达传感器所用时间的影响。文仅使用像素的颜色信息最为特征来检测。文中的检测方法使用傅里叶描述符来描述火焰的边界。在文中，使用小波分析来解决FFT执行时窗口的选择问题。这种方法依赖于小波能量，寻找小波能量最低且对噪声是敏感的点。文中，作者提出一种系统，这种系统建模火焰像素作为一种固定空间像素小波系数的隐马尔科夫模型，这种固定空间像素是在三中状态之间变化的变量。此外，他们使用边界区域光滑作为分类变量。这两个属性相结合作为一个弱分类器。在文中非烟区域使用背景估计和颜色信息进行滤波。然后，计算Lucas-Ka-nade光流并且使用流的统计信息来训练神经网络。

这些方法有一个共同点，就是不试图区分类独立的像素。本文为了检测火焰和烟雾，同样不去使用独立的像素，以利于与火焰、火灾烟雾颜色相近的实物的区分。基于该主要研究目的，提出了基于最优质量传输光流法的检测算法，并结合神经网络，对火焰和烟雾进行检测。

1 分类器特征选择

目前大多数的检测方法都是基于启发式模型，这种模型描绘火或者烟的大约特征，但这往往不是最优的。一个最基本的方法是从描述烟或者火的训练数据中学习，训练一个分类器如神经网络等。训练和测试的原理如图1所示。

计算一个图像序列的光流，而不是简单的帧差，这允许考虑成像过程所期望的属性；接下来会讨论原因，基于最优质量传输的光流被计算用于火的分类，Horn-Schunck光流用于烟雾区域的分类。

图1（a）通过人工标记样本图像序列创建训练数据。样本含有时空像素邻域，这个邻域被标记是否含有火，烟或者二者都没有。通过系数矩阵有限差分求解器来计算最优质量传输光流。特征矢量是由含有R、G、B颜色通道和光流速度形成的，且特征矢量通过一个反向传播神经网络分类器进行分类处理。

图1（b）在一个新的视频帧中使用训练的分类器权重为每个像素邻域创建特征适量测试分类器。最终的输出含有每个像素类成员的概率（烟、火都没有）。

1.1 最优质量传输

最优质量传输问题起初是由Gaspar Monge在1781年提出的，且关注寻找将一堆土从一个地点移动到另一个地点最优的方式，其意义在于最小化传输成本。这个问题在Kantorovich研究中被给出一种数学构造，这就是熟知的Monge-Kantorovich问题。

我们现在给出Monge-Kantorovich问题的构造。令Ω₀和Ω₁是R^d的两个子域，拥有光滑的边界，每个有一个正的密度函数，分别是μ₀和μ₁。我们假设

这项总的相同质量是与Ω₀和Ω₁有关的。我们认为微分同胚映射u是从（Ω₀，μ₀）到（Ω₁，μ₁），微分同胚映射的意义是映射一个密度到其他的密度

（1）

也许有许多这样的映射，并且从某种意义上来说我们想要选择一种最优的。因此，定义LPKantorovich-Wasserstein度量标准如下：

（2）

（3）式中|Hω|表示ω的海森行列式。

因此，Kantorovich-Wasserstein度量定义两个质量密度的距离，通过考虑式（2）给出的公式计算从一个域到另一个域最便宜的方式，最优传输映射在p=2是情况下，是某一种函数的梯度。这个结果的新颖之处在于，它像平面上的Riemann映射理论，这个过程指出一个特定的偏爱几何学的映射。

1.2 光流法

光流是一种计算方法来计算在很短时间差内一组图像间运动。主要的思想是每个图像的灰度值在两帧图像间是不变的。这导出光流约束方程

（4）

（5）

注意方程（5）的一个潜在的假设是亮度恒定。在这种假设下，一个物体的亮度从一帧到另一帧是恒定的。这个假设适用于一个朗伯表面刚性物体但不是用于气体和液体材料。在计算机视觉中，这些通过所谓的动态纹理建模。烟和火的典型的动态纹理具有内在动态，所以不能通过标准光流方法来进行捕获。同时，烟/火区域流的速度比周围地区的速度快的多，通过公式（5）给出的模型可能又会产生很多错误结果。

这篇文章的目標是获得更好的光流场模型用于火和烟雾检测。这样做的一个方法是基于在这些过程中物理属性的光流。一个简单的属性是火和烟大约使亮度守恒作为一个广义质量并且以文中的最优方法进行移动。因此，一个恰当的数学上的光约束不是强度守恒而且质量守恒或者亮度守恒。这个模型被写为

（6）

理由如下：

这意味着区域强度的总的变化率仅通过一个光流表示（边界上进入或者出去的）。这是一个守恒定律。但是通过散度定理

这是一个精确无穷小亮度（质量）守恒条件。

下面是前面部分的解释，本文提出了用于动态纹理分割的光流：

第一项是优化问题，代表移动图像的总质量，第二项是质量守恒光流方程。

2 神经网络分类分类器

烟雾检测可以抽象为两种模型，其检测结果由给定的像素决定属于有烟的情况或是无烟的情况。神经网络的最小二乘计算模型满足贝叶斯判别式。输出的结果是关于一个像素属于某一特定类的概率，因此决定像素属于有烟情况或是无烟情况的阈值是使用者根据其期望设定的。根据贝叶斯定理，多个事件的后验概率公式可以写成如下形式：

（8）

上式中的x由C_k类满足判别式y_k（x，w）具有最大值时确定。如果x属于C_k则目标值t_k（x）=l，否则都为零。神经网络每次输出的误差如下式所示：

（9）

当样本数量趋近无限大时，在文中可以看出，反向传播算法最小化下面的式（10）来缩小由神经网络来产生的误差

（10）式中的n代表类的数量。上式表明当数据点的数量趋近与无穷时，输出的结果的判别式等价于后验概率中）y_k（x，ω）≈P（C_k|x）。因此，把x指定给类C_k，也就是映射具有最大值的判别式函数，相当于把x指定为具有最大后验概率的这个类。

根据贝叶斯原理，确定判别式的形式。后验概率如下式：

（11）

将文中a_k=ln（p（x|C_k）p（C_k））的替换，式（11）也称为softmax函数。此式恰恰是神经网络使用的激励函数。

假设类的条件概率密度p（x|C_k）属于分布的限制指数族，则采用下面的形式：

（12）

将上式的密度代入式（11），得到的等式是关于a_k（x）与x成线性关系：

（13）

因此，判别式采用激励函数的形式，当非线性函数φ（x）的线性组合为变量时如下：

（14）式中f（·）为激励函数。

在神经网络中的非线性函数组成了隐藏单元，这些非线性函数是根据具体情况选择的，而且它们是关于输入的线性组合的函数。

（15）其中h（·）是一个柔性最大值（softmax）函数。本文所使用的神经网络是完全被连接的，并且由一个含有20个隐藏单元的单隐层构成的，这个隐藏单元在隐藏层和输出使用softmax非线性。

3 实验结果

为了获得如下结果，只需要6帧图片来训练神经网络分类器。包括手动描绘的有火、无火、有烟和无烟的区域。样本的数量要小并且出自同一视频中。通过提供更多明显的样本，例如来自不同的视频资源的有用和没用的数据样本。可以使分类器检测更多的视频。

神经网络分类器的输出结果为每个像素的后验概率p（C_k|x），这里的类C_k指的是有火或烟和无火或烟，x是给定像素的特征向量，图2中显示了分类器的一个样本输出中一帧图像的所有像素。根据阈值可以选择像素的类，图2显示的是烟，图3显示的是火。

对图2所示的图片进行特征向量提取和相邻时空像素最优质量传输光流速度值计算，并提供给神经网络分类器。输出的每个像素的概率属于烟的类。如图2（b）所示，这种选择是根据阈值概率做出的。可见白烟是从白墙中区分出来的。

将图3所示的一组图像序列提供给神经网络分类器，这个分类器已经通过有火和无火的图像训练过。这时，分类器通过给定的阈值概率来标记图像中火焰。

4 结论

基于视频的火焰和烟雾检测是一种非常关键且重要的检测方法，它允许一个相机覆盖较大的检测面积，且很容易集成到现有的视频监控系统中。对于视频火焰和烟雾检测，为解决传统光流法不适用于气体和液体等图像检测的问题，本文提出了一种基于最优质量传输光流计算方法，该方法将检测过程抽象为一种关于时空像素邻域的监督式贝叶斯分类问题，其特征矢量由最优质量传输光流速度和R、G、B颜色通道构成，并采用單隐层神经网络分类器进行特征提取，最后通过分析像素概率来判断属于火焰或者是烟雾。这种方法涉及到转换过程的物理性质，这种性质通过训练一个分类器来检测火焰和烟雾，而不是传统的通过创建一个启发式的检测方法。实验结果表明，该方法成功的区分了烟雾和颜色相似的白云，同样区分了火焰和与火焰颜色相似的背景，具有较强的鲁棒性。

（编辑：温泽宇）