动态不良天气图像去雨雪增强方法研究

杨柯 李强 张长江 周军华

（1.海装武汉局驻郑州地区军事代表室 河南省郑州市 450000 2.北京航空航天大学仪器科学与光电工程学院 北京市 100083）（3.中国电子科技集团公司第二十七研究所 河南省郑州市 450047）

1 概述

在多种军民用场景中，基于视觉的成像、监视跟踪效果与视频质量密切相关，然而外场视频往往面临了诸多由复杂气象变化造成的视觉干扰问题，如雨雪、风沙、雾霾等。在监控视频处理中，受到的视觉干扰根据颗粒的类型和大小进行划分主要分为：

（1）静态天气：雾、雾霾等；

（2）动态天气：雨、雪、冰雹等。

在进行监控视频处理前进行图像增强，去除雨雪等气象变化造成的视觉干扰，能够有效提高后续目标检测、跟踪、识别的准确度，本文主要对不良天气条件下图像去雨雪方法进行研究，并给出算法测试试验效果。

2 图像去雨雪原理

2.1 基于时空频率分析的图像去雨雪方法

Barnum 等（2007）提出基于时空频率分析的图像去雨雪，引入雨雪的全局特性，分析雨雪在频率域的特征以及物理模型，通过改进高斯模糊建立雨雪在频率域的模型，并通过抑制原始数据中雨雪的频率，实现雨雪的去除。

雨线、雪线与高斯模糊形成的线状模糊进行对比，发现高斯模糊对雨雪形成的线状模糊具有较好的拟合效果。如图1所示。1(a)～(b)分别表示相同直径雨滴、雪花下落形的线状模糊，1(c)表示高斯模糊形成的线状模糊。

图1：雨线、雪线与高斯模糊形成的线状模糊对比图

基于高斯模糊结合雨雪的物理模型对雨线、雪线进行建模，同时考虑雨雪在降落时存在一定方向，所建模型如式（1）、（2）、（3）所示。

其中，R(u,v;α,θ)表示所建雨雪模型，z 表示雨滴或雪花距离镜头的距离，a 表示雨滴或雪花的直径，G(u,v,a,z,θ)表示高斯模糊，α表示对降雨（雪）强度的估计。m(x,y,t)表示在原始数据中第t 帧(x,y)处的像素值，M(u,v,w)表示对原始数据进行傅里叶变换。表示连续帧频率的标准差。

去除雨雪的过程基于陷波滤波器的思想，并通过两步实现雨雪的去除：

（1）对每一帧进行雨雪频率的抑制；

（2）利用时间信息，对连续几帧内的雨雪频率进行抑制。

共同实现雨雪的去除。如公式（4）、（5）所示。

其中，c(x,y,t)表示去除雨雪后的清晰背景，p(rain|x,y)表示对雨雪像素的拟合。

2.2 基于时间属性和颜色属性相结合的图像去雨方法

Zhang 等（2006）提出将时间属性和颜色属性相结合实现图像去雨。时间属性表明，有雨图像中确定位置的像素不会永远被雨滴覆盖。颜色属性表明：在雨线位置，雨线像素的R、G、B 值变化波动不大。通过使用雨线的这两个属性，可以检测并消除固定摄像机拍摄下静止场景中的雨线。

在有雨监控视频中，任意位置的像素值由无雨背景和雨滴组成，同时根据观察任意有雨位置的像素值发现，随着时间变化，确定位置的像素值会出现两个尖峰，其中一个由背景像素造成，另一个由雨滴的分布造成。基于这个特性，通过K-means 聚类，将原始数据中的像素值分为两类：背景像素Cb、雨像素Cr。为了减少运动目标对图像去雨的影响，对颜色属性进行分析发现，在无运动目标的有雨位置R、G、B 三通道的像素值随时间变化波动不大，但对于有运动目标的像素R、G、B 三通道的像素值随时间变化波动剧烈。由此添加颜色约束，减少运动目标对视频序列除雨的影响。最后利用图像融合实现视频序列除雨。如公式（6）所示。

其中，Cb表示背景像素，Cr表示雨像素，C 表示除雨后的清晰背景，α 表示融合系数。

2.3 基于背景建模的视频序列去雨雪方法

自适应背景学习最早应用于无监督车辆检测和跟踪，算法的原理基于帧差法以及图像融合的思想。背景的学习阶段，利用连续帧间信息进行背景的学习，见式（7）。对输入视频帧和初始背景进行融合，得到背景。

其中，α 表示学习率，background 表示背景，input 表示输入视频帧。

前景目标的提取阶段，采用背景减除法，提取运动目标，见式（8）。

其中，foreground 表示前景目标，background 表示背景，input表示输入视频帧。

在基于背景建模的视频序列去雨雪算法中，自适应背景学习算法由于其对背景拟合效果好的优势，在基于背景建模的去雨雪实现过程中，用于实现无雨雪背景的提取。但由于在对运动目标提取中，会出现鬼影以及目标不完整的现象，由此在运动目标的提取阶段选择MultiCueBGS 背景建模方法。

MultiCueBGS 背景建模算法系统的使用三种不同类型的线索：

（1）像素的纹理信息，用于初始前景检测；

（2）像素的颜色信息，弥补测试帧与训练帧间纹理信息不足的情况，对初始前景进行修正；

（3）区域的外观信息，用于有效去除非前景区域。

算法流程如图2所示。

图2：MultiCueBGS 背景建模算法流程

通过背景建模提取到无雨雪背景和运动前景后，为了弥补背景建模获取的无雨雪背景中运动目标所在位置出现模糊、鬼影等的现象，通过将无雨雪背景和运动前景融合实现雨雪图像增强，如图3所示。

图3：图像融合原理示意图

Tomasi 等（1998）提出双边滤波，一种非线性滤波方法。可以在有效降低噪声、平滑图像的同时，保留图像边缘信息。双边滤波是高斯滤波的一种改进滤波。双边滤波利用邻域内像素灰度值的加权平均表示某个位置的像素灰度。不同于高斯滤波权重只与像素间距离有关，双边滤波不仅考虑邻域内像素位置，也考虑像素间的辐射相似性。根据像素间的辐射相似性，可以有效解决边界模糊问题。

基于背景建模的视频序列去雨雪算法的技术路线如图4所示。

图4：基于背景建模的视频序列去雨雪算法技术路线

3 仿真、测试及结果分析

测试平台如表1所示。

表1：仿真测试平台

测试环境选取静止背景下三组有雨视频：视频1、视频2、视频3 进行测试，测试视频均来自哥伦比亚大学计算机视觉实验室提供的公开数据集。算法具有较好的除雨效果，效果图如5所示，其中图5(a)～(c)表示三组不同的有雨场景，5(d)～(f)为5(a)～(c)相对应的除雨结果。在5(d)～(f)中可以发现由雨滴产生的线状模糊一定程度上得到了去除。

图5：静止场景无运动目标除雨效果示意图。(a)-(c)分别表示三个不同的有雨场景；(d)-(f)分别表示(a)-(c)对应的除雨结果

选取静止场景下，包含运动行人和车辆的有雪视频(视频4)进行测试，测试视频来自哥伦比亚大学计算机视觉实验室提供的公开数据集。测试效果如图6所示，其中图6(a)～(c)分别表示测试视频的第23、71、83 帧，6(d)～(f)为相对应的去雪效果。在包含运动目标的测试场景中，测试效果会因为运动目标产生模糊，同时由于图像融合阶段，将原始输入数据与无雨雪背景融合，造成了在最终的结果中运动目标位置会出现少量的雨/雪线。

图6：静止场景下包含运动目标的除雪效果示意图。(a)-(c)分别表示测试视频的第23、71、83 帧；(d)-(f)分别表示测试视频第23、71、83 帧对应的除雪结果

在基于背景建模的除雨雪算法评价阶段，本文主要通过Tenengrad 梯度函数、信息熵、方差对测试结果的结果进行评价。

在三种评价指标中，Tenengrad 梯度函数采用Sobel 算子分别提取水平和垂直方向的梯度值，对图像的边缘信息进行描述。在雨雪图像中，由于包含雨/雪线具有更多的边缘信息，由此雨雪图像的Tenengrad 梯度会高于除雨雪图像。方差，描述场景灰度分布的二阶矩，对于有雨雪图像，雨雪像素值高于周围像素值，因此雨雪图像整体像素值的波动程度会高于除雨雪图像。信息熵，描述图像信息的丰富程度，同样的，在雨雪图像中由于具有更多的边缘信息，信息熵会高于除雨雪图像。

Tenengrad 梯度函数计算公式如式（9）所示。

其中，w,h 表示图像的大小，S(i,j)表示采用Sobel 算子计算的梯度值，I(i,j)表示图像在(i,j)处的像素值，Gx、Gy分别表示Sobel水平梯度算子、Sobel 垂直梯度算子。

方差计算公式如式（11）所示。

其中，μ 表示图像平均灰度值。

信息熵计算公式如式（12）所示。

其中，pi表示图像中灰度值为i 的像素出现的概率，L 表示灰度总级数。

对除雨雪前后测试视频的Tenengrad 梯度、信息熵、方差进行计算如表2、表3所示。除雨雪前后的三种评价指标对比后发现，除雨雪后图像的Tenengrad 梯度值、信息熵、方差都小于除雨雪前相应的值，说明基于背景建模的图像去雨雪算法对静止场景具有较好的效果。在单帧处理时间上，视频2、视频3、视频4 的单帧处理时间由于镜头运动、出现运动目标时会出现较大波动，所以整体算法的单帧处理时间偏高。

表2：未除雨雪前三种评价指标计算结果

表3：除雨雪后三种评价指标计算结果

基于背景建模的图像去雨雪算法适用于静止场景去雨雪，对静止场景下雨雪图像增强具有较好的效果，但存在运动目标时会出现一定的模糊。同时，在运动目标位置会出现少量雨/雪线，以及在运动目标所在位置会出现与无雨雪背景明显的边界，算法的效果有待改进。

4 总结

本文主要对图像去雨雪进行研究，提出了基于背景建模的图像去雨雪方法，通过实验验证，该算法对静止场景下的测试视频进行去雨雪具有较好的效果。