基于亮度感知权重的夜间图像去雾技术

张志豪，孙 鹏,2,*

（1.中国刑事警察学院，沈阳 110854；2.司法部司法鉴定重点实验室，上海 200063）

图像侦查为公安机关侦破案件提供了直观有效的信息，在现代侦查方式中扮演着重要的角色。但在夜间雾天环境下，由于不同色温的光源照射以及大气环境中的雾气粒子或者悬浮颗粒对光线的散射作用，使视频监控设备获取的图像出现对比度低、细节信息丢失和偏色的现象，这使得该类图像的内容在侦查阶段不易被侦查人员直观地发现，在庭审阶段作为视听资料证据的证明力不强。为解决上述问题，需要对夜间雾天环境下监控设备获取的低质图像进行去雾和图像增强处理。

近年来，日间图像的去雾问题受到了广泛的关注，出现了许多图像去雾方法，包括基于图像增强的方法、基于大气模型的方法和基于机器学习的方法，但是当这些方法直接应用于夜间雾天图像去雾时效果常常不理想。日间去雾方法和夜间去雾方法的主要区别是对环境照度的估计。在日间去雾模型中环境照度是一个恒定值，因为阳光通常是白天场景中唯一且占主导地位的光源，因此白天环境下的环境照度在空间上是均匀的。然而，在夜间环境中，由于多个光源的散射现象，环境照度在空间上是不均匀变化的，所以日间去雾方法中广泛使用的先验方法不再适合于夜间场景。随着夜间雾天图像的应用价值提高，最近，越来越多的研究人员开始对夜间图像进行去雾研究。主要代表算法有：Zhang等[1]使用伽马校正来补偿环境照度，然后利用入射光的特性进行色彩校正；Pei等[2]通过颜色转换技术将夜间雾天图像映射到白天雾天图像，然后使用经过改进的暗通道进行图像去雾；Li等[3]通过修改大气散射模型，添加了一个大气点扩散项来模拟光源区域的发光效果，然后利用层分离算法对雾天图像中的光线进行分解。

针对在去雾过程中因环境照度估计不正确和光源区域中的先验假设无效而导致的图像对比度低、细节信息丢失问题，本文采用了一种新的夜间去雾方法。首先，采用一种通道差分的方式使用低通滤波来估计环境照度，然后基于Retinex[4]理论，对于图像中非光源区域使用传统的暗通道先验计算相对应的大气透射率，对于图像中的光源区域使用基于亮通道的先验来计算其大气透射率，接着采用一种基于亮度感知权重的方式将两部分估计的大气透射率混合，从而得出该图像的混合透射率。最后基于夜间大气散射模型，结合计算出的环境照度和混合透射率来获得去雾图像。此外为满足公安实际工作中对于图像暗部细节提升和颜色准确要求，在去雾后使用CLAHE[5]和SoG[6]算法对图像进一步增强处理，使其更符合人类的视觉系统。与当前主流方法相比本文采用的夜间去雾方法能使处理后的图像对比度适中、颜色动态范围更广、图像细节信息更丰富，能满足公安图像侦查工作对于图像质量的要求。

1 实验原理与方法

图1为本文方法流程图，其中夜间图像去雾的难点在于对夜间图像中透射率和环境照度的估计，而在去雾处理后为满足侦查人员的实际需求，需要对去雾后的图像进行视觉效果增强处理。

1.1 大气散射模型

公式（1）为大气散射模型的数学表达形式。

大气散射的物理模型如图2所示：

其中，I(x)是成像设备在雾天环境中获得的有雾图像，J(x)是要复原的无雾图像。A是一个恒定的颜色矢量，描述了空气中的整体环境照明，t是相对于x表示的每个像素的深度的传播媒介。透射率t(x)=e-θd(x)表示相机从J(x)接收的光的百分比，d(x)是从场景点到相机的距离，θ是相对于场景大气中的散射系数。

与白天环境去雾相比，在夜间环境去雾更具挑战性。与白天的单个强光源（阳光）不同，夜间场景通常包含多个光源，例如月光、路灯、车灯等。夜间的环境照度A不是全局矢量，而是在空间变化的A（x）。基于以上分析，我们将公式（1）重写为：

夜间去雾的任务是估计空间变化的环境照度A(x)和透射率t(x)，以便从公式（2）中求解，从而得到无雾图像J(x)。

1.2 环境照度估计

根据Retinex理论，人眼是根据周围环境的照明和物体表面的反射来感知物体的亮度。数学上，无雾图像J(x)可以写为以下两项的乘积：环境照度A(x)和反射率R(x)：

因此，公式（2）可表示为：

我们将Retinex模型中的公式（4）重新表述为：

假设A(x)在空间上是平滑的，并且被视为低频项，作为高频项，对雾天图像I(x)进行低通滤波，可以有效地估计出A(x)。传统的Retinex算法使用高斯滤波进行低频分量估计，但是高斯平滑是各向同性的，并且不保留边缘，并不能很好地解决该项问题。在本文中，我们采用引导滤波解决环境照度估算的问题，该引导滤波器能够使图像平滑并保留边缘。与此同时，为更好地保留图像中夜景的元素结构，本文采用一种通道差分图代替原始图像作为参考图像来指导低通滤波。如公式（6）中所示，将通道差分图Icd视为每个像素x的最大颜色通道和最小颜色通道值之差：

将环境照度A作为引导图像Icd的线性变换写入以像素k为中心的窗口ωk中：

假设（ak，bk）在ωk中是恒定的，通过把目标图像I与引导图像Icd线性变换之间的差值最小化来获得参数，具体损失函数如下：

其中，ωk是滤波窗口， 是平滑项。方程（8）通过使用岭回归模型求解：

其中 ，μk和 是窗口ωk中所有来自图Icd像素的均值和方差；|ω|是像素数，Ik是窗口ωk中的平均值，该部分来源于I。获得系数ak和bk后，可以通过公式（7）计算A。由于像素x包含在许多过滤窗口中，因此最终可以通过对所有与像素x重叠的窗口取平均值来获得A(x)：

1.3 亮通道先验

与白天获得的雾天图像不同，夜间雾天图像中通常有多个光源，并且光源区域（light source regions,LSR）的颜色特征与非光源区域的颜色特征有很大不同。本文采用亮通道先验（bright channel prior, BCP)[7]来获取光源区透射率，因为光源区域的像素经常包含一个具有高强度值的颜色通道。基于以上分析，BCP假定在无雾图像的光源区域中，每个颜色通道的局部色斑中的最大强度接近1，该先验是在统计的基础上得到的。在数学上BCP定义为：

1.4 基于亮度感知权重的透射率混合

使用引导滤波获得A后，可以将BCP和暗通道先验（dark channel prior, DCP)[8]应用为以下公式来计算相应的透射率tBCP和tDCP：

因为tBCP和tDCP仅在光源区域和非光源区域分别有效，所以要将它们混合在一起以计算最终透射率t。在确定光源区和非光源区时，采用一种亮度感知加权的方法来计算该像素属于光源区域的概率α(x)。

通常在光源区域中，在RGB通道之一中存在至少一个具有高强度的像素，该像素RGB三通道中任意一个通道的灰度值越高则该像素越可能属于光源区域。因此在数学上，可以以亮度感知的方式定义权重图α为:

由于一般原始图像都是线性的，为了便于人眼观察，所以需要对图像进行伽马校正，其中公式（15）的（I c）γ是对图像I c做伽马校正，γ是伽马值。然后计算混合透射率t：

最后，使用引导滤波来优化最终的混合透射率t(x)。在获取环境照度A(x)及混合透射率t(x)后，通过公式（17）基于有雾图像I(x)来获得输出的去雾图像J(x)：

1.5 CLAHE与SoG算法原理

传统的直方图均衡化在对整幅图像进行变换时都采用相同的直方图变换，这种方法对于那些像素分布均匀的图像来说效果很好，但是对于包含明显较亮或较暗区域的图像往往不能起到显著的增强效果。限制对比度自适应直方图均衡化（contrast limited adaptive histgram equalization，CLAHE）是一种用来改善图像对比度的图像处理技术，它与传统的直方图均衡相比，不同点主要在于对对比度进行了限制，这一特性也可以被应用到全局的直方图均衡中。CLAHE算法能将图像中明显比其他区域亮或者暗的地方的细节信息描述出来，此外，CLAHE会对每一个像素邻域都进行对比度限制，从而得到对应的变换函数，用来降低传统直方图均衡中噪声的增强。与此同时，对于处理后的图像存在的偏色问题，Shades of Gray (SoG)算法能有效解决，使图像颜色更符合人类的视觉系统。该算法将MaxRGB[9]和GrayWorld[10]算法纳入了同一个计算框架下，利用闵式距离代替简单求平均的方法，其数学形式如公式（18）：

其中X表示像素点坐标，k为用于校准光照的常量，e为光照，p为闵可夫斯基范数。当p= 1时，该式就退化为GrayWorld算法，直接求图像平均；当p=∞时，该式等价于求f(X) 最大值，等同于Max-RGB算法；当1 ＜p＜∞时，就是普通的SoG算法，在p= 6时，算法取得较好的适用性和效果。从具体处理视觉效果图3中可以看出，经过本文方法得到的最终输出图像与原图相比，图像暗部信息更加丰富、对比度适中、有良好的色彩恒常性。处理后的图像能帮助侦查人员对图像中车辆的重要特征（如车牌、车辆轮廓等信息）进行更直观的提取。

2 实验过程设计

2.1 实验环境与对象

2.1.1 实验环境

PC：HUAWEI MateBook14；操作系统：Windows 10家庭中文版；配置：第八代智能英特尔®酷睿TMi5-8265U处理器8GB+512GB；仿真编译环境：Matlab 2019a。

2.1.2 实验对象

本文实验对象一部分是在现有研究中广泛使用的相同测试图像；另一部分是为结合公安实际工作，自行采集的包含车辆等信息的图像。实验对象的具体信息如表1所示。

表1 实验数据基本信息Table 1 Basic experimental data

2.2 实验方法

为验证本文方法的有效性和实用性，首先选取近期主流的去雾方法：基于暗通道先验（HE）[8]、基于边界约束和上下文正则化（MENG）[11]、基于颜色衰减先验（ZHU）[12]、基于暗通道—小波（WT）[13]的去雾方法进行相关实验。接着采用国际通用的图像质量评价方法对实验结果进行全面评估，最后通过对全部实验结果的比对分析来验证本文方法的优越性。

3 实验结果及分析

本章主要对实验结果分别进行客观评价与主观评价对比分析。其中在客观评价中采用国际通用的无参考图像评价指标：基于等效圆的偏色检测因子[14]、平均梯度(avg_gradient)、信息熵(entropy)三个参数来衡量处理后的图像质量。在本文方法的实验中，DCP和BCP的滤波核大小固定为 15×15；用于环境照度和透射率估计的滤波器的内核大小为64，两者的平滑系数都设置为0.01；CLAHE中的NumTiles大小为4×4；ClipLimit 值为0.01；SoG算法中闵可夫斯基范数为6。

3.1 客观评价

在客观评价方面，采用基于等效圆的偏色检测因子、平均梯度、信息熵三个无参考图像评价指标来对处理后的图像进行客观评价（表2）。其中基于等效圆的偏色检测因子是图像平均色度和色度中心距的比值，用其可以衡量图像的偏色程度，即偏色检测因子越大，该图像的偏色程度也越大；平均梯度是图像灰度变化率的平均值，它反映了图像微小细节反差变化的速率，能表征图像的相对清晰度，图像的平均梯度越大，该图像相对越清晰；信息熵描述了一幅图像信息源的平均信息量，其值越大表示该图像所包含的信息越多，相对越清晰（表3）。

表2 偏色检测因子、平均梯度、信息熵结果Table 2 Color-bias detection factor, average gradient and entropy

表3 各检测指标值的平均提高率（%）Table 3 Average improvement rate of each indicator (%)

从表2偏色检测因子结果可以看出，经过本文方法处理后的图像偏色检测因子相较于原图都有明显的减小，而且与其他方法处理过的图像相比，除test1之外，本文方法处理后的图像偏色检测因子都是最小值，基本可以证明本文方法处理后的图像具有较好的色彩恒常性，更符合人类的视觉感知特征；从表2的平均梯度数据实验结果来看，除test5之外，通过本文方法处理图像，其相应的平均梯度数值均是众多方法处理后图像中的最高峰值，因此可以证明本文方法处理后的图像具有良好的清晰度；对表2的信息熵结果数据分析后，可以发现，与其他方法处理后的图像的信息熵相比，本文方法在图像信息熵上有显著的提高，由此可以证明，经过本文方法处理后的图像有较为丰富的信息量；最后表3对数据进行整理，可以看出，本文方法在偏色检测因子的降低、平均梯度和信息熵的提高方面相比于其他方法具有良好的优势，意味着本文方法处理后的图像更符合人类的视觉感知特征，同时相对更加清晰、细节信息更加丰富。

3.2 主观评价

采用不同方法对实验对象进行相应处理后得到实验视觉效果图（图4）。在图4中可以看出MENG的方法在光源区域附近具有良好的视觉效果，同时光源形状具有良好的一致性，但是天空区域会产生严重的偏色现象；HE和WT这类基于暗通道的方法能较好地抑制噪声和保留图像的纹理细节，但会由于过度的消光使图像整体偏暗，造成视觉效果不佳的现象；ZHU的方法能有效提高图像对比度，但是会使图像暗部细节信息丢失，如暗部的车牌信息等；此外，以上方法都没有解决因为不同色温光源的影响而使图像产生偏色现象的问题。

从本文方法的处理结果来看，在黑暗区域，能够保留更多的细节和增强该部分图像内容的可见性，特别是在较暗区域车辆特征视觉效果上，基本能满足侦查人员对其信息直接提取的需求，同时也有效解决了夜间图像常见的偏色问题，同时经本文方法处理后的图像颜色动态分布范围更广（图5为test4处理前后的RGB颜色直方图）。从这些视觉效果比较中，可以得出结论：本文的方法可以更好地解决夜间雾天图像的偏色问题，同时它在增强图像较暗区域的视觉效果和提升颜色的动态范围方面也具有明显优势。

4 结论

针对图像侦查中遇到的夜间雾天条件下获取图像对比度低、暗部细节信息丢失、偏色的问题，在去雾方面，重点在于对环境照度和大气透射率的估计。基于Retinex理论，通过改进后的大气散射模型（夜间大气散射模型）和通道差图引导的低通滤波解决了不均匀变化的环境照度估算问题。此外，本文使用亮通道和传统暗通道先验分别估计图像中光源区域和非光源区域的大气透射率，接着采用一种基于亮度感知权重的方法分别施以相应的权重来区分图像中的光源与非光源区，从而进一步得到最终混合大气透射率。在图像增强方面，采用CLAHE与SoG算法实现增强图像暗部区域细节与解决图像偏色问题。经过有效的实验证明，本文的方法在处理现有研究广泛使用的相同测试图像和与公安工作密切联系的实际图像时，在增强图像暗部细节、提高图像对比度和解决夜间图像常见的偏色问题方面有着明显的优势。本文工作的不足之处是使用的模型较为单一，自适应能力不足，在某些公安实际复杂场景中效果可能不够良好，今后将继续研究运用鲁棒性更强的高级模型，来解决公安工作中面临的不同复杂问题。