图像去雾技术研究综述

李博文，刘进锋

（宁夏大学信息工程学院，银川 750021）

0 引言

随着现代工业文明的发展进步，大气污染现象愈发严重，由此产生的雾霾天气困扰着人们的出行和工作。雾霾是导致图像模糊的最主要原因之一，受雾霾天气影响，专业的监控和遥感成像系统所拍摄的图像也无法满足相应的工作需求。数字图像质量的恶化会影响各种视觉任务的执行与处理。因此需要对图像进行预处理，以降低雾霾对其成像质量的影响。此外，雾霾天气下获取的图像，直接影响计算机视觉中的语义分割、目标检测等任务的效果。综上所述，对包含雾或霾影响的图像进行相应的处理十分必要。

近年来，众多国内外学者和研究机构对图像去雾算法开展了深入的研究，并不断突破已有技术水平，取得了长足的进步。本文按照去雾算法中所使用图像数量的不同，对多幅图像去雾算法和单幅图像去雾算法进行分析，对图像去雾中常用的数据集和评价指标进行阐述。

1 图像去雾的各类算法及比较

1.1 基于多幅图像的去雾算法

2001 年，Schechner 等提出了一种无需依赖天气状况变化的去雾算法，他们认为通常被大气粒子散射的大气光是部分极化的，仅依靠偏振过滤无法得到较好的去雾效果。同时大气散射的偏振效应会影响去雾效果，因此，该算法将两幅图像在不同位置上获得的偏振图像作为输入计算大气光强，可以恢复出无雾场景下的图像。虽然该算法在场景对比和色彩校正方面取得了较大的进步，但是对于包含浓雾天气的图像，其处理效果差强人意。

2009 年，Schaul 等应用基于加权最小二乘（WLS）算法优化的框架及最大化对比度的像素级融合标准，融合可见光和近红外（NIR）图像来生成无雾场景下的图像，该方法不依赖于散射模型，在近红外图像和去雾图像中具有更高的清晰度和对比度，并且产生的伪影较少。由于该算法使用亮度通道进行处理，因此在极端亮度变化的情况下，图像的颜色会显得不真实。

2016 年，刘同军提出基于多幅偏振图像的去雾算法。该算法首先对0°、60°及120°的偏振图像进行Stokes 矢量分析，结合He 等的暗原色先验理论估计雾天图像的无穷远处大气光强，应用导向滤波进一步优化雾天图像的传输透射率，该算法可以有效地增强图像细节信息的表现力。

1.2 单幅图像去雾算法

虽然多幅图像去雾算法可以实现有效的去雾效果，但是在实际应用场景中往往无法获取到需要补充的额外信息。目前更多的是针对单幅图像去雾的研究。

1.2.1 基于图像增强的去雾算法

基于图像增强的去雾算法通过增强对比度改善图像的视觉效果，但是对于图像突出部分的信息可能会造成一定损失。图像增强分为全局化增强和局部化增强两大类。在全局化增强的方法中，有基于直方图均衡化、基于同态滤波以及基于Retinex 理论等算法。在全局化增强的方法中，主要有对比增强和局部直方图均衡化等算法。

直方图均衡化即对图像的直方图进行均衡化处理，使原图的灰度级分布更加均匀，同时提升图像的对比度和亮度，使图像的感官效果更佳。

同态滤波旨在消除不均匀照度的影响而又不损失图象细节，在频域中将图像动态范围进行压缩，可以同时增加对比度和亮度，借此达到图像增强的目的。

Retinex 理论以色感一致性（颜色恒常性）为基础，通过增强对比度改善图像视觉效果。不同于传统方法，Retinex可以兼顾动态范围压缩、边缘增强和颜色恒常三个方面，因此可以对各种不同类型的图像进行自适应的增强。随着研究的深入，单尺度Retinex 算法改进成多尺度加权平均的Retinex 算法，再发展成为带色彩恢复多尺度Retinex 算法。以上三种算法可以达到一定的除雾效果，但是处理后图像的细节特征仍然不够突出，其根本原因在于图像的最大动态范围未能被充分利用，对比度没有得到进一步的增强。

1.2.2 基于物理模型的去雾算法

基于物理模型的去雾算法常依赖于大气散射模型，通过得到其中的映射关系，根据有雾图像的形成过程来进行逆运算，恢复出清晰图像。散射模型是后续众多去雾算法研究的基石，该类算法主要关注于模型中参数的求解。众多的研究者在大气散射模型的基础上进行广泛而深入的研究，不断提高图像去雾水平。

其中，由He 等提出的基于暗通道先验的去雾算法广为人知。暗通道先验去雾算法认为：在没有雾霾的室外图像中，大多数局部区域包含的一些像素至少在一个颜色通道中具有非常低的强度，基于这个先验知识，可以直接评估出雾霾的厚度，并恢复出高质量的图像。但是该算法的理论前提存在一定的局限性，当处理类似大面积雪地或天空的图像时效果会受到一定的影响。

2015年，Zhu 等提出了基于颜色衰减先验的去雾算法。该算法建立在对大量有雾图像的统计分析之上。该算法认为，雾的浓度越高，景深越大，图像的亮度和饱和度相差就越大。利用这一先验及建立模型，得到与有雾图像及其对应的深度信息之间的联系，并利用有雾图像的深度信息恢复出无雾的清晰图像。

1.2.3 基于深度学习的去雾算法

基于物理模型的去雾算法由于存在一定的累积误差，因而具有先天的局限性。近年来，卷积神经网络（CNN）在计算机视觉领域取得了出色表现，基于深度学习的图像去雾算法也应运而生并不断推陈出新。

2016年，Cai等提出了一种名为DehazeNet的可训练端到端系统，以单幅有雾图像为输入，输出介质传输图，根据大气散射模型完成清晰图像的重构DehazeNet 融合了传统去雾网络中的先验知识，通过特征提取、多尺度映射、局部极值和非线性回归，配合引导滤波得到精细化的透射图。总体而言，DehazeNet 的整体处理效果较好，但也存在着一定的问题，由于真实的大气环境中不同位置对光的吸收、散射与透射作用程度不尽相同，从而使得环境光并非均匀分布，而采用假设先验求得的大气光在去雾任务中不能很好地适应各种情况，对景深变化处的处理效果一般。

同年，Ren 等提出基于多尺度卷积神经网络的单幅图像去雾网络（MSCNN）。该网络首先由粗尺度网络估计整体的传输透射图，然后由精细尺度网络对该传输图进行进一步优化，再分析传统方法与卷积神经网络学习所获取的特征之间的差异。

2017 年，Li 等提出了一种基于CNN 的一体化去雾网络（AOD-Net），其核心思想是将大气散射模型中的两个参数通过转换公式统一为一个参数，省去中间步骤从而减小参数预估中的累计误差。该网络包含两个子模块，分别是参数估计模块和清晰无雾图像的生成模型，结构简单，处理高效。

2018年，Engin等提出了增强循环生成对抗网络（Cycle-Dehaze），可以直接由输入的有雾图像生成无雾图像，而无需估算大气散射模型的参数。此外，该网络以不成对的方式提供有雾图像和Ground Truth 图像的训练过程，将之与感知损失相结合来改善CycleGAN 架构的循环一致性损失。此外，Cycle-Dehaze 利用拉普拉斯金字塔来放大低分辨率图像。实验结果表明，该方法有更好的感官效果。

Chen 等于2019 年提出门控上下文聚合网络（GCANet），由三个卷积块作为编码器部分，一个反卷积块和两个卷积块作为解码器部分。使用平滑扩张技术，即在编解码器之间插入空洞残差块来聚合上下文信息，从而不会造成网格伪影。该网络在图像去雾及去雨任务上都取得了不错的效果。

Wu 等于2021 年提出了一种新的基于对比学习的对比正则化（CR）去雾网络AECR-Net，将清晰图像和有雾图像的信息分别作为正样本和负样本来利用，此举保证了把恢复后的图像在表示空间中向清晰图像拉近，向远离模糊图像的方向推远。此外，将可变形卷积引入AECR-Net 中的动态特征增强模块，使采样网格可以动态地适应形状扩展接收域，提高模型的变换能力，达到更好的去雾效果。AECR-Net 基于类自动编码器框架，减少了层数和空间的大小而变得更加紧凑。

2022 年，Tran 等提出了一种用于单幅图像去雾的新型编码-解码网络（EDN-GTM），用传统的RGB 有雾图像和采用暗通道先验估计的传输图作为该网络的输入，使用U-Net 作为核心网络进行图像处理，并在网络中使用空间金字塔池化模块和Swish 激活函数以实现较好的去雾目标。EDN-GTM 算法在指标上优于大多数传统的和基于深度学习的算法。该模型还可以成功地应用于目标检测的预处理工具。

目前，大多数单幅图像去雾网络模型无法在单个GPU 上实时处理超高分辨（UHD）图像。Xiao 等于2022 年使用拉普拉斯金字塔融合泰勒的无限逼近原理，构建了能够实时处理4K 有雾图像的模型。其中，低阶多项式重建图像的低频信息（颜色、亮度），高阶多项式抑制图像的高频信息。并且提出了作用于金字塔模型各分支网络的Tucker 重建的正则化项，进一步限制了特征空间中异常信号的产生。

2 图像去雾常用的评价指标和数据集

2.1 评价指标

评价一个去雾算法的好坏，常常使用主观评价法和客观评价法。前者即通过肉眼观察经过去雾处理的图像，从图像的纹理特征、对比度、饱和度及细节信息等多方面进行感官感受和评价。后者即采用指标评价，从不同的角度衡量处理效果的好坏。在图像去雾领域经常使用的指标是峰值信噪比（PSNR）和结构相似性（SSIM）。

峰值信噪比，单位为分贝（db），是信号的最大功率与可能影响它的表示精度的噪声功率的比值，数值越大表明图像去雾的失真越小。计算PSNR的公式如下：

式（2）中，表示当前图像和参考图像的均方误差，为像素的比特数，一般取8，即像素的灰阶数为256。和分别表示当前图像的长度和宽度。

结构相似性（SSIM），单位为分贝（db），该指标从亮度、对比度、结构三个方面考量图像相似性，取值范围是［0,1］，数值越大表明当前图像与Ground Truth 图像越相似。相比于，在图像品质的衡量上更能符合肉眼感官对图像质量的评价。计算的公式如下：

式（3）中，μ、μ是平均值，σ、σ是方差，σ 是协方差，和是为了使得分母不为0 的常数。

2.2 数据集

本节对图像去雾领域中常用的数据集（RESIDE、NYU2、I-HAZE、O-HAZE）做出归纳。

RESIDE 数据集包括合成和真实世界的有雾图像，分为五个子集，用于不同场景的训练和评估任务，除了广泛采用的PSNR 和SSIM 作为评价指标外，RESIDE 还采用无参考度量和人类主观评价来评估去雾效果。其训练集包含13,990个合成模糊图像，测试集由综合目标测试集（SOTS）和混合主观测试集（HSTS）组成，旨在表现出多种评估观点。

NYU2 数据集囊括了1449 张含有深度信息的RGBD 图像，这些图像包含464个不同的室内场景。

I-HAZE 包含35 组室内有ground truth 的由雾霾机产生的雾霾图。O-HAZE 数据集由45 组室外有雾和无雾的图像对组成。

3 结语

本文主要从基于多幅图像、图像增强、物理模型的去雾方法与基于深度学习的去雾方法这四个角度介绍了近20 年来的自然图像去雾技术。与传统方法相比，基于深度学习的方法去雾效果更好。但是基于深度学习的去雾方法目前也不可避免地存在一些亟待解决的问题：其可解释性、迁移泛化能力、稳定性等目前尚无理想的解决方案。因此，探寻更具稳定性、更准确的物理模型，与基于深度学习的方法相结合的方法，或是解决包含去雾在内的图像去噪问题的一个突破口。

未来相关方面的研究或许艰辛而曲折，但是基于深度学习的图像去雾方法也有其巨大的潜力。随着研究的进一步深入和深度学习的发展，图像去雾技术势必会在社会生活的各个领域有更大的应用价值和意义。