图像去雾算法的综述及分析

王道累，张天宇

图像去雾算法的综述及分析

王道累，张天宇

(上海电力大学能源与机械工程学院，上海 200090)

图像去雾是以满足特定条件下应用需求为目的，通过对有雾图像进行分析和预处理，突出图像中的细节信息使之更加适合人机识别的一种图像预处理方法。在雾天条件下拍摄到的图像因为雾霾的影响导致图像可能会存在细节丢失、对比度低的情况，将会影响图像后续的分析识别工作。经归纳总结目前图像去雾算法的研究现状，主要包括基于图像增强、图像复原以及卷积神经网络3类去雾方法及其改进算法，对其中的一些算法进行了实验、评价及优缺点分析，并对未来的发展进行了展望，对算法中的难易点提出了一些参考的建议，促进了图像去雾算法的进一步发展。

图像增强；图像去雾；图像处理；卷积神经网络

由于卷积神经网络(convolutional neural network, CNN)强大的学习能力，人工智能、深度学习等领域成为当前的研究热点[1]，目标识别、目标跟踪等技术在生活中应用的越来越广泛，如变电站无人巡检、自动驾驶等，图像质量的好坏将会影响着系统能否正常运行。在雾天情况下，空气中存在大量的悬浮颗粒物，会对光线产生散射，导致物体反射出的光线发生衰减，同时反射光与观察者直接接受到的光线发生混合，造成观察者获取到的图像的对比度和清晰度等特征都发生改变，细节信息大量丢失[2-3]。因此需要去雾算法来对此类低质图片进行预处理，保证系统的正常运转。

近些年来，出现了众多的单幅图像去雾算法，应用比较广泛的有：直方图均衡化去雾算法、Retinex去雾算法、暗通道先验去雾算法[4]以及基于卷积神经网络的DehazeNet去雾算法[5]等，其主要可以分为3类：

(1) 基于图像增强的去雾算法。通过图像增强技术突出图像细节，提升对比度，使之看起来更加清晰，这类算法的适用性较广。具体的算法有：Retinex算法、直方图均衡化算法、偏微分方程算法、小波变换算法等[6]。Retinex算法根据成像原理，消除了反射分量的影响，达到了图像增强去雾的效果；直方图均衡化算法使图像的像素分布更加均匀，放大了图像的细节；偏微分方程算法则是将图像视作一个偏微分方程，通过计算梯度场提高对比度；小波变换算法对图像进行分解，放大有用的部分。在这类算法的基础上出现了众多的基于图像增强原理的改进算法[7-12]。

(2) 基于图像复原的去雾算法。主要是基于大气散射物理学模型，通过对大量有雾图像和无雾图像进行观察总结，得到其中存在的一些映射关系，然后根据有雾图像的形成过程来进行逆运算，从而恢复清晰图像[13-17]。其中最经典的要属文献[4]提出的暗通道先验去雾算法，通过对大量无雾图像进行特征分析，找到了无雾图像与大气散射模型中某些参数的先验关系。该算法复杂度低，去雾效果好，因此在其基础上出现了大量基于暗通道先验的改进算法[18-22]。

(3) 基于CNN的去雾算法。使用CNN建立一个端到端的模型，通过有雾图像恢复出无雾图像，目前使用神经网络进行去雾的算法主要有2种思路：使用CNN生成大气散射模型的某些参数,然后再根据大气散射模型来恢复无雾图像[23-27]，或者使用CNN (例如GAN)直接根据模糊图像生成无雾的清晰图像[28-31]。

1 基于图像增强的去雾算法

1.1 直方图均衡化去雾算法

图像的直方图表示的是对图像中灰度值出现频率的统计。直方图能够表示出图像中每个灰度的频度、分布情况、图像的对比度和明暗情况等数据。

直方图均衡化算法(histogram equalization，HE)通过对图像的像素值进行非线性的拉伸，重新分配像素值使之更加均匀，从而使原图像上灰度分布相对集中的部分对比度得到增强，而分布相对稀疏的部分对比度降低，处理后图像的直方图将会呈现出比较平缓的状态，实现直观上的去雾效果，图1(a)为原图的像素分布直方图，图1(b)为直方图均衡化处理后的像素分布直方图。直方图均衡化算法的具体实施思路是找到图像上最亮和最暗的灰度值，将之映射到0和255之后再将其他的中间部分像素值映射到0和255之间。

标准直方图均衡算法的步骤如下：

步骤1.统计出原始图像中各个灰度级的像素个数n(0≤<)，为图像中所有的灰度数(通常是256)；

步骤2. 图像中灰度为的像素出现的概率为

其中，为图像中像素点的总数；

步骤3.p的累积分布函数定义为

步骤4.和分别为原始图像的尺寸；为原始图像的像素值，则直方图均衡化计算式为

1.2 Retinex去雾算法

Retinex理论认为，人眼感知到的物体颜色和亮度是光和物体相互作用后的结果，是由物体表面的反射特性决定的，与折射到人眼内的光谱特性并无关系[32]。其建立在以下2点基础之上：①人类所处的真实世界实际上是不存在颜色的，人类眼球所获取到的物体颜色是由于物质和光的相互作用后产生的；②自然界中的所有颜色都可以由给定波长的红、绿、蓝3种原色按不同比例合成，即三原色理论。

在Retinex理论中，人眼获取到的外界颜色信息主要来自于太阳产生的入射光以及光线在物体表面产生的反射。如图2所示，()是人眼或相机获取到的图像信息，先是由太阳产生的入射光照射，然后经过物体反射从而射入相机中，最终形成人们所看到的图像。该过程为

其中，()为相机接收到的图像信息；(,)为环境光照射在物体上的照射分量；(,)为带有物体细节信息的反射分量。将式(4)取对数，其中的乘积关系转为和的关系，根据原图估测出的值，即可获取到物体原始的信息，消除光照的影响，即

单尺度Retinex算法(single scale retinex, SSR)是Retinex理论中最有代表性的方法，其基本步骤如下：

步骤1.输入原始图像，确定高斯滤波的半径范围。当的取值较小时，处理后图像的细节对比度能够得到提升，但是可能会出现图像颜色失真的情况；当的取值较大时，处理后图像的颜色信息较为自然，但是细节信息将会不明显。

步骤2.根据输入的原始图像高斯滤波后的结果，得到照射分量。

步骤3.根据式(5)计算得到带有细节信息的反射分量log。

步骤4.将得到的结果归置到[0,255]的像素范围内，归置式为

最终得到经过SSR算法处理后的输出图像。

综上所述，其整合式为

单尺度Retinex算法尺度参数单一，在对图像进行增强时存在无法使图像保持较高的对比度和亮度值的问题，JOBSON等[33]在1997年提出了多尺度Retinex算法(multi-scale retinex, MSR)，通过计算不同尺度下的反射分量值在进行加权平均，即

其中，为尺度参数的个数，若=1，即为单尺度Retinex算法，经过实际检验发现当=3时多尺度Retinex算法的处理效果最好。

图2 Retinex算法原理图

1.3 基于图像增强去雾的改进算法

常用的图像增强算法还有小波变换算法和偏微分方程算法。小波变换算法通过小波变换将图像分解为1个低频子图像和3个高频子图像，通过算法对不同频率系数进行增强，提高图像对比度，实现增强效果。偏微分方程则是将图像视作一个以像素位置为自变量的二元函数，由每个像素点的梯度值构成图像的对比度场，通过放大图像的对比度场实现图像增强。由于上述2种算法相对较为复杂，因此在图像增强去雾任务中应用的相对较少。

经典的全局直方图均衡化算法其本质主要为经过某种变换使图像的灰度级分布更加均匀，其对于背景单一的雾霾图像有较好的去雾效果，但增强效果主要取决于该灰度级下的频率值和累积分布函数，通常情况下，低频率的灰度级会发生合并，高频率的灰度级则会发生过度增强，处理后的图像上局部细节会下降，物体轮廓和背景相对较模糊，块效应明显。局部直方图均衡化算法作为全局直方图均衡化的改进算法，将原始图像分为若干个等大的区域，在每个区域内进行直方图均衡化操作，该方法解决了图像细节丢失的问题，但处理时间较长，运算量大，块效应的问题仍然存在。针对上述问题，在直方图均衡化理论上出现众多的改进算法。洪明坚[34]提出了一种通过平移矩形区域以及采用对分来计算灰度值的方法，降低了时间复杂度，提高了运算效率；KIM[35]提出了一种双直方图均衡化技术，将原始直方图分解为两段直方图，而后分别进行均衡化处理，该方法能够在亮度不变的情况下使对比度得到增强；REZA[36]提出了一种基于对比度限制的直方图均衡化算法，首先对图像进行对比度限制的直方图均衡化，然后对局部块的边界进行平滑处理，有效解决了块效应且去雾效果较好。

Retinex理论在被提出后的很长一段时间里都无人问津，直到NASA发现SSR算法在处理航拍图像上有较好的效果，才逐渐受到人们的重视。但是SSR算法存在着复杂度高、容易出现光晕、易失真等缺陷。为此，国内外学者们提出了众多的改进算法，例如MSR算法、带色彩恢复的多尺度Retinex算法[33]等。针对Retinex算法在处理光照不均图像时会产生光晕现象的问题，MEYLAN和SUSSTRUNK[37]提出了一种自适应估计图像光照的方法，有效解决了处理后图像上存在光晕的问题，但是该算法复杂度高、计算量大。现有的去雾算法大多都只能去除薄雾，对于浓雾的处理效果较差。针对此问题，高原原和胡海苗[38]提出了一种多子块协同的单尺度Retinex算法，根据雾霾浓度计算动态截断值，利用截断值调整高频信息，实现对雾霾图像的区域细节增强。针对全局直方图均衡化算法中容易出现的细节丢失问题以及Retinex算法中细节和色彩无法同时得到恢复的问题，周雪智[39]提出了一种将Retinex和直方图均衡化进行结合的算法，有效避免了Retinex算法和直方图均衡化算法的弊端，在放大对比度、增强细节的同时，也较好的恢复了图像的颜色信息。

2 基于图像复原的去雾算法

图像去雾的另一类方法是基于大气散射模型理论进行去雾(图3)，该模型为

其中，(,)为相机获取的图像；0(,)为场景的反射光线强度，即去雾后的无雾图像；为大气散射系数；(,)为场景深度；-(x, y)为透射率；为全球大气光成分[40-41]。

0(,)即为所需要复原的图像，由式(9)可得

其中，令t(x, y)=e-kd(x, y)，称为大气透射率。因此，根据大气散射模型，只需要估计出原始图像的全球大气光成分A和透射率t，即可求得去雾增强后的清晰图像L0(x, y)。

2.1 基于暗通道先验的去雾算法

基于大气散射模型理论进行图像复原去雾的算法中应用最为广泛的是文献[4]提出的基于暗通道先验的去雾算法(haze removal using dark channel prior)。该算法通过对大量无雾图像进行统计分析，发现在无雾图像上，每一个区域都会存在彩色、阴影或者较暗的东西，因此每一个区域都很有可能存在某一个通道有很低的像素值，被称为暗通道先验，其数学表达式为

根据式(9)，将大气散射模型简写为

其中，()为相机获取的原始图像；()为无雾图像；为全球大气光成分；()为透射率。对式(12)进行归一化，即两边同时除以每个通道的大气光成分值

引入暗通道先验理论，则有

将式(15)带入式(14)中，可求得透射率()的估计值，即

其中，全球大气光成分被作为已知量，其估算方法为：对于输入的原始图像，找到暗通道图像上灰度值最大的0.1%的像素点，根据其位置从原始图像中取出这些像素的3个分量的值相加，计算其均值作为的值。

2.2 基于图像复原去雾的改进算法

基于图像复原的去雾算法均是基于大气散射模型作为理论基础，通过各类先验理论或估算方法得出其中的多个未知参数，从而得到原始的无雾图像。目前除了暗通道先验算法外，还有颜色衰减先验算法[43]和优化对比度增强算法[44]等，对单幅图像去雾也具有较好的效果。颜色衰减先验算法指出，在有雾图像中，亮度和饱和度之差与雾浓度呈现出正相关，由此推算出有雾图像的透射率值，从而实现对有雾图像的复原操作，该算法对含有大面积天空区域的有雾图像具有良好的效果，弥补了在图像上存在大量天空区域时暗通道先验算法去雾效果较差的缺陷。优化对比度增强算法则是提出了一种基于四叉树子空间划分的层次搜索方法，通过对每个子区域进行评分，得到一个更加准确的大气光成分，同时该算法能够扩展到视频去雾的任务上，通过计算透射率的相关性能够有效减少对视频进行去雾时的闪烁程度。

由于暗通道先验算法的复杂度低、去雾效果好等特点，在单幅图像去雾领域中得到了广泛的应用，因此也出现了众多的改进算法。暗通道先验算法对于图像上存在大面积天空区域的图片去雾效果不理想，会导致图像出现失真等情况，对此，XIAO等[45]提出了一种基于天空分割的场景感知去雾算法，分割天空区域然后使用中值滤波器获取边缘信息，使用伽马矫正来增强图像的亮度，该算法可以消除暗通道先验算法导致的颜色失真问题，同时消除光晕效应；赵锦威等[46]提出了一种基于大气光校验和光晕消除的算法。该方法通过支持向量机(support vector machine, SVM)剔除掉图像上车灯、强光等高光的干扰，估算出更加准确的透射率，从而使光晕像素的数量得到减少，该算法对暗通道先验算法可能会出现对大气光误判的现象起到了一定的限制作用；暗通道先验去雾算法仅对白天图像有较好的去雾效果，对于夜间图像会存在失真度高、细节模糊和稳定性差等缺点。杨爱萍和白煌煌[47]提出了基于Retinex理论和暗通道先验的去雾算法，由暗通道先验理论求得无雾的入射光图像，再利用Retinex理论复原出夜间无雾图像。该算法对夜间有雾图像进行有效的去雾处理，同时能够降低去雾过程中可能或出现的颜色失真情况。

3 基于卷积神经网络的去雾算法

3.1 DehazeNet算法

CNN因其强大的学习能力在多个领域得到应用，因此也出现了采用CNN进行去雾的算法。2016年CAI等[48]首次提出了一种名为DehazeNet的去雾网络，用于估计有雾图像的透射率。DehazeNet将有雾的模糊图像作为输入，输出其透射率，基于大气散射模型理论恢复出无雾的清晰图像[49-50]。

DehazeNet直接学习和估计模糊图像与其透射率之间的映射关系，网络结构如图4所示。该算法在特征提取层(feature extraction)加入了Maxout网络[51]，使之能够与已有的去雾理论(暗通道先验、最大对比度、颜色衰减先验、色调差异)建立联系，并通过神经网络来自动的改进这些理论。在输出层，因为图像的透射率不允许高于1或低于0，提出了一种新的BReLu函数，即保持了局部线性，又保持了双边的限制，使输出值为一个标量，即输入块中心点的透射率值。DehazeNet算法基于有雾图像的物理学模型特征，又超出了传统的方法，将人工智能的方法用于去雾领域，为图像去雾提供了新的思路。

3.2 基于神经网络去雾算法的改进算法

目前，基于CNN进行去雾的算法主要分为：①基于大气散射模型，使用CNN生成大气散射模型中的某些参数，从而复原出清晰无雾的图像；②使用CNN直接端到端的生成清晰的无雾图像，由于生成对抗网络(generative adversarial networks, GAN)算法的广泛应用，该方法是目前的研究热点。

图4 DehazeNet结构图

LI等[52]提出了一种采用CNN直接生成清晰图像的模型(AOD-Net)，该算法的思路与DehazeNet类似，AOD-Net将大气散射模型数学表达式中的2个透射率参数和全球大气光成分统一为一个公式，通过CNN找到有雾图像与该公式内各参数的映射关系，实现有雾图像的修复工作。AOD-Net采用的是轻量级CNN网络，能够与其他深层模型进行无缝衔接，具有隐式去雾的效果。

由于GAN的出现，CHEN等[53]提出了一种采用GAN实现端到端图像去雾的算法(gated context aggregation network, GCANet)，该算法的重点在于采用平滑扩展卷积代替了扩展卷积，从而解决了出现网格伪影的问题。同时提出了新的融合网络对不同层次的特征进行融合，提高了图像的去雾效果。由于雨天空气中存在大量的水滴会对光线产生折射，与雾霾图像的产生原理类似，因此GCANet也可以用于雨天图像上雨条纹的去除，但是其去雨条纹效果没有DID-MDN[54]等专用去雨网络效果好。

4 实验结果与分析

4.1 实验结果

本文对上述的基于图像增强的直方图均衡化算法(HE)、Retinex算法；基于图像复原的暗通道先验算法；基于CNN的DehazeNet算法、AOD-Net算法和GCANet算法进行了测试实验。选择了4张有代表性的雾天图像，实验结果如图5所示。

4.2 实验结果分析

采用图像信息熵对实验结果进行分析与评价，信息熵是将图像所表示的信息进行了量化，通过熵的大小表示图像中信息的混乱程度，图像中信息量越多，则熵值就越大，即算法的去雾效果就越好，图像信息熵的计算式为

其中，p为灰度级的概率密度；为最大灰度级。

由表1可以看出，采用神经网络去雾的算法其信息熵平均值要好于其他2类算法，但是由于采用合成数据集导致神经网络对真实有雾图像的去雾效果并不稳定，去雾效果存在差异。另外，直方图均衡化算法的信息熵值均要高于其他算法，主要是由直方图均衡化算法的处理方式决定的，该算法仅使图像的像素分布更加均匀，表现出的信息更多，但是同时也放大了噪声等无关信息。

同时，表1也从另一方面验证了图5所示的结果，基于图像增强的直方图均衡化算法和Retinex算法对于有雾图像具有一定的去雾增强效果，直方图均衡化算法处理后的图片去雾效果不稳定，且存在块效应和色彩偏差的情况。对于图像中某一通道的分量特别小的情况，Retinex算法的去雾效果较差，甚至会导致大量图像信息丢失。暗通道先验和DehazeNet算法的去雾效果要好于基于图像增强进行去雾的算法，但是DehazeNet算法由于采用了扩展卷积，导致图像可能会出现网格伪影。对于浓雾图像(图5(c))和团雾图像(图5(d))，各类算法能够实现有效去雾，但是会导致图像上清晰的区域出现细节丢失的情况，去雾效果不理想。

4.3 去雾算法的计算时间

本文在Intel Core i7-7700HQ (单核主频2.80 GHz)的CPU和16 G内存的计算机上运行了以上6种去雾算法，采用3张不同分辨率的图片进行测试，各算法的计算时间见表2。

从表2可以看出，基于图像复原和增强算法的计算时间要平均少于基于神经网络算法，具有较好的实时性，在高分辨率图像上神经网络算法的时间要远远高于其他2类，主要是由于神经网络的模型中参数的数量巨大，导致花费的时间更久。

图5 实验结果

表1 图像信息熵

表2 不同算法的计算时间

5 总 结

目前针对有雾图像去雾的算法主要是从基于图像增强、图像复原和CNN 3个方向进行的。基于图像增强的方法不考虑有雾图像的形成过程，而是直接通过突出图像的细节，提高对比度等方式，从而使有雾图像看上去更加清晰。基于图像复原的方法则是追寻图像降质的物理过程，通过物理模型还原出清晰的图像。而基于CNN的方法则是利用神经网络强大的学习能力，寻找有雾图像与图像复原物理模型中某些系数的映射关系或者使用GAN，根据有雾图像还原出无雾的清晰图像。上述3类去雾算法对于雾天图像都有着明显的去雾效果，尽管其在实际生活中已经得到了广泛的应用，但下述几点仍有可能是今后图像去雾领域的研究重点和难点：

(1) 更加真实的雾天图像数据集。采用神经网络进行去雾的算法在效果上好于图像增强和复原的方法，但是由于在自然界中很难拍摄到一组背景相同的有雾图像和无雾图像，因此目前训练神经网络所采用的数据集均是通过合成得到的，虽然能够在一定程度上拟合自然环境，但是仍然存在着一些差距。所以目前急需一种由在真实环境中获取到的具有相同背景的有雾图像和无雾图像构建的数据集，来提高神经网络去雾算法的鲁棒性和稳定性。

(2) 更加简便的去雾算法。目前各类算法能够有效去除单幅图像上的雾霾，但相对较好的算法都存在着时间复杂度高的问题，很难应用到视频去雾或者需求较多的复杂任务中去。

(3) 鲁棒性更强的去雾算法。上述算法都只对图像上存在的均匀的薄雾有较好的去雾效果，对于浓雾或者分布不均的团雾则效果较差，因此找到一种适用范围更广的去雾方法将会是一个极具挑战性的课题。

本文总结了目前常见的几种图像去雾算法以及在其基础上的改进算法，并对各类算法进行验证，采用图像信息熵对各类算法的去雾结果进行比较，分析算法的优缺点及应用场景，促进了图像去雾算法的进一步发展，希望图像去雾算法能在更多的领域得到应用。

[1] 李彦冬. 基于卷积神经网络的计算机视觉关键技术研究[D]. 成都: 电子科技大学, 2017. LI Y D. Convolutional neural network based research on image understanding[D]. Chendu: University of Electronic Science and Technology, 2017 (in Chinese).

[2] 雷飞, 朱林, 王雪丽. 改进多尺度Retinex色彩灰度的水下彩色图像研究[J]. 小型微型计算机系统, 2018, 39(1): 185-188. LEI F, ZHU L, WANG X L, Improved multi scale retinex enhancement technology on color underwater image[J]. Journal of Chinese Computer Systems, 2018, 39(1): 185-188 (in Chinese).

[3] KUMAR R, KAUSHIK B K, BALASUBRAMANIAN R. Multispectral transmission map fusion method and architecture for image dehazing[J]. IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 2019, 27(11): 2693-2697.

[4] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353.

[5] CAI B L, XU X M, JIA K, et al. Dehazenet: an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.

[6] 王浩, 张叶, 沈宏海, 等. 图像增强算法综述[J]. 中国光学, 2017, 10(4): 438-448. WANG H, ZHANG Y, SHEN H H, et al. Review of image enhancement algorithms[J]. Chinese Optics. 2017, 10(4): 438-448 (in Chinese).

[7] NANDI D, SARKAR M, SARKAR P R, et al. Empirical wavelet transform-based fog removal via dark channel prior[J]. IET Image Processing, 2020, 14(6): 1170-1179.

[8] ZHOU J C, ZHANG D H, ZOU P Y, et al. Retinex-based laplacian pyramid method for image defogging[J]. IEEE Access, 2019, 7: 122459-122472.

[9] ZHANG W D, DONG L L, PAN X P, et al. Single image defogging based on multi-channel convolutional MSRCR[J]. IEEE Access, 2019, 7(1): 72492-72504.

[10] KANSAL I, KASANA S S. Fusion-based image de-fogging using dual tree complex wavelet transform[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(6): 1850054.

[11] WU H T, LAN J H. A novel fog-degraded image restoration model of golden scale extraction in color space[J]. Arabian Journal for Science and Engineering, 2018, 43(12): 6801-6821.

[12] FU F, LIU F. Wavelet-based Retinex algorithm for unmanned aerial vehicle image defogging[C]//2015 8th International Symposium on Computational Intelligence and Design (ISCID). New York: IEEE Press, 2015: 426-430.

[13] 李春明, 姜雨彤, 宋海平, 等. 基于光学厚度代理模型的雾浓度估计及图像去雾[J]. 兵工学报, 2019, 40(7): 1425-1433. LI C M, JIANG Y T, SONG H P, et al. Research on optical depth surrogate model-based method for estimating fog density and removing fog effect from images[J]. Acta Armamentarii, 2019, 40(7): 1425-1433 (in Chinese).

[14] GUO F, LAN G H, XIAO X M, et al. Parameter selection of image fog removal using artificial fish swarm algorithm[C]//14th International Conference on Intelligent Computing. Heidelberg: Springer, 2018: 25-37.

[15] ZHANG W B, HOU X R. Light source point cluster selection-based atmospheric light estimation[J]. Multimedia Tools and Applications, 2018, 77(3): 2947-2958.

[16] QU C, BI D Y. Novel Defogging algorithm based on the joint use of saturation and color attenuation prior[J]. IEICE Transactions on Information and Systems, 2018, 101(5): 1421-1429.

[17] SHIAU Y H, KUO Y T, CHEN P Y, et al. VLSI design of an efficient flicker-free video defogging method for real-time applications[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 29(1): 238-251.

[18] DU H C. Research on image de-disturbing algorithm based on dark channel prior and anisotropic Gaussian filtering[J]. Concurrency and Computation: Practice and Experience, 2018, 30(24): 1-12.

[19] KOLEY S, SADHU A, ROY H, et al. Single image visibility restoration using dark channel prior and fuzzy logic[C]//2018 2nd International Conference on Electronics, Materials Engineering & Nano-Technology. New York: IEEE Press, 2018: 1-7.

[20] MA R Q, ZHANG S J. Color image defogging in dark channel prior based image local features[C]//2018 International Conference on Computer, Communication and Network Technology. Lancaster: DEStech Publications, 2018: 432-436.

[21] ZHU W W, YANG L, ZANG X X. Application of dark channel prior principle to licensed plate detection in foggy weather[C]//2018 IEEE 3rd Advanced Information Technology, Electronic and Automation Control Conference. New York: IEEE Press, 2018: 2591-2595.

[22] SINGH D, KUMAR V. Defogging of road images using gain coefficient-based trilateral filter[J]. Journal of Electronic Imaging, 2018, 27(1): 189-202.

[23] LI B, ZHAO J J, FU H. DLT-Net: deep learning transmittance network for single image haze removal[J]. Signal, Image and Video Processing, 2020, 14: 1245-1253.

[24] REN W Q, LIU S，PAN J S, et al. Single image dehazing via multi-scale convolutional neural networks with holistic edges[C]//14th European Conference on Computer Vision. Heidelberg: Springer, 2016: 154-169.

[25] REN W Q, ZHANG J G, XU X Y, et al. Deep video dehazing with semantic segmentation[J]. IEEE Transactions on Image Processing, 2018, 28(4): 1895-1908.

[26] LIU Y, PAN J, REN J, et al. Learning deep priors for image dehazing[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 2492-2500.

[27] JIANG X P, SUN J, LI C H, et al. Video image defogging recognition based on recurrent neural network[J]. IEEE Transactions on Industrial Informatics, 2018, 14(7): 3281-3288.

[28] SHI Y H, JIANG X H. Deep quality assessment toward defogged aerial images[J]. Signal Processing: Image Communication, 2020, 83: 115808.

[29] QIAN W, ZHOU C, ZHANG D Y. FAOD-Net: a fast AOD-net for dehazing single image[EB/OL].[2020-04-10]. https://www.hindawi.com/journals/mpe/2020/4945214/.

[30] LIU W, YAO R G, QIU G P. A physics based generative adversarial network for single image defogging[J]. Image and Vision Computing, 2019, 92: 103815.

[31] SANTRA S, MONDAL R, CHANDA B. Learning a patch quality comparator for single image dehazing[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4598-4607.

[32] 刘玉红, 颜红梅. 基于Retinex理论的眼底彩色图像增强算法[J]. 中国生物医学工程学报, 2018, 37(3): 257-265. LIU Y H, YAN H M. The color fundus image enhancement algorithm based on retinex theory[J]. Chinese Journal of Biomedical Engineering, 2018, 37(3): 257-265 (in Chinese).

[33] JOBSON D J, RAHMAN Z, WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image processing, 1997, 6(7): 965-976.

[34] 洪明坚. 图像增强的自适应直方图修正算法研究及其应用[D]. 重庆: 重庆大学, 2002. HONG M J. Study on the adaptive histogram modification for image enhancement[D]. Chongqing: Chongqin University, 2002 (in Chinese).

[35] KIM Y T. Contrast enhancement using brightness preserving bi-histogram equalization[J]. IEEE transactions on Consumer Electronics, 1997, 43(1): 1-8.

[36] REZA A M. Realization of the contrast limited adaptive histogram equalization (CLAHE) for real-time image enhancement[J]. Journal of VLSI Signal Processing Systems for Signal, Image and Video Technology, 2004, 38(1): 35-44.

[37] MEYLAN L, SUSSTRUNK S. High dynamic range image rendering with a retinex-based adaptive filter[J]. IEEE Transactions on image processing, 2006, 15(9): 2820-2830.

[38] 高原原, 胡海苗. 基于多子块协同单尺度Retinex的浓雾图像增强[J]. 北京航空航天大学学报, 2019, 45(5): 944-951. GAO Y Y, HU H M. Foggy image enhancement based on multi-block coordinated single-scale Retinex[J]. Journal of Beijing University of Aeronautics and Astronautics, 2019, 45(5): 944-951 (in Chinese).

[39] 周雪智. 图像增强算法研究及其在图像去雾中的应用[D]. 长沙: 湖南师范大学, 2015. ZHOU X Z. Image enhancement algorithm research and its application to images defoggying[D]. Changsha: Hunan Normal University, 2015 (in Chinese).

[40] RAIKWAR S C, TAPASWI S. Adaptive dehazing control factor based fast single image dehazing[J]. Multimedia Tools and Applications, 2020, 79(1-2): 891-918.

[41] HU H M, GUO Q, ZHENG J, et al. Single image defogging based on illumination decomposition for visual maritime surveillance[J]. IEEE Transactions on Image Processing, 2019, 28(6): 2882-2897.

[42] WANG F P, WANG W X. Road extraction using modified dark channel prior and neighborhood FCM in foggy aerial images[J]. Multimedia Tools and Applications, 2019, 78(1): 947-964.

[43] ZHU Q S, MAI J M, SHAO L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3522-3533.

[44] KIM J H, JANG W D, SIM J Y, et al. Optimized contrast enhancement for real-time image and video dehazing[J]. Journal of Visual Communication and Image Representation, 2013, 24(3): 410-425.

[45] XIAO J S, ZHU L, ZHANG Y Q, et al. Scene-aware image dehazing based on sky-segmented dark channel prior[J]. IET Image Processing, 2017, 11(12): 1163-1171.

[46] 赵锦威, 沈逸云, 刘春晓, 等. 暗通道先验图像去雾的大气光校验和光晕消除[J]. 中国图象图形学报, 2016, 21(9): 1221-1228. ZHAO J W, SHEN Y Y, LIU C X, et al. Dark channel prior-based image dehazing with atmospheric light validation and halo elimination[J]. Journal of Image and Graphics, 2016, 21(9): 1221-1228 (in Chinese).

[47] 杨爱萍, 白煌煌. 基于Retinex理论和暗通道先验的夜间图像去雾算法[J]. 激光与光电子学进展, 2017, 54(4): 147-153. YANG A P, BAI H H. Nighttime image defogging based on the theory of retinex and dark channel prior[J]. Laser & Optoelectronics Progress, 2017, 54(4): 147-153 (in Chinese).

[48] CAI B L, XU X M, JIA K, et al. Dehazenet: an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.

[49] YUAN K L, WEI J G, LU W H, et al. Single image dehazing via NIN-DehazeNet[J]. IEEE Access, 2019, 7: 181348-181356.

[50] SALAZAR-COLORES S, CRUZ-ACEVES I, RAMOS-ARREGUIN J M. Single image dehazing using a multilayer perceptron[J]. Journal of Electronic Imaging, 2018, 27(4): 043022.

[51] GOODFELLOW I, WARDE-FARLEY D, MIRZA M, et al. Maxout networks[C]//2013 International Conference on Machine Learning. New York: IEEE Press，2013: 1319-1327.

[52] LI B Y, PENG X L, WANG Z Y, et al. An all-in-one network for dehazing and beyond[EB/OL].[2020-03-10]. https://arxiv.org/abs/1707.06543.

[53] CHEN D, HE M, FAN Q, et al. Gated context aggregation network for image dehazing and deraining[C]//2019 IEEE Winter Conference on Applications of Computer Vision. New York: IEEE Press, 2019: 1375-1383.

[54] ZHANG H, PATEL V M. Density-aware single image de-raining using a multi-stream dense network[C]// Proceedings of the 2018 IEEE conference on computer vision and pattern recognition. New York: IEEE Press, 2018: 695-704.

Review and analysis of image defogging algorithm

WANG Dao-lei, ZHANG Tian-yu

(College of Energy and Mechanical Engineering, Shanghai University of Electric Power, Shanghai 200090, China)

Image defogging is an image preprocessing method for man-machine recognition by analyzing and preprocessing the image with fog, meeting the application requirements under specific conditions. The influence of haze could incur lost details and low contrast for the image taken in foggy conditions, which would impact the subsequent analysis and recognition of the image. The past research on image defogging algorithms was summarized, such as image enhancement, image restoration, convolution neural network, and the improved algorithms, some of which were tested, evaluated, and analyzed in terms of advantages and disadvantages. Explorations were made on the future development, and suggestions were propounded for the difficult and easy parts of the algorithm, thus boosting the further development of the image defogging algorithms.

image enhancement; image defogging; image processing; convolutional neural network

TP 317.4

10.11996/JG.j.2095-302X.2020060861

A

2095-302X(2020)06-0861-10

2020-06-19；

2020-07-24

19 June，2020；

24 July，2020

国家自然科学基金项目(61502297)

National Natural Science Foundation of China (61502297)

王道累(1981-)，男，上海人，副教授，博士。主要研究方向为计算机视觉、图像处理、CAD/CAM。E-mail：alfredwdl@shiep.edu.cn

WANG Dao-lei (1981-), male, associate professor, Ph.D. His main research interests cover computer vision, image processing, CAD/CAM. E-mail：alfredwdl@shiep.edu.cn