单一雾霾图像RGB值先行验证去雾算法研究

马瑞强 张善俊

摘  要：针对单一雾霾图像的去雾算法，通常以颜色增强与先行验证较为常用，目前结合深度学习应用于雾霾图像处理算法也常出现，并且取得了一定的成果和应用。本研究受两个传统的先行验证算法，即黑通道先行验证与彩度灰度值先行验证方法的启发，通过深入研究修复后雾霾图像与无雾图像RGB值的先行验证，发现其两者存在的相关性的统计规律，基于这一特点利用卷积神经网络进行学习，使得雾霾图像得到了修复，并取得了较为理想的视觉效果。后通过PSNR评价结果表明，雾霾图像修复的理论结果与目测的实践结果基本吻合，从而也证实了本研究所采用的RGB值先行验证算法具有一定的实用价值。

关键词：单一雾霾图像;RGB值先行验证;黑通道先行验证;彩度灰度值先行验证;峰值信噪比;评价机制

中图分类号：TP391.41      文献标志码：A         文章编号：2095-2945（2020）01-0001-06

Abstract： For the single fogging image defogging algorithm， it is usually used to color enhance and the prior. At present， it is often used in fogging image processing algorithm using combining with deep learning， then it has made some achievements and applications. This study is inspired by two traditional prior algorithms， there are dark channel prior and color attenuation prior. Through in-depth research on the prior of RGB value of repaired fogging image and non fogging image， we find the statistical law of their correlation. Based on this feature， we use convolutional neural network for deep learning， so that fogging image can be repaired， and take the ideal visual effect is obtained. Finally， the peak single to noise ratio evaluation results show that the theoretical results of fogging image restoration are basically consistent with the results of visual inspection practice， which also confirms that the RGB value prior algorithm used in this study has a certain practical value.

Keywords： single fogging image; RGB Value Prior; dark channel prior; color attenuation prior; peak single to noise ratio; evaluation mechanism

1 概述

薄霧是一种自然现象，它会模糊场景、降低可见度和改变颜色。这对摄影师来说是一个恼人的问题，因为它会降低图像质量。它还威胁到许多应用程序的可靠性，如室外监视、物体检测和空中成像。因此，在计算机视觉/图形技术中，去除图像中的模糊是很重要的。但是，由于其数学模糊性，通常输入只是一幅图像，消除模糊度具有很高的挑战性。在本论文中，科研工作者曾提出一个简单但有效的图像先行验证，称为黑通道先行验证，以消除单一图像的雾。黑通道先行验证是室外无雾图像的统计特性：这些图像中的大多数补丁应包含至少一个颜色通道中的暗像素。使用之前的雾度成像模型，我们可以轻松恢复高质量的无雾度图像。经验表明，这种简单的先行验证在各种情况下都是强大的，并且优于许多以前的方法。

首先，图像去雾处理技术是计算机视觉系统与研究领域中一个非常有意义的论题，是一个新型的学科研究方向，具有广阔的应用前景。其相关研究成果可以广泛地应用于日常图片处理、视频监控、航拍、安全辅助驾驶、汽车自动驾驶、水下图像分析、工业自动焊接焊缝的实时跟踪等诸多领域。虽然该领域的研究已在国内外蓬勃发展，但是，受雾霾图像复杂性和拍摄环境多变性制约，目前已有的雾霾图像清晰化处理的算法研究和研究成果亟待完善，依然存在诸多难点问题，尚未得到有效解决。

其次，客观科学的去雾处理效果评价体系，是衡量去雾效果优劣的重要依据，目前对此领域的优秀研究成果不多。具有较好的适用性与可靠性的评价方法，是去雾图像处理研究深入推进的重要保障，除现有比较成熟的图像质量评价手段之外，对去雾图像处理后效果清晰化评价算法，可靠性不足，有必要深入研究。

近年来，分阶段的研究成果都是基于该算法所代表的雾浓度感知特性，突破和改进了以往大气散射模型的使用。通过大量的白天室外霾图像样本，计算出雾气浓度和雾识别的统计特征，包括局部标准差、局部平均值等一系列统计特征。利用颜色饱和度和图像熵对原始图像进行多尺度细化恢复。这是一种基于学习特征的方法。这种方法能很好地得到除雾后的图像，在图像清晰度、对比度和细节恢复方面，基于各种物理模型的去雾算法的结果更符合人眼的主观要求。基于物理模型的图像去雾算法从雾的退化原理和模糊机理出发，从物理原因的角度分析了大气散射对雾图像物理模型的恢复、退化过程中物理退化模型的建立、物理模型的反演等问题。退化过程中，可以获得无雾图像，达到浑浊图像的清晰度效果，且图像信息损失相对较小，因此逐渐成为图像除雾领域的研究热点。这种消雾算法对图像处理具有很强的针对性，在尽可能保留原始图像信息的前提下，呈现出自然的消雾效果。在计算机视觉中，大气物理模型常用于图像处理和计算机视觉。

深度學习一般有三种方式。它包括有监督学习、无监督学习和混合深度学习。深度学习突破了传统机器学习和基于浅层结构的信号处理技术的局限性。由于非凸优化问题的逐步求解，深度学习在图像处理等领域取得了一定的突破。作为一种本质上具有层状非线性结构的深度模型，其构造和学习的深度特征表示无疑将大大提高传统浅层模型的泛化能力。明显的非凸优化目标形式所引起的局部优化将阻碍基于梯度的bp算法的有效实现。通过对优化初始点的无监督预训练方法的改进，得到了该问题的一些经验解。伊恩·古德塞尔在2014年提出了一个创意一代对抗网络模式。该算法赋予人类思维模式两种主要模式：生成模式和判别模式。利用生成模型进行训练和学习，利用判别模型判断生成模型是否接近真值，直到判别模型不再判断生成模型是否为真或假。近年来，该技术已应用于图像除雾处理，取得了良好的效果。最后一种基于深度学习的图像去雾方法，结合一定的神经网络结构，采用不同的深度学习技术来训练去雾模型。研究者提出了一种自适应多列深度神经网络用于图像去雾，这也是一种自编码的去雾方法，该方法对有缺陷和模糊的数字图像的复原和去雾有很好的效果。也有图像重建算法，如可训练的非线性反应扩散模型。通过对非线性扩散模型的改进，该算法更适合于图像恢复。

以上基于神经网络的图像除雾方法大多优于传统的除雾算法，从除雾图像的细节到除雾图像的性能指标都比较突出。随着算法的不断改进，深度学习除雾算法在层数上深化后，会出现一些技术问题，如网络层数过大时模型训练困难，梯度容易产生离散或爆炸，模型学习效果不明显等。进一步提高图像除雾效果是非常困难的。基于以上情况，本课题组正在研究基于深度学习技术的图像去雾算法，并研究如何训练出更好的去雾模型，如何提高模型的训练速度和收敛速度。这一研究领域具有较大的实用价值。

2 物理模型

5 结论

本算法同样是针对单一雾霾图像所提出的一种去雾算法，受黑通道先行验证与彩度辉度先行验证的启发，试图从另外一个自然规律角度寻找先行验证规律，提出一种图像RGB-Histogram先行验证理论，并且得到了证实。实践证明，这种方案是可行的。主要是结合无雾图像的RGB值和去雾图像的RGB值，先行验证其规律性，通过对抗神经网络做深度学习，生成训练RGB模型，最后利用这个训练模型对单一雾霾图像修复。目测的结果来看，本去雾算法具有比较理想的效果。然后，再利用峰值信噪比对实验结果进行了评价，并且，与之前的基于黑通道先行验证与彩度辉度先行验证的研究成果进行了对比，证明本算法具有一定的优越性，同时又为业界提出了一个新的先行验证理论。

参考文献：

[1]KIM J Y，KIM L S，HWANG S H. An advanced contrast enhancement using partially overlapped sub-block histogram equalization[J].Circuits and Systems for Video Technology， 2002，11（4）：475-484.

[2]Zuide [Zuide 04] ZUIDE R VELD K.Contrast limited adaptive histogram equalization[M]. Graphics Gems IV. San Diego，CA，USA： Academic Press Professional，1994：474-485.

[3] McCA  R TNEY E J，TRANSLATED P N，Mao Jietai，et al.Optics of the atmosphere[M]. Beijing： Science Press，1988.

[4]TAN.Visibility in bad weather from a single image[C].IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2008：1-8.

[5]Kaiming He， Jian Sun， and Xiaou Tang， "Single Image Haze Removal Using Dark Channel Prior"， IEEE Conference on Computer Vision and Pattern Recognition， 2008.

[6]Tarel J Ps Hautiere N. Fast visibility restoration from a single color or gray level image[C]. IEEE， International Conference on Computer Vision， IEEE， 2010：2201-2208.

[7]Q.Zhu， J.Mai， L.Shao， Single Image Dehazing Using Color Attenuation Prior， International journal of computer vision， 2012，98（3）：263-278.

[8]TANG K， YANG J， WANG J. Investigating haze-relevant features in a learning framework for image dehazing [C]. IEEE Conference on Computer Vision and Pattern Recognition， Columbus： IEEE， 2014：2995-3002.

[9]CAI B， XU X， JIA K， et al. Dehazenet： An end-to-end system for single image haze Removal [J]. IEEE Transactions on Image Processing， 2016，25（11）：5187-5198.

[10]REN W， LIU S， ZHANG H， et al. Single image dehazing via multi-scale convolutional Neural networks [C]. European Conference on Computer Vision， Amsterdam： Springer International Publishing， 2016：154-169.

[11]Zili Yi， Hao Zhang， and Ping Tan Minglun Gong. DualGAN： Unsupervised Dual Learning for Image-to-Image Translation. In IEEE International Conferenceon Computer Vision， pages 502-510， Venice， Italy， October 2017.

[12]Wangmeng Zuo， Dongwei Ren， Shuhang Gu， Liang Lin， and Lei Zhang. Discriminative learning of iteration-wise priors for blind deconvolution. InCVPR，pages 3232-3240， Boston， MA， Jun. 2015.

[13]Kai Zhang， Wangmeng Zuo， Yunjin Chen， Deyu Meng， and Lei Zhang. Beyond a gaussian denoiser： Residual learning of deep CNN for image de-noising.IEEE Trans. Image Processing， 26（7）：3142-3155，2017.

[14]R.Ma， S.Zhang， An Improved Color Image Defogging Algorithm using Dark Channel Model and Enhancing Saturation， International Journal for Light and Electron Optics， vol.180 （2019），pp997-1000.

[15]C. A. B. R. H. S. a. P. E. S. Z. Wang， Image  quality assessment：  from error  visibility  to  structural  similarity， IEEE Trans. Image Processing， vol. 13， no. 4， pp. 600-612， 2004.