基于暗通道的单幅图像除雾

2021-05-11 19:47王岩于萍司振惠郭鑫
智能计算机与应用 2021年2期

王岩 于萍 司振惠 郭鑫

摘要:针对暗通道先验算法存在的对全局大气光值估计不准确的问题,提出了一种单幅图像除雾的优化技术,对全局大气光值的选取方式进行了改进。首先用完美反射法对含雾图像进行颜色校正,接下来利用四叉树算法粗略估计大气光值,对其进行数值校正;再利用引导滤波对透射率进行优化,进而得到平滑的透射率。通过大气散射模型复原,得到较为清晰的除雾图像,最后用引导滤波丰富图像细节。实验结果表明,该算法复原图像清晰度高,具有较好的视觉效果。

关键词:图像除雾;四叉树;大气物理模型

【Abstract】Aimingattheproblemofinaccurateestimationoftheglobalatmosphericlightvalueinthedarkchannelprioralgorithm,asingleimagedefoggingoptimizationtechniqueisproposed,whichimprovestheselectionoftheglobalatmosphericlightvalue.First,usetheperfectreflectionmethodtocorrectthecolorofthefoggyimage,thenusethequadtreealgorithmtoroughlyestimatetheatmosphericlightvalueandcorrectitnumerically;thereforeusetheguidedfiltertooptimizethetransmittancetoobtainasmoothtransmittance.Throughatmosphericscatteringmodelrestoration,aclearerdefoggingimageisobtained.Finally,theimagedetailsareenrichedbyguidedfiltering.Theexperimentalresultsshowthatthealgorithmhashighdefinitionandgoodvisualeffects.

【Keywords】imagede-hazing;quadtree;atmosphericphysicalmodel

作者简介:王岩(1996-),女,硕士研究生,主要研究方向:图像去雾;于萍(1976-),女,博士,副教授,主要研究方向:计算机软件与应用;司振惠(1995-),女,硕士研究生,主要研究方向:图像去雾;郭鑫(1997-),男,硕士研究生,主要研究方向:图像去雾。

0引言

通常,人们可以通过拍摄图像获取到自然环境中的真实信息,无论是在视频监控还是在交通监管等相關领域都会用到图像采集。然而,在某些恶劣的天气状况下,如雾霾天气下拍摄的照片则会出现模糊、视觉效果不佳等现象,对后续的图像处理工作带来严重的影响。因此,对含雾图像进行复原处理是十分重要的。

目前,图像的除雾算法可以简单分为2类:基于非物理模型的除雾算法和基于物理模型的除雾算法。其中,基于非物理模型的除雾算法,也就是图像增强算法,包括Retinex[1-4]、直方图均衡化算法[5]等,此类算法主要通过提高图像的对比度来增强图像的视觉效果。但这种除雾算法处理后的图像容易出现颜色失真、颜色过饱和等问题,因此在实际应用中效果并不理想。基于物理模型的除雾算法是根据一些先验信息来推断出雾天图像退化的原因,再通过大气散射模型达到复原清晰图像的目的。例如He等人[6]提出的基于暗通道先验的图像除雾算法,该方法对含雾图像的复原效果较好,但在视觉上仍然存在一些问题:使用粗估计的透射率进行除雾处理后,在景深突变的区域会产生“白边”的现象。为避免这种现象的出现,He通过软抠图(Softmatting)算法对透射率进行优化,但优化后的算法时间复杂度高,不能满足实时处理的要求。He等人[7]又通过引导滤波[7]对透射率进行优化,这样大大降低了算法的复杂度,但是图像处理后会出现饱和度过高及对全局大气光值估计不准确的问题。肖钟捷等人[8]引入快速、各向同性的低通高斯滤波器,代替软抠图算法对透射率进行优化,但是在算法效率方面并没有较大的改善。

本文提出了一种单幅图像除雾的优化技术。首先,对输入的含雾图像采用完美反射法进行颜色校正。接下来用四叉树搜索算法粗略估计大气光值,再对其进行数值校正。同时对颜色校正后的图像进行暗通道处理,用引导滤波对获取到的透射率进行优化,进而得到平滑的透射率,再通过大气散射模型进行复原,得到清晰的除雾图像。最后利用引导滤波对复原后的图像进行处理,丰富图像的细节。

1理论基础

1.1大气散射模型

计算机视觉和计算机图形学中,通常采用公式(1)描述含雾图像的物理模型:

其中,J(x)表示清晰图像;t(x)是透射率,用于描述物体表面的反射光没有散射而传输到图像采集设备的比例;A是无穷远处的大气光,通常可以从天空区域简单地估算出来。根据大气散射理论,受雾、霾等大气粒子的影响,光在该环境中传播会发生散射,所以在雾天情况下,物体表面的反射光在传播过程中只有部分反射光会传输到采集设备,对图像采集工作造成了影响。在公式(1)中有2个未知的参数,即A和t(x),也就是说,要从中获取到清晰无雾图像I,即需先估计出更加精确的未知参数值。

如前文所述,透射率t(x)和大气光A是通过大气散射模型复原含雾图像的关键参数。而公式(1)的物理模型是一个不确定方程,因此可以通过先验知识来估计上述两个参数。

1.2暗通道先验理论

He等人[6]对大量清晰的室外图像进行了研究,发现在清晰室外图像的大部分区域中(天空区域和白色区域除外),都有一个像素值为零的通道,简称为暗通道先验理论,可用公式(2)表示:

其中,透射率的取值过小容易造成图像失真,故而对其中透射率的值做了下限定值,t0的取值为0.1。

2本文算法

2.1本文算法具体流程

(1)颜色校正:对输入的含雾图像采用完美反射法进行颜色校正。这样做可以调整输入图像的颜色,使图像看上去更加自然。

(2)估计大气光值:由于传统的暗通道算法中获取大气光值的方式是选取图像中最亮的点,但是据此得到的大气光值并不可靠。所以本文使用四叉树算法粗略估计大气光值,并对粗略估计得到的大气光值进行数值校正。

(3)暗通道处理:对颜色校正后的图像进行暗通道处理,得到粗略的透射率,再用引导滤波对透射率进行优化处理,这就得到平滑透射率。

(4)复原图像:通过大气散射模型复原,从而得到清晰的除雾图像。

(5)丰富细节:以完美反射法处理后的图像作为引导图像,利用引导滤波对复原后的图像进行处理,起到丰富图像细节的作用。

算法具体示意图如图1所示。

2.2完美反射法

完美反射法,也被称为镜面法。该方法的原理是假设图像中存在一个“镜面”,并可以完全反射光源照射在物体上面的光线,那么在一些特定光源下,就可以将“镜面”获取到的色彩信息认定为当前光源的信息,接下来根据光源信息对图像3个通道的值进行校正,达到校正图像颜色的目的。完美反射法校正图像色差效果图如图2所示。

2.3改进大气光值估计方法

由式(1)可以看出,全局大气光值A对于图像进行除雾操作有着十分重要的作用,所以对大气光值的估计和选取是十分重要的。已知大气光应是含雾图像中雾浓度最大的部分,He等人[6]在暗通道中选取最亮的像素值作为大气光值,然而在现实中拍摄的图像中,最亮的区域并不一定是雾浓度最大的地方,也可能是白色建筑、镜子、车窗玻璃等反光物体。因此,He等人对大气光的估计方法是不准确的。为了更准确地估计大气光值,本文基于天空区域的像素值之间方差较小这一特点,采用四叉树搜索方法[9]对大气光值进行粗略估计并校正。该方法获取大气光过程的示意图如图3所示。图3中,红色方块的区域为大气光最后的选取区域。

四叉树获取大气光的具体方法如下:

(1)先将完美反射法处理后的图像划分为4个大小均等的区域,再对每一个区域的均值及标准差进行标记,记为value[i](i取值为1、2、3、4)。

(2)将value[i]值最高的区域按照相同逻辑进行划分标记,如此反复迭代,直到选取区域与设定的阈值(设定阈值为200像素)相等为止,至此选取区域中最大的亮度值作为粗略估计的大气光值。

然而这种方法也存在一定的局限性,对于天空区域较小的图像来说,由此方法得到的大气光值过低,将导致除雾的视觉效果并不理想。进一步地,还需要对粗略估计的大气光值进行校正。首先设定粗略估计的大气光值为Ac,然后对其进行数值校正。此时将用到如下数学公式:

A=Ac*p.(6)

其中,p為校正系数,本文取值p=1.05。

2.4引导滤波

引导滤波是一种图像滤波技术,其特点是可以保持图像的边缘平滑,目前已经可以应用在图像增强、图像压缩、图像抠图及图像除雾等场景中。另外,该技术还可以消除双边滤波的局限性,如图像中可能存在假边缘的问题。这里假设引导图像为I,输入图像为p。则输出图像可以定义为:

为了对比效果,本文分别用双边滤波法和引导滤波法获取了暗通道图像及算法复原后的图像。如图4所示。通过观察图像可以得出,双边滤波获取的暗通道图像存在假边缘现象,这样处理得到的图像也会出现假边缘的问题。而使用引导滤波处理后的暗通道图较为平滑,细节较好,处理后的图像效果也明显优于使用双边滤波处理后的图像效果,效果参见图4(b)。所以,本文使用引导滤波对透射率进行优化。

由于处理后的图像存在部分细节丢失的问题,为了更好地复原图像细节,本文使用引导滤波对复原后的图像进行处理。为了对比效果,本文分别将含雾图像及完美反射法处理后的图像作为引导图像进行处理,对比结果如图5所示。通过观察可以得出,以完美反射法处理后的图像作为引导图像的视觉效果更好,细节更丰富,效果参见图5(b),所以本文选用完美反射法处理后的图像作为引导图像,对复原后的图像进行处理。

3实验与分析

3.1除雾图像主观评价

为了验证本文算法的有效性,本文选择了3幅自然光下的风景图像进行复原实验,并和文献[10]、文献[11]、文献[12]的除雾算法处理后的图像进行了对比。对比结果如图6所示。为了论述的方便,本文分别将图像命名为bridge、bench及forest。文献[10]利用颜色衰减先验除雾算法处理的结果见图6(b),其存在的问题是图像整体视觉效果偏暗,且在图像边缘处细节不够清晰;文献[11]使用多层感知器的算法除雾后的结果见图6(c),该算法存在除雾不彻底及局部区域较暗的问题;文献[12]基于暗通道先验的算法除雾的结果见图6(d),其除雾后的图像存在明显的失真问题,与原图像景物有较大的色差;本文算法处理后的结果见图6(e),与上述除雾算法相比较,除雾的效果更好,且图像的细节更清晰。

为了进一步证明本文算法的有效性,本文选取了一张室外密集人群的图像(命名为people),并与文献[10]、文献[11]、文献[12]的除雾算法处理后的图像进行了复原实验比较,对比效果如图7所示。图7的第二列为去雾后图像局部区域放大的细节图。通过对比可以看出,对比算法局部放大后存在颜色偏暗的问题,视觉效果不佳,本文算法对图像中人的轮廓边缘处理较清晰,在细节方面有着较好的处理效果,且视觉效果更好。

3.2算法的客观评估标准

图像除雾算法的客观评估是通过一些测试方法对图像的质量进行评价,从而得到一个可以反映图像质量或者是损失程度的参数作为评价的结果,该结果可以提高图像质量评价的精确度。图像质量评估标准可以分为3类:全参考图像质量评估[13]、部分参考图像质量评估[14]和无参考图像质量评估[15]。部分参考图像质量评估需要将与含雾图像相对应的清晰图像作为参考图像,在实际应用中很不方便。因此,在图像除雾领域中,无参考图像质量评估被广泛使用,例如峰值信噪比(PSNR)和结构相似度(SSIM)。

为了验证本文算法在客观评估指标方面的除雾效果,本文选取了PSNR及SSIM指标对处理后的图像进行分析,并与文献[10]、文献[11]以及文献[12]算法处理后图像的客观指标进行了对比,对比结果见表1和表2。从表1和表2可以看出,相比其他三种算法,本文的PSNR以及SSIM的值较高,且对不同图像处理的SSIM值都大于0.8,证明了本文算法除雾的效果较好且较稳定,图像失真较少。

4结束语

本文基于暗通道先验理论,提出了一种单幅图像除雾的优化技术。在粗略估计大气光值时,采用四叉樹搜索法,使图像的处理更加自然,同时使用引导滤波对图像的透射率及图像细节进行优化。优化后的算法在一定程度上避免了除雾后图像容易出现的颜色失真以及与原图像景物存在较大色差的问题。实验结果表明,优化后的算法可以从含雾图像中复原出较清晰的图像,而且除雾后图像无论是在主观视觉效果,还是在客观参数评估上都高于其他算法,证明了本文算法的优越性和有效性。

参考文献

[1]刘海波,杨杰,吴正平,等.基于暗通道先验和Retinex理论的快速单幅图像去雾方法[J].自动化学报,2015,41(7):1264-1273.

[2]李武劲,彭怡书,欧先锋,等.基于大气散射模型和Retinex理论的雾霾图像清晰化算法[J].成都工业学院学报,2019,22(2):5-8,13.

[3]尚月.基于Retinex的夜间低照度图像自适应增强算法[J].信息通信,2020(4):36-38.

[4]梁健,巨海娟,张文飞,等.偏振光学成像去雾技术综述[J].光学学报,2017,37(4):1-13.

[5]王小芳,方登杰,何海瑞,等.基于多尺度细节优化的MSRCR图像去雾算法[J].实验技术与管理,2020,37(9):92-97.

[6]HEKaiming,SUNJian,TANGXiao'ou.Singleimagehazeremovalusingdarkchannelprior[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2011,33(12):2341-2353.

[7]HEK,SUNJ,TANGX.Guidedimagefiltering[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2013,35(6):1397-1409.

[8]肖钟捷,李宝方.一种改进的单幅图像快速去雾方法与实验[J].地球信息科学学报,2015,17(4):494-499.

[9]KIMJH,JANGWD,SIMJY,etal.Optimizedcontrastenhancementforreal-timeimageandvideodehazing[J].JournalofVisualCommunicationandImageRepresentation,2013,24(3):410-425.

[10]ZHUQ,MAIJ,SHAOL.Afastsingleimagehazeremovalalgorithmusingcolorattenuationprior[J].IEEETransactionsonImageProcessing,2015,24(11):3522-3533.

[11]SALAZAR-COLORESS,CRUZ-ACEVESI,RAMOS-ARREGUINJM.Singleimagedehazingusingamultilayerperceptron[J].JournalofElectronicImaging,2018,27(4):1.

[12]YANGYan,WANGZhiwei.Hazeremoval:PushDCPattheedge[J].IEEESignalProcessingLetters,2020,27:1405-1409.

[13]WANGZ,BOVIKAC,SHEIKHHR,etal.Imagequalityassessment:Fromerrorvisibilitytostructuralsimilarity[J].IEEETransactionsonImageProcessing,2004,13(4):600-612.

[14]CARNECM,CALLETPL,BARBAD.Objectivequalityassessmentofcolorimagesbasedonagenericperceptualreducedreference[J].SignalProcessingImageCommunication,2008,23(4):239-256.

[15]SHEIKHHR,BOVIKAC,CORMACKLK.No-referencequalityassessmentusingnaturalscenestatistics[J].IEEETransactionsonImageProcessing,2005,14(11):1918-1927.