保细节的水下欠曝光图像的复原和增强

刘 柯 李旭健

(山东科技大学计算机科学与工程学院 山东 青岛 266000)

0 引 言

随着人类的发展，我们对海洋有着越来越多的探索，相应的水下开展的活动也日益频繁，例如：深海勘探、海洋资源开发、水下生物采集、海洋渔业、水下考古等。相比较于陆地活动，水下活动充满着各种因素的干扰，比如光线暗淡、水中介质、水下雾气等，导致获得的水下图像存在着模糊、颜色失真、边缘细节丢失等现象。获得清晰、高质量的水下图像对于水下作业工作者和相关研究者们来说是非常重要的。

1 研究现状和问题

对于这些问题，文献[1]使用一种单一的传感器捕捉三原色和近红外图像，使用近红外闪光灯拍摄图像，利用估计的运动模糊核对微光彩色图像进行联合去噪和去模糊。文献[2]提出了一种基于蓝绿色通道去噪和红色通道校正的水下图像复原方法，首先在对暗信道先验算法进行完善的基础上，通过去噪算法恢复蓝绿色信道，然后根据灰色世界假设理论对红通道进行修复，最后，通过自适应曝光映射解决光线不均匀问题。文献[3]提出了一种生成对抗网络(GAN)，通过学习的方法来恢复水下图像，保存和增强输入图像的内容，以及由于剪切而完全丢失数据的完整区域，可以起到图像颜色和边缘纹理保留的作用。文献[4]提出了一种多曝光图像融合的方法，该方法分别融合了输入图像的方法和细节，在稀疏表示的基础上对细节进行融合，实现了较好的清晰度。文献[5]提出了一种基于最优加权多曝光融合机制的保细节欠曝光图像增强方法，为了保留细节和增强色彩，还提出了用能量方程来计算三种测量的最优权重，但是容易导致图像的过增强现象。文献[6]提出的增强方法可以很好地解决图像噪声和水下雾气，但是也会出现图像的欠增强或过增强问题。文献[7]提出了一种新颖的编码曝光视频技术，用互补的颤动来捕捉视频帧模式，这能够保留所有频谱带，达到图像复原的效果。本文还介绍了一种基于现代通信的二进制序列集编码曝光视频系统的机制，进一步阐述了该方法的有效性。文献[8]提出了一种基于背景光和传输图的水下增强方法，首先开发了一个背景光数据库，然后计算R通道的传输图(TM)，接着通过水下光衰减先验和反向饱和图求得精确的TM，最后又引入白平衡方法进行图像颜色的增强，提高了图像的清晰度。文献[9]提出了一种系统的水下图像增强方法，包括由衰减图引导的水下图像颜色校正方法和保留细节的去雾方法。文献[10]提出了一种基于条件生成对抗网络(GAN)的深度多尺度特征融合网络，用于水下图像颜色校正。文献[11]提出了一种基于非局部微分算子的新型变分模型，其中水下成像模型成功地集成到变分框架中，将水下暗通道先验(UDCP)和四叉树细分方法应用于水下成像模型的构建，以估计透射图和全局背景光。文献[12]提出了一种基于异构生成对抗网络(GAN)的方法，该方法由用于生成清晰图像的循环一致生成对抗网络(CycleGAN)和用于保留纹理细节的条件生成对抗网络(cGAN)组成。综上分析，虽然基于卷积网络的方法能够提高图像的清晰度和算法的效率，但依旧存在着图像边缘细节易丢失的现象，不能很好地处理光线不均匀的情况，而且目前缺少成熟的水下图像数据集。

2 本文的工作

针对目前水下图像增强中存在的相关问题，本文主要从去噪、去雾和图像增强方面进行提高。首先，提出一种改进的小波阈值函数去噪方法去除水下模糊图像中掺杂的噪声，并通过精确的优化算法进行求解。然后，提出色彩恢复的多尺度视网膜增强(MSRCR)联合改进引导滤波的去雾方法，不仅在最大程度上完善了多尺度视网膜(MSR)算法和MSRCR算法，还有效地实现了在图像去雾的同时尽可能保持边缘细节的效果，是本文的一个创新点。最后，在图像增强阶段，本文先采用改进的直方图均衡化图像增强方法对复原后的图像进一步地处理，其目的就是为了改善整体的亮度，接着提出改进的超分辨率卷积神经网络(ISRCNN)算法解决颜色退化和边缘弱化的问题，即采用深度学习融合改进的自适应伽马校正技术对图像质量进行提高，也是本文的又一个创新点。对于自适应曝光处理后的水下图像，其部分区域可能存在颜色退化的现象。

本文做出的贡献主要表现在：

(1) 提出一种保细节的水下图像增强方法，在实现去噪、去雾气的基础上，达到了对图像边缘细节的增强，其效果更好。

(2) 采用了色彩恢复的多尺度视网膜增强联合改进引导滤波的去雾方法，对于自适应曝光处理后的图像，它在增强颜色的同时对边缘细节也起到了很好的保护作用，清晰度和图像质量更好。

(3) 本文采用深度学习算法结合改进的自适应伽马校正技术较好地实现图像颜色和边缘细节的增强。

3 水下图像复原

水下环境充满了噪声、雾气和介质颗粒，再加上水体的流动性导致拍摄设备发生“抖动”现象，从而获得的水下图像会非常模糊、颜色失真、细节丢失等。本文采用改进的小波阈值函数进行去噪，并采用MSRCR联合改进引导滤波的方法去除水下雾气。实验证明，本文采用的去噪和去雾的方法是有效的。

3.1 图像去噪

传统小波阈值函数的去噪效果与阈值函数、重建准确度有关系，而传统的阈值函数主要包含软阈值和硬阈值函数。其中硬阈值函数表示为：

(1)

式中：ρj,k表示带噪小波系数；sj,k表示输出小波系数。使用硬阈值函数时，会对一些细节部分起到保护的作用，但是该函数在阈值±δ存在不连续性，因此在重构小波系数时，会非常容易出现伪吉布斯现象(Gibbs-like phenomena)。

软阈值函数：

(2)

由式(2)可以得出，软阈值函数完善了硬阈值函数的瑕疵，即软阈值函数在±δ处是连续的，但是会导致局部有价值的地方丢失。为了进一步弥补两个函数中存在的不足，本文做出了改进，通过对指数函数的底值和自变量的变换，可以进一步对小波系数做出操作，从而更好地解决噪声问题，而且函数在|ρj,k|=δ是不间断的，完善了硬阈值和软阈值函数的缺点，公式如下：

(3)

式中：α和μ均为改进阈值函数中的参数。

硬阈值函数、软阈值函数和本文阈值函数的曲线图，如图1所示。综合分析得知，本文的阈值函数在处理过程中要好于硬、软阈值函数。

图1 不同阈值函数曲线图对比

在式(3)中，阈值δ的选取对去噪有很大的影响，如果δ太小，就会出现噪声清除不彻底，导致图像效果不理想；如果δ太大，就会出现去噪过度，导致图像的失真。所以本文采用贝叶斯阈值[13]的方法使得每一层的阈值能够自动地随着小波分解尺度的增大而缩小：

(4)

(5)

密度函数：

(6)

(7)

阈值计算表达式：

Xj=γ2/γx

(8)

式中：γ2表示噪声的方差；γx表示子带系数标准差；j表示分层的某一层。

对于式(7)中γ2的计算采用的是文献[13]所提到的方法：

γ=median(|sj,k|)/0.674 5

(9)

(10)

(11)

因此，根据式(9)-式(11)联合求得贝叶斯阈值，即求得了贝叶斯阈值在不同层之间的自适应性，从而突显出本文算法的好处。

而对于改进阈值函数中的参数δ和α，本文采用文献[14]中提到的粒子群优化算法来求解。

通过将改进的小波阈值函数应用于水下图像的去噪，充分解决了图像中出现的一系列噪声，大大提高了图像的视觉效果。去噪效果如图2所示。

(a) 原图 (b) 去噪后的图像图2 去噪结果

3.2 图像去雾

对于MSR，最为经典的就是3尺度的大、中、小，既能实现图像动态范围的压缩，又能保持色感的一致性，但是处理后的图像存在着图像颜色偏差等问题。对于获取到的水下图像，可能会由于含有噪声，而导致图像的部分细节颜色失真，不能表现物体的真实颜色，整体效果就会变差。针对这一点不足，MSRCR在MSR的基础上，加入了色彩恢复因子C来调节由于图像局部区域对比度增强而导致颜色失真的缺陷。文献[15]中采用MSRCR来提高图像的整体质量，在颜色和清晰度等方面起到了一定的作用，但是还存在着整体质量不高的情况。为进一步在去雾过程中保持细节的清晰度，本文提出MSRCR联合改进的引导滤波方法实现水下图像的去雾效果。

RMSRCR(x,y)′=G·RMSRCR(x,y)+b

(12)

RMSRCR(x,y)=C(x,y)RMSR(x,y)

(13)

(14)

f[I′(x,y)]=βlog[αI′(x,y)]=β{log[αI′(x,y)]-

log[∑I(x,y)]}

(15)

式中：RMSRCR(x,y)′表示从对数域r(x,y)转换为实数域R(x,y)；G表示增益Gain(一般取值为5)；b指的是偏差Offset(一般取值为25)；I代表某个通道的图像；C是某个通道的彩色恢复因子；调节这三个颜色通道的比值；f(*)代表颜色空间的一种映射关系；β代表增益常数(取值为46)；α指受控制的非线性强度(取值为125)。

实验证明，MSRCR对获取到的水下图像具有显著的去雾效果，提高了图像的清晰度，并且提高了水下图像的颜色对比度和饱和度。而改进的引导滤波对图像的边缘细节起到极好的保护作用，将这两种方法有机融合，在实现较好去雾效果的同时，还提高了颜色的饱和度，使得水下图像的边缘细节更加清晰，从而提高了算法效率。图3为在图2的基础上继续进行去雾的图像结果，显示出本文方法的有效性。

(a) 原图 (b) 去雾后图像图3 去雾效果

4 水下图像增强

对于水下获取的图像，都会存在着光照不均、介质颗粒等因素造成的图像模糊和图像失真等问题，限制着相关领域的发展，如何获得一个高质量的水下图像对于水下科研工作者和水下研究者来说显得尤为重要。

经过上面图像复原阶段的处理后，得到的图像没有了雾气、噪声的干扰，而且图像的颜色和细节也得到很大程度的改善。但是，仍然存在着图像亮度较暗的问题。为了进一步改善图像质量，本文采用赵爱玲等[16]提出的基于改进的直方图均衡化图像增强方法对图像进行处理，一方面改善了水下图像亮度偏暗的现象；另一方面，对增强水下图像饱和度也起到了很大的改善作用，且避免了晕影的出现。但是，实验表明，该方法在提高亮度的过程中，对于解决局部光线较弱方面的效果是有限的。改进的直方图均衡化结果如图4所示。

(a) 处理前 (b) 处理后图像

(c) 图像直方图图4 改进的直方图均衡化结果

接下来，本文采用了一种自适应曝光图的方法。首先，根据自适应曝光图[17]进一步改进调整结果，并由该文献中求解最优值的办法求得自适应图像曝光图f(x):

(16)

式中：f(x)表示适应风险地图；YJ(X)代表恢复图像的光照强度；YI(x)表示输入图像的光照强度；α取值为常数0.3；φ(*)表示平滑正规化。优化求解分为两步：(1) 忽略φ(*)的情形下解出f(x)，是一个自闭的值；(2) 把导向滤波器引入求解之中，从而得出理想答案。这里，求得出估计函数为：

(17)

进而得出：

OutputExp=Jc(x)×f(x)c∈{r,g,b}

(18)

式中：Jc(x)表示恢复后的图像；f(x)表示自适应曝光图像。

经过处理后，得到了一定亮度地水下图像，极大地提高了视觉效果。在现有的很多方法中，对水下图像的处理过程中，都会不同程度地出现光照不均匀等问题，为此，本文采用ISRCNN技术对水下图像进行增强，即超分辨率卷积神经网络融合改进的自适应伽马校正方法。

步骤1通道处理。将初始图像切割为R、G、B三个通道，各自通道都能得到各自的信息，公式如下：

Yi=image(Yi)i=R,G,B

(19)

式中：i代表着R、G、B三个通道；Y代表CNN的原始图像。

步骤2CNN的训练。公式如下：

Yi=max(0,Si×Yi(i-1)+Ci)i=1,2,3

(20)

式中：Si表示CNN每一层的卷积核；Ci表示CNN每一层的偏置；Yi(i-1)表示第五次卷积之后的输出结果。

步骤3图像的融合。公式如下：

Y=cat(YR,YG,YB)

(21)

步骤4改进的自适应伽马校正算法处理。对于对比度较低的水下图像，强度聚集在暗灰度级中。对于提高此类对比度的水下图像，κ是用于改善自适应伽马校正中的参数变量，用于优化自适应伽马校正的算法。

对于得到的水下图像Y，我们给出伽马定义：

(22)

式中：y代表预处理水下图像的光照分量；ymax表示y的最大像素值；k表示参数变量，用来控制水下图像增强的强度。

(23)

式中：σ代表水下图像的局部标准偏差；τ代表局部均值。

对于提高具有中等对比度的水下图像，校正因子κ适用于式(24)。

(24)

遍历Y中的每一个像素，根据文献[20]中的图像分类方法，得出水下图像分类的结果，再由式(23)或者式(24)求得每一个像素点的κ参数值；接着，按照式(22)对水下图像y实行伽马校正，求得增强后的水下图像y′。

综上，使用自适应曝光图的方法处理曝光问题、SRCNN融合改进的自适应伽马校正技术进行颜色和边缘细节等方面的增强，对改善水下图像对比度、色彩增强和边缘细节的保留都有明显的效果。

5 实验结果与分析

本文的实验分析部分将分别从定性和定量两方面进行。在定性分析方面，本文从水下图像恢复和增强两个阶段来阐述本文方法的有效性。在定量分析方面，采用了图像信噪比(SNR)、熵(Entropy)和梯度平均值(AVG)来提高本文方法的说服力。实验证明，本文提出的水下图像恢复和增强方法实现的效果是显著的。

5.1 定性分析

本文与Liang等[9]的方法和Liu等[10]的方法进行实验对比，结果如图5所示。

(a) 原图 (b)Liang等 (c) Liu等 (d) 本文图5 不同图像复原方法的结果比较

可以看出，文献[9]在水下图像的去雾方面的效果是明显的，能够实现图像的清晰化，但水下图像中远处的背景区域是趋于暗淡模糊的，也就是说该方法在水下图像局部区域(特别是远处背景色区域)中不能实现较好的效果。文献[10]相对文献[9]来说，效果更好一些，不仅能够很好地实现去噪、去雾效果，还能够对水下图像的色彩起到有效的增强作用，让水下图像具有更好的视觉效果，但是在水下图像的亮颜色处容易导致过拟合现象，并且不能高效地解决图像的曝光问题，而且在边缘细节的保留方面也需要进一步的提高。所以，相比较而言，本文方法在去雾、去噪和图像增强方法实现的效果相对是最好的。

本文将与Hou等[11]和Park等[12]所提出的方法做实验对比，定性比较如图6所示。

(a) 原图 (b) Hou等 (c) Park等 (d) 本文图6 不同图像增强方法的结果对比

可以看出，文献[11]提出的方法能够有效地实现色彩增强和改善光照强度，而且还能实现水下图像的去雾，不过并没有较好地保留水下图像的边缘细节，实现的整体效果是偏暗的。而对于文献[12]实现的整体效果要好于文献[11]，在光线亮度、细节保留等方面都有很好的提高，但是整体的颜色饱和度还需增强。本文方法可以在去噪、去雾、改善光强的基础上，对水下图像的颜色和边缘细节起到明显的增强效果。

5.2 定量分析

接下来，为了进一步让本文方法具有说服力，我们运用SNR来说明。信噪比与图像所含的噪声成反比，与图像的清晰度和质量成正比，也就是说，随着信噪比的增大，图像所含有的噪声就越少，图像就越清晰。计算出图5不同方法下的SNR，结果如表1所示。

表1 信噪比值

为了说明本文方法的有效性，本文运用熵和AVG对图6中的结果进行计算分析，结果如表2所示。熵一般用来表示图像特征统计，它代表的是平均信号量，熵值的大小可以体现出某一图像的对比度与清晰度；而AVG不仅能够表达出图像的对比度，还能体现图像的边缘细节等方面的清晰度，AVG变大，图像也越清晰。通过熵和AVG的对比，更好地展现出本文方法的优越性。

表2 熵和AVG的比较

5.3 其他情况下的应用

经实验验证，本文方法不仅对水下获取到的图像起到很好的恢复和增强效果，对于非水下的图像也起到了一定的复原和增强作用，其实现的效果是可观的。如图7所示。

(a) 为原始图像 (b) 处理后图像图7 其他情况欠曝光的处理效果

6 算法实现

保细节的水下欠曝光图像的复原和增强方法的思想步骤，归纳如下：

Step1对读取图像进行去噪和去雾处理。

Step2采用改进的直方图均衡化提高了图像的亮度。

Step3采用自适应曝光图与导向滤波器相结合的方法对水下图像进行系统的曝光处理。

Step4对曝光处理后可能出现的图像局部区域边缘细节淡化以及颜色退化的问题采用SRCNN融合改进的自适应伽马校正技术来进一步完善。

7 结 语

随着水下活动的日益频繁，水下图像增强技术变得越来越重要。为了获得清晰、高质量的水下图像，本文提出保细节的水下欠曝光图像的复原和增强方法。首先，由改进的小波阈值函数解决图像的噪声问题；接着，提出MSRCR联合改进的引导滤波方法实现水下去雾的效果；继续采用改进的直方图均衡化改善了水下图像的整体亮度，进而根据自适应曝光图与导向滤波器相结合的方法对水下图像进行系统的曝光处理；最后，对曝光处理后可能出现的图像局部区域的边缘细节淡化以及颜色退化的问题，提出SRCNN算法融合改进的自适应伽马校正的技术来进一步完善。实验证明，本文采用的保细节的水下欠曝光图像的恢复和增强方法在水下图像去雾、去噪、颜色和边缘细节的增强上具有显著的效果。在研究和实验中，我们发现本文方法也有一定的不足，即在处理光线太暗或者水下雾气太大的图像时效果有限，这也是我们下一步继续努力的方向。