多图像融合Retinex用于弱光图像增强

冯 维，吴贵铭，赵大兴，刘红帝

(1.湖北工业大学 机械工程学院，湖北 武汉 430068；2.现代制造质量工程湖北省重点实验室，湖北 武汉 430068)

1 引 言

高质量图像为图像的后续处理提供保障，而在弱光照环境中，仅通过设备往往不能直接获取清晰、高对比度的图像，因此图像增强成为了图像应用于特定场合与系统的重要方法。目前，图像增强已应用于各种科学和工程领域，如大气科学、卫星遥感、计算机视觉、人体医学及交通领域[1-4]等，因此，对于在外界光照不充足或图像采集设备进光量不足时获得的弱光图像进行增强处理，是图像处理领域一个必不可少而又极为重要的研究内容。目前，基于直方图均衡化方法、基于Retinex理论方法和基于图像去雾算法等增强算法已经被广泛应用于通过设备采集图像后处理的过程中，以便于后续图像处理步骤。

基于Retinex算法主要解决分解后照明图信息的准确估计问题和结构信息的有效保存问题。反射图包含图像彩色和纹理信息，其被处理后很容易造成颜色失真，通常是对照明图估计来得到更好的对比度和细节特征增强，例如经典的单尺度Retinex(Single-Scale Retinex，SSR)、多尺度Retinex(Multi-Scale Retinex，MSR)、带颜色恢复的多尺度Retinex(Multi-Scale Retinex with Color Restoration，MSRCR)[5-7]，SSR，MSR以及之后的一些对数域照明估计方法及改进方法不能有效保留细节信息和图像自然度，出现局部欠增强或过增强现象。对于照明图和反射图不能有效估计问题，Fu等提出同步反射率和光照估计的加权变分模型(Simultaneous Reflectance and Illumination Estimation，SRIE)[8]，能够有效估计照度和反射率，保持反射图细节，但是合成之后的增强有一定的局部欠增强和颜色失真问题。对于图像自然度保存问题，Wang等[9]提出非均匀弱光图像自然度保持(Naturalness Preserved Enhancement，NPE)算法，在增强图像的同时有效地保留图像照度信息，但是最终增强结果对非均匀光照图像存在细节模糊现象。随后，Fu等[10]提出基于多图像融合的弱光照图像增强算法同时提高图像对比度和亮度，多图像通过不同采样信息进行融合同时提升对比度和颜色特征提取，但是没有考虑不同融合图像结构信息的相似性，在局部光照突变处细节信息不清晰。

基于此，本文提出一种基于Retinex理论的多图像融合弱光图像增强算法，通过加权最小二乘滤波方法对多幅照明图进行加权估计，实验结果表明该算法增强图像全局对比度的同时，还有效的保持了图像自然度和细节特征。

2 相关理论

2.1 Retinex理论

Retinex理论是建立在人对颜色感知的恒常性上，通过将图像分解为照明图像和反射图像，并通过多种方式估计照明图像，最后去除照明图像从而得到增强之后的图像，其基本表达式为：

I(x，y)=L(x，y)*R(x，y)，

(1)

其中：I(x，y)表示原始图像，L(x，y)表示照明图像，R(x，y)表示反射图像。

图1所示为对数域Retinex照明估计。Retinex可以在动态范围内压缩、对比度增强等方面达到平衡，因此对于不同类型图像有着自适应增强效果。对照明图像的估计算法，一般是基于对数域实现Retinex算法，将公式(1)转换到对数域中，采用局部高斯滤波或中心环绕函数对光照进行估计等，整体亮度提升后再从对数域还原，即得增强后图像。

图1 对数域Retinex照明估计Fig.1 Log domain illumination estimation of Retinex

对数域照明估计方法，虽考虑了光照强度的非线性变化的特点，却会产生边缘伪影，同时没有考虑真实图像的反射率要求。在自然条件下，图像的反射率在区间[0， 1]内。当反射率接近于1时，图像接近自然光照的最大值，而对数域照明估计对图像局部区域的反射率有时会达到1.5以上，这就会导致局部区域过增强而显得不真实。本文通过在图像R，G和B通道中找到最大值来估计图像每个像素的亮度，保证图像反射率在[0， 1]之间，同时由于光照在每个通道的空间光滑性[11]，所以能保持图像的细节信息。初始照明估计表示为：

(2)

其中：Sc(x，y)表示原始图像的像素位置，c表示颜色通道，Linit(x，y)表示与原始图像像素位置相对应的初始照明估计图。

2.2 伽马矫正与双对数变换

伽马矫正[12]是一种非线性图像亮度增强方法，输出图像是通过输入图像的指数变换，使得输出图像整体对比度更符合人眼对光线感受，表示如下：

Vout(x，y)=BVin(x，y)γ，

(3)

其中：Vin(x，y)表示原始图像每一个像素，Vout(x，y)表示伽马矫正之后的图像对应像素，B表示系数，γ表示伽马值。对于弱光照图像，伽马值小于1时，图像的整体亮度值得到提升。本文通过伽马变换得到照明估计图，并作为初始照明融合图。

双对数变换是一种对数域直方图规定化处理，对于空间域通过映射函数将均衡化的原始图像灰度分布对应到某一特定形状的直方图分布。而对数域直方图变换能完成图像灰度级的扩展和压缩[13-14]，有利于图像局部增强处理，从而实现局部亮度增强和细节保持。本文通过双对数变换得到输入图像到细节保持图像的映射关系以实现局部对比度增强。又因为对数域变换会使得直方图正规化输出图像的亮度变得非常相似，根据文献[9]，适当增加低灰度值的数量，可得到新的加权直方图分布为：

(4)

其中：Lr(x，y)表示原始照明输入图像，P(x，y)表示脉冲函数，当x=y时，P(x，y)=1，否则P(x，y)=0，log(Lr(i，j))表示原始照明图像对应的对数域照明图像，ε表示修正系数，实验中设置为1。因此可得到修正之后的目标图像的累计分布函数(Cumulative Distribution Function，CDF)为：

(5)

按照直方图规定化的定义，概率密度直方图对应强度值以下的面积相等，因此可得到输入图像和目标图像之间的映射关系，本文利用双对数变换即可得到局部增强和细节保持的照明增强图，用式(6)、式(7)可求得：

pr(Ocdf)=Icdf(z)，(z=0，1，2，…，L-1)，

(6)

(7)

其中：Icdf(z)表示输入图像对数域直方图均衡化得到的累计分布函数，Pr(z)表示目标图像与输入图像累计分布函数的映射关系。通过公式(7)映射函数反变换，即得照明图L1双对数变换之后的图像L3。

2.3 加权最小二乘估计

加权最小二乘滤波算法(Weighted Least Square Filtering，WLS)是一种边缘保持性滤波算法，可表示为：

(8)

其中：p代表像素的位置，up代表滤波输出图像，gp代表输入图像，ax，ay代表权重系数。公式(8)中第1项代表输出滤波图像和输入图像的相似度差异；第2项是正则化项，通过对x，y方向求偏导，使得输出图像越平滑越好。加权最小二乘滤波通过最小化相似度差异，保留图像的结构信息。

3 反射图与照明图估计

3.1 反射图估计

图2所示为反射图估计，针对原始弱光图像，在R，G和B通道中找到最大值来估计图像每个像素的亮度，通过公式(2)得到初始照明图。为便于在反射图中保留颜色信息，假设3个通道具有相同的反射率，则反射图为：

(9)

其中：Rinit表示初始照明估计图，ε为微小实数，避免分母为0。

初始照明图是通过通道最大值来获得的，由于未考虑到R，G和B 3个通道之间的联系，因此通过公式(9)得到的初始反射图的局部细节特征粗糙。因此，本文提出采用形态学闭合的方式调整反射图，弥补反射图的细节损失，使得反射图具有更清晰的细节特征，调整反射图可表示为：

Radjust(x，y)=Rinit(x，y)∘Estruc，

(10)

其中：Estruc表示圆盘形结构元素，Radjust(x，y)表示初始反射图对应像素位置得到的调整反射图，∘表示形态学闭合操作。

(a)原图(a)Original image(b)初始照明图(b)Initial illumination map(c)初始反射图(c)Initial reflection map(d)调整反射图(d)Adjust reflection map(e)局部放大图(e)Local amplification image图2 反射图估计Fig.2 Reflection map estimation

3.2 加权最小二乘图像融合照明估计

本文提出的多图像融合策略中，选择3幅图像作为初始融合照明图，图3所示为通过最小二乘滤波照明估计图。第1幅照明图像I1是初始照明估计图Iinit，它是整个融合策略的基础，包含了原始弱光图像的结构信息和基准色调，结构信息的保留避免了后续处理对原始图像特征造成扭曲。基准色调保留了图像复原过程中对比度信息。第2幅照明图I2是伽马矫正照明估计图，通过伽马矫正提升了初始照明图的整体对比度，较暗的区域被增强而过亮的区域又能够被抑制。第3幅照明图像I3是直方图规定化照明估计图，通过双对数变换处理，保留照明图更多的自然度信息。本文算法可表示为：

(11)

式中：B是伽马矫正的调整系数，Pr表示通过双对数变换得到的映射关系。

(12)

其中：λ表示平滑因子，控制WLS滤波图像对于原始图像的平滑程度，λ越大得到的滤波图像越平滑，但局部细节特征会变得模糊，Ik表示第k个照明图像，LIk是2.3节中WLS公式的矩阵形式，Dx，Dy分别表示前向差分矩阵，Ax，Ay表示权重分配值。

(13)

其中上标d和s分别表示滤波所得到的细节层和平滑层。

图3 照明估计与滤波图Fig.3 Illumination estimation and filtering image

对于平滑层图像融合，结合对比度和细节融合的特点，本文采用一种根据融合图像本身和图像之间的差异性自适应的分配权重策略，使得对比度较高的照明图像能分配较高的权重，同时对比度有着较大差异的区域融合后有着较高的相似度，保证光照分量平滑过渡。权重有两部分组成，第一部分是对比度权重，每一幅对比度权重分别由与其对应的照明图得到；第二部分是相似度权重，由相邻图像相似度所共同决定的，如公式(14)所示：

(14)

式中：μ表示均值变换因子，σ表示方差变换因子，A∈(0，1]表示权重调节系数，调节对比度占比，通过对多幅图像的融合实验表明对比度权重对图像增强效果显著，而相似度对于融合效果的起着微调作用，因此设置权重调节系数改善融合效果。

平滑层WLS自适应加权融合公式如下所示：

(15)

其中分母表示总权重归一化项。

(16)

结合公式(15)和公式(16)，可得到最终照明估计：

Lfinal(x，y)=Ls(x，y)+Ld(x，y)，

(17)

其中Lfinal即是通过自适应WLS得到的最终照明估计图，如图4所示。

当得到调整之后的反射和照明估计图后，通过Retinex分解原理即可重构之后的增强图，可表示为：

(18)

(a)平滑层融合(a)Fusion of smooth layer(b)细节层融合(b)Fusion of detail layer(c)最终照明融合(c)Fusion of final illumination(d)局部放大图(d)Local amplification image图4 照明融合图Fig.4 Fusion of illumination image

为了避免图像采集过程中噪声因素对后续图像处理的影响，同时为了减少运算时间，本文首先通过下采样操作降低图像分辨率，然后根据上述增强算法得到初始照明和反射图，最后融合、合成得到最终增强之后的图像。表1描述了本文算法的流程。

表1 整体算法流程

4 对比实验

4.1 对比方法及参数设置

本文所提出弱光照增强算法在电脑配置为CPU：Intel Core i5-9300H，主频：2.40 GHz，内存：4 G环境下的Matlab软件中运行的。为了表明本文所提算法的优越性，分别与其他6种弱光增强算法进行对比实验，具体包括两种基于Retinex的方法： MSR，MSRCR；一种基于灰度直方图的弱光增强算法：上下文及变分对比度增强算法(Contextual and Variational Contrast Enhancement，CVC)[15]；两种基于照明估计的增强算法：SRIE，NPE；Fu提出的一种多图像融合增强算法[10]。通过主观评价方法和客观评价方法对增强图像进行评估，由于与低照度图像相对应的正常光照图像未知，针对增强之后的图像质量，本文采用盲图像质量评价(Natural Image Quality Evaluator，NIQE)[16]；对于增强图像与原始弱光照图像的对比，则采用亮度顺序差(Lightness-Order-Error，LOE)[9]指标评价。另外实验参数设置如表2所示。

表2 实验参数设置

4.2 主观对比增强结果对比

图5所示为对比实验图，原图为弱光自然场景图，树木和部分建筑有背光，且和白色的柱子有较高对比度差异。MSR算法对远景天空色彩失常，且暗光区域效果不明显；MSRCR算法在颜色增强上有了很大提升，但是对局部区域有过增强，且对比度增强效果依赖由于人工参数调整；CVC算法不能有效增强暗区域，而且高对比度区域增强效果不能有效体现；SRIE算法对光照有较好的提升，但是部分背光区域却看不清晰；NPE算法对图像整体自然度有较高保持，但是过增强明显，而且远景细节模糊；Fu的算法对于图像增强对比度和图像细节有较大提高，但左上角光照突变处边缘轮廓模糊；而本文算法不仅对整体对比度进行增强，没有局部欠增强和过增强现象，而且通过对照明的有效估计，对细节区域有自然度保持效果。

(a)原图(a)Original image(b)MSR(b)MSR(c)MSRCR(c)MSRCR(d)CVC(d)CVC

(e)SRIE(e)SRIE(f)NPE(f)NPE(g)Fu的算法(g)Fu’s algorithm(h)本文算法(h)Our algorithm图5 典型弱光图像对比实验结果Fig.5 Experimental results of typical low light image contrast

图6为某校图书馆自然弱光图，背景是傍晚稍暗的天空，全图不仅整体对比度低而且前后景都存在背光现象。从增强的效果来看，MSR对背景天空产生严重的颜色扭曲；MSRCR算法对背景天空和图书馆上部分别产生了过增强和欠增强现象；CVC算法对暗光区域没起到增强作用而且彩色失真；SRIE算法整体光照和对比度欠增强，而且部分前景，如树木和雕塑欠增强明显；NPE算法较原图对比度有明显增强作用，且整体自然度较高，但是树木和雕塑不能有效光照补偿；Fu的算法对前后景光照变化(雕塑与台阶)处有边缘模糊现象；本文算法不仅对整体对比度有效增强、渐变的背景天空很好地保留了自然度，而且前景的树木、雕塑、花圃都清晰地表现出来，相较于其他方法对弱光图像的单一属性的增强，本文算法对对比度、色彩和局部细节特征能同时起到增强的效果。

(a)原图(a)Original image(b)MSR(b)MSR(c)MSRCR(c)MSRCR(d)CVC(d)CVC

(e)SRIE(e)SRIE(f)NPE(f)NPE(g)Fu的算法(g)Fu’s algorithm(h)本文算法(h)Our algorithm图6 自然弱光图像对比实验结果Fig.6 Experimental results of natural low light image contrast

4.3 客观评价指标

表3和表4分别为图5和图6对应方法的客观评价数据，为减少计算量，图5和图6的分辨率分别为下采样之后的像素120×80 pixel，120×80 pixel。从表中数据可知，本文算法的LOE值略低于NPE算法，但在所有弱光增强算法中对图像自然度的保持效果最好。同时，本文算法的NIQE指标在所有方法中是最低的，这表明本文方法在增强图像对比度的同时没有较大的细节模糊和颜色失真，在不考虑图像噪声情况下，光照增强的过渡相对平滑。在算法运行效率方面，除去只在空间域进行映射增强的CVC算法运行时间最短外，基于多图像融合的Fu的算法和本文算法较其他方法运行时间更短，但本文算法避免了多次尺寸调整求权，运算效率更高。

表3 图5对应图像LOE和NIQE指标

表4 图6对应图像LOE和NIQE指标

5 结 论

为了在图像弱光增强过程中同时提高对比度和保持自然度，本文提出一种基于Retinex的多图像融合算法，根据Retinex理论和通道最大值分别得到初始照明图和反射图，并通过形态学闭合的方式，弥补了图像细节的损失。对于照明图，本文通过设计一种自适应加权最小二乘滤波多图像融合的策略，根据伽马变换和双对数变换调整初始照明图分别得到全局对比度增强图和自然度保持图，再对滤波得到的平滑层和细节层分别融合和像素级相加以得到最终照明估计图，最后将调整反射图和照明图合成增强之后的图像。结果表明，对实验中实际自然弱光场景的LOE，NIQE值分别降到4.12和3.25，较其他方法有更好的增强效果，表明本文算法在弱光图像增强方面有优越的性能。