一种改进的Retinex矿井图像增强算法

李晓宇， 吕进来， 郝晓丽

(太原理工大学信息与计算机学院， 晋中 030600)

智能监控是当前煤矿安全生产系统中的重要组成部分，为工作人员的安全及设备的正常运作提供了有力的保障。目前，矿井视频监控依然主要依靠人工监测，由于矿井下工作环境的特殊性，监控采集到的视频图像存在光照分布不均匀、对比度低、过亮及过暗区域细节丢失等特点，从而导致成像质量差，极大地影响了人眼视觉观测的效果，所以如何减弱光照影响、增强图像的细节信息、为后期井下视频的分析提供有力的依据，已成为当前该领域的研究热点。

应用于矿井图像增强的算法通常有直方图类，基于模型类和基于Retinex类等，其中基于直方图的增强算法[1-2]通过重新分配图像中像素的灰度值来增强对比度，运算速度快，但由于矿井图像光照不均匀，全局均衡会使得具体的增强结果不易控制，还可能会过多地合并输出图像的灰度级，进而导致图像细节信息丢失；基于模型的算法[3-4]利用了低照度图像的反向图与雾天图像的相似性，借助大气物理散射模型，将去雾算法应用于低照度图像增强，保持了增强结果的自然性，但由于模型的复杂度高，导致算法的计算量较大，实用性较低；基于Retinex的增强算法[5-6]通过将图像分解为照度分量和反射分量，去除光照成分从而实现增强，一般而言具有颜色保真、克服噪声的优势，在雾天、夜晚等恶劣环境下的图像有较强的增效效果，但也存在以下问题：①传统Retinex算法利用高斯滤波实现照度分量和反射分量的分离，由于高斯函数的各向同性，会导致增强结果出现噪声放大、对比度下降等现象；②由于矿井图像显著的光照非均匀性，通过去除照度分量实现增强，会由于不可避免的估计误差，使得增强后的图像常存在高亮区域范围扩大即过增强的问题。

针对问题①，刘晓阳等[7]使用双边滤波代替高斯滤波进行照度分量的估计，以克服噪声及光晕现象，但是算法的时间复杂度较高，且存在色彩失真现象。王星等[8]将引导滤波结合到Retinex算法中，能够实现与双边滤波相当的保边效果且效率较高，但出现了光晕模糊的问题，且过增强现象依然明显。针对过增强问题，智宁等[9]提出结合多尺度引导滤波的Retinex改进算法，提出照度和细节调整系数的思想，能够较好地均衡照度的影响，图像边缘细节也得到了较好的保护，但算法较为复杂，需手动设置许多参数，且光晕模糊现象仍然存在。

上述改进算法均在一定程度上实现矿井图像的有效增强，但仍未解决增强过程中的光晕及过增强问题，所以现提出一种改进Retinex的矿井图像增强方法(improved mine image enhancement algorithm based on Retinex，IMIEAR)，采用转换彩色空间的思想保持增强结果的色彩，有以下两点创新：①针对光晕问题，在估计照度分量时，提出使用改进的引导滤波器，根据各个窗口的不同纹理信息自适应改变权重值，期望达到消除模糊的目的；②针对过增强现象，提出一种“S”形照度均衡曲线，提升低亮区域的同时适当的抑制高亮区域，以符合矿井图像的特点，实现合理有效的增强。

1 改进的Retinex矿井图像增强算法

针对传统Retinex及其改进算法在处理矿井图像时存在的过增强及光晕模糊等问题，提出一种改进的Retinex矿井图像增强算法，算法流程如图1所示。①首先将待处理图像从RGB空间转至HSV空间，并提取表示亮度的V分量进行后续处理，以达到保护图像色彩的目的；②为避免光晕及模糊现象的出现，对V分量使用改进的自适应引导滤波进行照度估计，并在对数域中计算得到反射分量；③根据Retinex理论，照度分量主要包含图像的低频信息，反映了入射到物体上的光源能量，对其进行均衡调整以改善矿井图像的不均匀性；④而反射分量表示了图像的高频细节部分，对其进行非线性拉伸，以解决矿井图像细节丢失的现象；⑤将处理后的两分量融合得到新的V分量，可以避免因估计误差对增强效果造成影响，最后，新的V分量与原H、S分量融合并转回RGB空间后，得到增强结果。接下来，将对算法的主要步骤进行详细介绍。

图1 算法流程Fig.1 Flow chart of algorithm proposed

1.1 彩色空间转换

由于矿井下环境复杂，图像整体较暗且不均匀性明显，若在RGB空间分别对3个通道进行Retinex处理后在融合，不仅加大了计算量，往往还会导致色彩失真。故将待处理图像转至HSV空间，只处理表示亮度的V分量，保护分别表示色调、饱和度的H、S分量，达到避免色彩失真的目的。将提取到的V分量表示为IV(x,y)。

RGB空间到HSV空间的转换公式为

V=max(R,G,B)

(1)

(2)

(3)

1.2 基于自适应引导滤波的照度估计

引导滤波由He等[10]在2010年提出，由于其运算较快，具有边缘保持特性，且不具有梯度反转效应等优势，自提出以来在图像增强领域得到了广泛的应用，其核心为假定引导图像和滤波输出图像存在局部线性关系，即在以像素k为中心的窗口ωk中存在如下线性关系：

qi=akIi+bk,∀i∈ωk

(4)

式(4)中：Ii为引导图像的像素；qi为输出图像的像素；ak、bk为滤波窗口ωk的线性系数。依据式(5)所示的输入输出图像的最小代价模型，可获得线性系数ak和bk，如式(6)、式(7)所示。

(5)

式(5)中：ε为一个防止ak过大的正则化系数；pi为输入图像的像素值。

(6)

bk=pk-akμk

(7)

(8)

但其对于所有区域的局部窗口而言，在代价函数中都使用相同的且固定的正则化参数，从而对所有窗口内平滑力度的约束均相等，虽在一定程度上可以弥补部分区域平滑力度不足的问题，但是并没有考虑当前窗口是否处于边缘区域或非边缘区域，若对边缘区域过度平滑，就会引起光晕和模糊现象，因此考虑不同窗口内纹理信息的差异性是必要的。

故此处选择引入梯度信息设计权值参数，由于在图像的边缘区域可以得到较大的梯度响应幅值，将其作为惩罚项即可得到较小的正则化系数，以减弱平滑力度；而对于非边缘区可得到较小的响应幅值，进而使用较大的正则化系数来减小误差，最终实现根据当前窗口所在区域，自适应调整正则项，达到减弱光晕，避免边缘模糊的目的。

图像的梯度及幅值通过2×2邻域的一阶偏导有限差分来计算，计算公式为

(9)

式(9)中：Px[i,j]和Py[i,j]分别为x和y方向上的梯度信息；M[i,j]为梯度幅值；I[i,j]为待处理图像。

定义归一化幅值响应为

(10)

式(10)中：ΔMi表示归一化结果；|Mi|表示图像的梯度响应幅值。

然后，利用指数函数定义权重因子为

(11)

式(11)中：A和σ为固定参数，进一步加强权重因子的效果。

(12)

则式(6)就修改为

(13)

将此自适应引导滤波作用于IV(x,y)，估计出照度分量LV(x,y)，表达式为

LV(x,y)=IV(x,y)⊕G(K,r)

(14)

式(14)中：⨁G(K,r)表示作用于IV(x,y)的自适应引导滤波，K表示引导图像，r表示滤波器的尺度。

为了简化计算，加快运行速度，将引导图像和输入图像都进行1/s的降采样，得到输出图像后，再进行s倍的双线性插值上采样得到最终的照度分量。

根据Retinex理论，反射分量可由照度分量和原始图像计算得出，为计算方便，通常在对数域进行，即

lnRV(x,y)=lnIV(x,y)-lnLV(x,y)

(15)

式(15)中：RV(x,y)表示反射分量。

1.3 照度均衡

光照的不均匀性是矿井图像的主要特点之一，由于井下大多使用人工照明，会使得图像呈现出整体照度低、光源及光源附近的区域照度高的现象。常见的照度调整方法如直方图均衡、灰度拉伸等均可以实现对图像的整体亮度进行调整，但用于非均匀照度图像会造成过增强现象，即无法抑制光源周围等高亮区域，使得增强后的高亮区域范围扩大。

所以，对于矿井下非均匀照度环境的图像，有必要合理设计照度均衡函数，使其在提升图像整体亮度的同时，抑制高亮区域，避免出现过增强现象。

针对非均匀照度图像整体亮度低、光源附近小部分区域亮度高的特点，提出一种“S型”函数对照度分量进行调整，表达式为

(16)

式(16)中：I(x,y)为待处理图像；G(x,y)为照度均衡后的输出图像；a和γ为调整系数。图2和图3分别为当系数γ和系数a取不同值时的函数曲线。

图2 γ取不同值时函数曲线Fig.2 Function curve when γ takes different values

可以看出，曲线大致呈现“S”形，系数γ控制函数的变化率。曲图3可知，各曲线大致以x=0.55为拐点，x∈[0,0.55]时，曲线是凸函数，x∈(0.55,1]时，曲线为凹函数，在照度调整时分别表现为像

图3 a取不同值时函数曲线Fig.3 Function curve when a takes different values

素值的提升和抑制，当系数γ越大时，函数图像在直线y=x两侧都表现为越“陡峭”，相应的调整效果也越明显。而系数a则控制函数曲线与直线y=x的交点的位置，a越大，交点越靠近点(1,1)，凸函数的区间越大，凹函数的区间越小，体现在图像的照度调整中为提升范围越大，抑制范围越小。

故通过调整该函数中的系数，作用于照度分量LV(x,y)，得到均衡后的照度分量LVA(x,y)为

(17)

可以实现应对矿井图像的非均匀特性，实现合理的照度调整的目的。

1.4 细节增强

此外，矿井图像还存在过亮或过暗区域细节丢失的现象，也是影响视觉观测效果和后续处理任务的主要问题，因此增加细节增强策略，将有助于实现图像的有效增强。

图像的反射分量中包含了图像高频的细节部分，也称作图像的细节层，可以看作引导滤波的输出和输入图像之间的差异。增加细节增强处理过程，可以很好地抑制噪声，同时使得结果图中包含更多的细节信息。

使用式(18)所示的Sigmoid函数对反射分量进行非线性拉伸。

RVout=

(18)

式(18)中：参数u和β分别设置为3和0.6。

根据Retinex理论，将处理后的照度分量和反射分量合成为新的V分量I′V(x,y)，如式(19)所示，并将其与原H、S分量进行融合，得到最终的增强结果。

lnI′V(x,y)=lnRVout(x,y)+lnLVA(x,y)

(19)

2 实验结果及分析

为验证所提IMIEAR算法对真实矿井图像的有效性，选取了矿井下的工作面、巷道等真实场景的彩色图像，通过MATLAB进行了仿真实验，所用的PC机操作系统为Windows10，CPU为Intel 3.6 GHz 的i7处理器，运行内存为4 G，编程环境版本为MATLAB2017b。并且将IMIEAR算法的增强结果与具有代表性的受限自适应直方图均衡化算法[11](contrast limited adaptive histogram equalization，CLAHE)，具有色彩恢复的多尺度Retinex算法[12](multi-scale Retinex with color restoration, MSRCR)算法，以及智宁等[9]提出的基于照度调整的非均匀图像增强算法(enhancement algorithm base on illumination ajustment，EAIA)进行对比实验，其参数均按照相关文献的推荐进行改进设置。

2.1 参数设置

在实验过程中，式(16)中的系数对实验结果有重要的影响，该照度调整函数能够在提升整体亮度的同时，抑制高亮区域，而系数γ则影响了提升或抑制效果的强度。图4所示为γ取不同值时对增强效果的影响，其中系数a固定为0.3。可以看出，γ越大，对图像的调整程度越强，但过大的γ会导致增强后的图像对比度有所降低，通过多次实验对比，建议将γ设定为4。

图4 不同γ的增强效果对比Fig.4 Contrast of enhancement effect when γ takes different values

而系数a则控制图像像素的提升或抑制范围的大小，a越小，对低亮度区域的提升范围越大，对高亮区域的抑制范围越小，经过多次实验后，建议a的取值范围为[0.1,0.5]。图5所示为a取不同值时对增强效果的影响，其中系数γ固定为4。可以看出，a取值越大，图像的整体亮度会降低。由于矿井图像大部分区域亮度较低，故将系数a设定为0.3。

图5 不同a的增强效果对比Fig.5 Contrast of enhancement effect when a takes different value

2.2 主观评价

图6所示为各算法对所选取的两幅矿井图像增强后的效果对比，可以看出，图像的整体亮度和对比度都有所提高。CLAHE算法的运算简洁，运行速度较快，但处理结果的整体亮度较低，如图6(c)中巷道深处经增强后依然亮度很低，图6(d)中高亮度区域范围扩大，出现过增强现象；MSRCR算法处理过的图像整体对比度较低，如图6(e)、图6(f)所示，图像泛白，表面像蒙着一层粉尘，且出现颜色失真的现象；EAIA算法和IMIEAR算法都能在增强图像整体亮度和对比度的同时避免高亮区域过增强，但相比较而言，经IMIEAR算法处理的图像进一步克服了边缘光晕和模糊，且色彩保持得更加丰富，表现出了IMIEAR算法的有效性和优越性。图7所示为IMIEAR算法对其他矿井场景做增强后的效果展示。

图6 矿井图像增强效果对比Fig.6 Contrast of enhancement results of mine image

图7 本文算法增强效果Fig.7 Enhancement results of algorithm proposed in this paper

2.3 客观评价

为避免因主观因素导致评价不可靠，选择局部标准差平均值(average local standard deviation，ALSD)、信息熵(entropy)和平均梯度(average gradient，AD)3种指标来从客观角度对增强结果进行进一步验证。

(1)局部标准差平均值将图像分块，取各分块的标准差的平均值作为评价结果(选择分块尺寸为20×20)，用来评价图像的对比度，值越高，对比度越强。标准差计算公式为

(20)

式(20)中：M、N分别表示分块的高和宽；P(i,j)表块内第i行、第j列的像素；μ表示均值。

(2)信息熵在一定程度上可以反映图像信息的丰富程度，信息熵越大，图像包含的信息量越大，表达式为

(21)

式(21)中：p(i)表示像素i在图像中的概率。

(3)平均梯度可以反映图像的细节，值越大，细节内容越丰富，图像越清晰，表达式为

(22)

对图6、图7所示的6幅图像采用上述评价指标对各算法的增强结果图进行评价，评价结果如表1～表3所示(最优数据加粗表示)。可以看出，经CLAHE、MSRCR、EAIA及IMIEAR算法处理后的图像标准差平均值、信息熵、平均梯度都较原图像有所提高，且IMIEAR算法在3个方面均能取得较好的结果，大部分均优于其他对比算法，增强后图像的标准差平均值、信息熵和平均梯度较原图而言分别平均提高了144.58%、118.65%、19.94%。

表1 各算法处理结果的局部标准差平均值对比Table 1 The comparison of ALSD of each algorithm

表2 各算法处理结果的信息熵对比Table 2 The comparison of entropy of each algorithm

表3 各算法处理结果的平均梯度对比Table 3 The comparison of AD of each algorithm

3 结论

通过实验得出以下结论。

(1)考虑矿井图像的特点，在传统Retinex算法的基础上，提出分别处理照度分量和反射分量再融合的改进思路。

(2)提出改进的自适应引导滤波进行照度估计，避免了使用原始引导滤波导致的光晕模糊现象。

(3)针对矿井图像的光照不均匀性，使用一种“S”形的函数进行照度调整，实现提升低量区域的同时抑制高亮区域的目的，避免过增强现象。

(4)本文算法能够在有效提升图像对比度和亮度的同时，避免光晕模糊和过增强现象，且较其他对比算法而言增强效果有明显提升。未来的研究工作将着重于算法精简，使其满足实际生产应用的需求。