基于色彩空间分解的低照度图像增强方法

王鹏 宋存利 纪守用

摘要：针对低照度图像增强问题，提出一种基于色彩空间分解的图像增强算法。为了实现图像亮度和色彩的解耦合，将图像进行空间转换；利用中值滤波算法与Retinex算法融合以及基于OTSU处理的自适应局部直方图均衡化，分别实现了亮度分量的增强和饱和度分量的校正。分层图像合成、图像降噪处理和色彩空间的转换，确保增强图像色彩的均匀和清晰度的提高。实验结果与其他几种经典算法相比较，算法获得的增强图像细节方面更為丰富，图像的清晰度更高。

关键词：图像增强；Retinex；中值滤波；直方图均衡化

中图分类号：TP391.4文献标志码：A文章编号：1008-1739（2021）06-68-6

基金项目：人工智能四川省重点实验室开放基金项目（2020RYJ04），辽宁省自然科学基金资助项目（20180551020），辽宁省教育厅资助项目（JDL2019011）。

0引言

经典的图像增强技术分为频率域法和空间域法，频率域法[1-3]主要用于去除或减弱噪声并有效增强细节，算法复杂度低、效率高；空间域法[4-6]主要是依据图像像素建立数学模型，算法通过对不同属性的像素操作进而实现图像增强。

1971年，Land等人[7]提出Retinex算法，指出物体的反射情况决定了视觉系统对物体色彩的感知结果。2014年Li等[8]提出了一种基于加权引导滤波的Retinex算法，将权重设置为自适应因子，从而降低噪声，改善图像的清晰度和平滑程度。但从效果来看，图像细节对比度不高，降噪效果也不明显。2016年，为了更有效地在可变光照条件下进行人脸识别，杜明等人[9]提出根据频率原理，将图像信息分为高频和低频两部分，并结合单尺度Retinex算法各自进行处理。2017年，Guo等人[10]为了有效改善低亮度图像的图像质量，使用加权L1范数正则化代替原有Retinex算法中照度分量的估计，该方法对图像亮度有较大提升。2018年Jie等人[11]将引导滤波与Retinex算法结合，采用迭代多尺度的方法对存在光照缺陷图像增强。Hu Feng等人[12]设计了一种基于模拟多曝光融合的微光图像增强方法，将Retinex算法模型和形态学相结合，通过构建一种新的补偿函数，调整图像细节，解决图像光晕等现象，降低了图像的失真率。张晨等人[13]为了更好地增强含有大块面积天空区域的图像，通过获取具有鲁棒性更加好的大气光取值，采用Retinex结合修正的四叉树算法，使图像拥有更好的视觉效果。2020年Li等人[14]提出卷积神经网络与四叉树分解结合的方式针对特定场景的图像进行降噪处理。

以上方法均从不同角度对图像进行了增强，但是由于图像光照分布不均，高光区域受算法处理影响小，容易导致图像明暗边缘突出以及色彩扭曲等问题，且高光区域细节没有得到明显改善。

针对以上低照度图像问题，设计了一种新的处理方法。首先，通过对色彩空间的转换，避免了算法对图像调整亮度对色彩的干扰。其次，采用中值滤波来代替原有的高斯滤波，在进行Retinex算法对图像亮度处理时，可以更好地保留图像的边缘信息，减少失真现象的发生。最后，设计了基于OTSU处理的自适应限制对比度的局部直方图均衡化算法，对图像的色彩进行自适应调整，并将设计的低照度图像增强算法和其他的图像算法进行实验对比及分析。

1算法设计和原理

1.1 HSV色彩空间转换

在进行增强算法之前，将图像从空间转换到空间，色彩空间的转换可以更好地保留原图像的色彩结构，减少对色彩关系的破坏，将转换完的图像进行解耦合，然后分别对亮度空间和饱和度空间进行增强和校正。

传统的Retinex在进行照度估计时往往只考虑到了中心像素的影响，这样会较明显地模糊边缘，导致色彩失真、光晕泛白等一系列问题，鉴于中值滤波具有色彩及边缘信息保留好的优势，采用中值滤波[16]来替代高斯滤波。卷积核的大小会影响滤波算法对图像的噪声抑制效果以及失真情况，为了使图像对比结果更加清晰，经反复实验比对，采用5*5大小的卷积核最能凸显差别效果。

不同滤波采用5*5大小的卷积核对经典的lena图像进行处理，结果如图1所示。对处理后的图像的亮度、对比度、信息熵和平均梯度等属性进行比较，结果如表1所示。

对表1中数据进行分析，在5*5大小的卷积核条件下，经中值滤波器处理的图像、亮度、对比度均优于经高斯滤波器处理的图像，说明中值滤波能够在去除噪声时，更多地保留色彩信息。信息熵反应了边缘信息的数量，平均梯度对应了图像的清晰度，经中值滤波处理后的图像相比于其他2种对比滤波，模糊程度轻微、边缘保留较好、效率更高。

改进的Retinex算法主要是将高斯滤波函数替换为中值滤波函数，通过图像解耦得到亮度通道图像和（ ， ）中值滤波模板（ ， ），联合式（7）可得到反射分量表达式：

将算法处理得到的图像进行非局部均值降噪得到的图像转换回色彩空间，作为最终的图像输出。

1.7算法整体流程

算法流程图如图2所示，步骤如下：

①输入图像进行色彩空间转换并进行解耦，通过式（1）～（4）的计算，得到色调空图像、饱和度空间图像和亮度空间图像。

②采用基于中值滤波模板改进的Retinex算法进行处理，将亮度空间图像带入式（8）得到处理后的图像；

③饱和度图像采用OTSU处理，如式（9）～（10）所示，得到最佳阈值。将最佳阈值饱和度图像带入公式（11）～（13）进行自适应的局部直方图进行处理，最终得到饱和度空间增强图像。

④将增强校正后的饱和度空间图像、亮度空间图像以及色调空间图像按照式（14）合并，依据式（15）～（16）对合成后的图像进行非局部均值降噪处理，最后转换到空间进行图像输出。

2仿真实验

2.1对比方法及参数设计

实验环境采用Inter i5处理器、Window7系统、内存大小为 4 GB的计算机，使用Python编程语言，使用的编程软件是Py charm，函数库使用了opencv，numpy，math等。

为了更好地评价算法的性能指标，对比算法的优劣性，在选取的低照度图像进行对比算法实验，实验参数设计及方法如表2所示。

2.2主观评价

本文选用了ExDARK数据集中的低照图进行实验，共计7 363张图像，因文章篇幅有限，本文选取3组亮度不同、视野较好的图片作为评价展示，分别是bike，square，entrance。

第1组的实验结果图如图3所示。图3（原图）为原始图片，图像较暗，光源来自于路灯和远处车辆的灯光，图像中的指示牌和自行车都无法看清。经过SSR增强算法后，图像亮度增加，纹理细节突出，但是颜色失真大，视觉效果较差；MSR增强算法与SSR增强算法相比亮度再度有所提升，图像的信息比较明显，近处的物体较为明显，但是整体颜色失真，清晰度低。经MSRCR算法处理后的图像亮度适中，明暗差有所减小，清晰度较好；MSRCP算法增强后，图像的亮度信息提高，但色彩失真严重，景深加重，无法判读物体原有色彩；HE算法處理后，亮度信息与Retinex类算法相比略有降低，但对比度和清晰度较好，细节清晰；直方图规范化处理亮度和色彩都略有提升，色彩和亮度比例和谐，但是整体提升不多。Gamma校正后的图像亮度与原图相比有所改善，但视觉系统还是难以分辨图像中的景物图；本文设计算法增强后的图像，远处的地铁、天上的红日和LED灯牌信息清晰可见，车道线和道路边沿更加清楚，亮度、对比度相比原图有效提升，信息也有很好的显示，并且细节清晰。

第2组的实验结果图如图4所示。图4（原图）中主要光源来自场地灯光，场地中雕塑和人物无法看清；经过SSR增强算法后，亮度改善不明显，近景的自行车和路边信息明显，但远景中灯光区域出现光晕等噪声；MSR增强算法中图像亮度显著提高，对比度提升，图像产生了色彩失真，视觉效果一般；经MSRCR处理后的图像亮度、对比度和纹理细节都有明显增强，MSRCP算法增强的图像亮度是所有对比算法中提升最多的，但是由于色彩与亮度比例关系，导致色彩失真严重。经过HE算法增强的图像亮度提升，建筑物信息能够完整显示，基础设施等细节清晰，但是天空中噪声很多，影响整体感觉；直方图规范化、Gamma校正亮度对比度均有所提升，但幅度不大，色彩与亮度比例更加接近真实物体。经本文设计算法处理后的图像各项属性均有明显提升，图像细节清晰，更加有利于进行图像的进一步处理。

第3组的实验结果图如图5所示。由这一组图片可以明显感受到算法增强。图5（原图）光源来自路灯，图片信息识别困难，黑暗区域中建筑物的信息无法显示；SSR算法增强的图像，虽然能使整体明亮一些，但是不能使黑暗区域中的信息更好地显示，并且显得有些假白，不是十分自然；图像经过MSR算法处理，亮度均有所提升，但图像中的物体出现虚化，影响判断；MSRCP算法处理的图像亮度过高，导致颜色出现失真；HE算法增强的图像，由于像素点对中心像素点依赖度过高，虽然亮度对比度提升，但是局部色彩强度过大，偏离图像原有结构；本文设计算法呈现的效果较为自然，细节信息明显，门廊上的字母也都可以看清，层次感分明。

本文设计算法针对不同类型的低光照图像均能发挥稳定的功效，增强后的图片十分自然，并且细节效果展示充分。

[11] ZHANG J，ZHOU P，ZHANG Q.Low-Light Image Enhancement Based on Iterative Multi-Scale Guided Filter Retinex[J]. Journal of Graphics， 2018，39（1）：1-11.

[12] ZILING S，FENG H U. Low-light Image Enhancement Method Based on Simulating Multi-exposure Fusion[J]. Journal of Computer Applications， 2019，39（6）：1804-1809.

[13]張晨，杨燕.基于融合与高斯加权暗通道的单幅图像去雾算法[J].光子学报，2019，48（1）：152-160.

[14] LI Zhihui，GUI Bian，ZHEN Tong， et al. Grain Depot Image Dehazing via Quadtree Decomposition and Convolutional Neural Networks[J]. Alexandria Engineering Journal， 2020，59（3）：1463-1472.

[15]秦绪佳，王慧玲，杜轶诚，等.HSV色彩空间的Retinex结构光图像增强算法[J].计算机辅助设计与图形学学报， 2013，25（4）：488-493.

[16] ZHANG Z F，WEI H，TAN B W. An Improved Wavelet Threshold Denoising Method[J]. Study on Optical Communications， 2018（2）：75-78.

[17] BHANDARI A K， KUMAR I V. A Context Sensitive Energy Thresholding Based 3D Otsu Function for Image Segmentation Using Human Learning Optimization[J]. Applied Soft Computing，2019，82：1-10.

[18]杨茂祥.低照度环境下彩色图像增强算法研究[D].南京：南京邮电大学，2019.

[19]蔡玉芳，陈桃艳，王珏，等.基于自适应滤波系数的非局部均值计算机层析成像的图像降噪方法[J].光学学报，2020， 40（7）：44-52.

[20] AGAIAN S S， SILVER B，PANETTA K A .Transform Coefficient Histogram-based Image Enhancement Algorithms Using Contrast Entropy[J]. IEEE Transactions on Image Processing， 2007，16（3）：741-758.