顾及欠曝光亮度映射的HDR图像生成方法

晏玲

摘  要： 针对重曝光过程中欠曝光像素点对周围像素点产生干扰，导致高动态范围（High dynamic range， HDR）图像产生伪影的现象，提出顾及欠曝光的亮度映射HDR图像生成方法。具体步骤为：（1）欠曝光分类。利用L2正则化逻辑非线性回归算法训练出欠曝光像素点的分类器。（2）对图像进行重曝光。非欠曝光区域使用线性拟合得到的亮度映射函数重新曝光，欠曝光区域利用长曝光区域进行补偿。（3）生成HDR图像。利用重曝光后图像的饱和度，对比度，曝光度和亮度信息生成权重图，再加权融合生成HDR图像。实验表明，该方法有效抑制合成图像的伪影，与已有方法相比，在清晰度、颜色协调性、边缘保持以及运行时间上都有较大提高。

关键词： 高动态范围;亮度映射;欠曝光像素点;权重图;伪影抑制

中图分类号： TP391    文献标识码： A    DOI：10.3969/j.issn.1003-6970.2020.02.048

【Abstract】： According to the artifacts in high dynamic range （HDR） images caused by the interference of under-exposed pixels on surrounding pixels during re-exposure process， The HDR Image Generation Method Considering Under-exposed Brightness Mapping is proposed. The Method is as follows： （1） Classification of under-exposed pixels. The L2 regularized logistic regression method is used to train the classifier of under-exposed pixels. （2） Re-exposure of image. The non-underexposed area is re-exposed by the brightness mapping function obtained by linear fitting， and the under-exposed area is compensated by the long exposure area. （3） Generation of HDR image. The information of saturation， contrast， exposure and luminance are used to construct weight maps. The experiment shows that the method can suppress the artifacts of synthetic images and improve image sharpness， color coordination， edge preservation and runtime effectively compared with the existing methods.

【Key words】： High dynamic range （HDR）; Brightness mapping; Unexposed pixel point; Weight graph; Suppression of artifact

0  引言

动态范围是指最大亮度值与最小亮度值的比值，真实场景的动态范围远超过相机能捕获的范  围[1-2]。因此，使用相机进行拍摄时，场景的细节信息丢失严重。HDR图像记录更高动态范围场景的信息，有较丰富的色彩信息、更高的对比度，让捕获到的场景信息更接近真实场景[3]。

HDR图像的获取分为两种，一种是通过恢复相机的响应函数来获得HDR图像，Debevec等人[4]率先提出利用多曝光图像估计相机的响应函数，来重建目标场景的辐照度。Grossberg等人[5]提出利用不同曝光图像的直方图来估计相机的响应函数。都琳等人[6]提出使用PCA标定相机响应函數模型，使用少量的采样点进行插值来获得相机响应函数，该类方法得到的高动态范围图像质量较高，但算法复杂度较高，时间代价高。另一种是避免恢复相机响应函数来生成HDR图像。陈阔等人[7]提出一种快速曝光融合算法。Mertens等人[8]提出基于拉普拉斯金字塔的图像融合算法。张淑芳等人[9]提出采用主成分分析与梯度金字塔的图像融合生成HDR图像算法。RafalMantiuk等人[10]根据HVS模型调整图像亮度值。Wang等人[11]提出基于局部区域调整的伪曝光色调融合方法。该类方法运行时间较短，但颜色易失真，在亮度范围变化较大时容易产生伪影。以上两类方法均存在在运行效率和运行结果精度上达不到平衡的问题。

为了以较高的运行效率实现更高的精度，本文基于第二类方法，采用顾及短曝光图像中欠曝光像素点的分类模型策略来抑制图像融合过程中在亮暗突变区域产生的伪影现象，以较高的效率获取效果更好的HDR图像。首先，使用正则化非线性逻辑回归算法训练出欠曝光像素点的分类器，识别欠曝光区域和非欠曝光区域。并以短曝光图像为基础，使用线性拟合的亮度映射函数对非欠曝光区域进行重新曝光，欠曝光区域使用分区机制进行处理，然后利用重曝光图像的对比度、亮度、曝光度和饱和度信息生成权重图，最后对权重图进行图像融合生成HDR图像，实验结果表明该方法能展现更多真实场景的细节信息，有效抑制明暗亮度变化较大的过渡区域产生的伪影，而且算法较简单，运行时间较短。

1  对欠曝光亮度映射获取HDR图像

利用不同曝光图像序列中的欠曝光区域，进行分区机制处理获得具有相同曝光时间的图像，进行处理得到权值图，加权融合生成HDR图像。具体步骤如下：

（1）图像重曝光。利用欠曝光区域的特征训练分类器进行图像中的欠曝光像素点的检测，再根据像素点之间的相互影响，使用分区机制进行重曝光处理，基本过程如图1（a）所示。

（2）图像融合。利用曝光时间相同的图像，进行处理得到权值图，加权融合生成HDR图像，基本过程如图1（b）所示。

1.1  图像重曝光

1.1.1  亮度映射模型

HDR图像生成需将图像重新曝光。重曝光主要有两种：辐照度重建法与亮度映射法。辐照度重建法利用同场景不同曝光度的低动态范围图像的图像信息推算出像相机响应函数，通过响应函数的逆运算得到辐照度，进行重曝光。亮度映射法通过建立短、长曝光图像的映射关系对图像进行重曝光。为避免相机响应函数的求解，提高算法效率，本文采用亮度映射法对图像进行重曝光。

相机成像原理可用相机响应函数表示[12-15]，相机的曝光量等于辐照度与曝光时间的乘积，则不同曝光图像像素值与相机获得的曝光量之间的关系如下：

1.1.2  顧及欠曝光的图像重曝光

图像分为过曝光区域、曝光良好区域和欠曝光区域[16]。短曝光图像中的欠曝光区域存在信息不足、像素点之间相互影响的问题，导致重曝光的图像在亮暗突变区域易产生伪影现象。为消除亮暗突变区域的伪影现象，本文对短曝光图像中的欠曝光区域进行检测，分区估计处理。

对短曝光图像中的欠曝光区域检测时，提取短曝光图像欠曝光区域的HSV和Lab色彩空间中的颜色特征、修正饱和度特征、亮度特征和边沿邻域特征，采用3*3的邻域窗口提取欠曝光区域训练样本的特征向量并对其进行归一化，利用正则化逻辑非线性回归算法对其训练得到分类器，正则化代价函数为：

图 2（a）、（b）、（c）、（d）分别为陈阔、Mertens、张淑芳、本文方法对Church图像集生成的HDR图像。图 2（a）天窗纹理较清晰，侧窗伪影不明显，但图像整体存在明显的颜色失真问题。图2（b）拥有丰富的色彩和较高的对比度，但在天窗纹理丢失严重，

侧窗伪影严重。图 2（c）天窗纹理细节部分丢失，侧窗存在伪影现象。图 2（d）图像整体具有较好的对比度，不存在颜色失真，天窗保留原有的色彩信息而且细节纹理清晰，侧窗有轻微伪影。

图 3（a）、（b）、（c）、（d）分别为陈阔、Mertens、张淑芳、本文方法对Hotel图像集生成的HDR图像。图3（a）顶窗有轻微伪影现象，窗外树枝信息不清晰。图3（b）颜色更鲜明，失去自然感，顶窗外树枝模糊，伪影严重。图3（c）图像整体泛灰，对比度较低，顶窗外树枝细节信息较模糊。图3（d）拥有更高的对比度和丰富的色彩信息，顶窗外树枝信息细节保留完整且清晰，伪影不明显。

图 4（a）、（b）、（c）、（d）分别为陈阔、Mertens、张淑芳、本文方法对White House图像集生成的HDR图像。图4（a）正门的纹理较清晰，建筑物招牌周围伪影不明显，但中间建筑存在颜色失真问题。图 4（b）对比度较强，但正门细节信息丢失严重，建筑物招牌周围存在伪影现象。由图 4（c）可知，正门细节信息保留完整，但整体颜色偏灰，建筑物招牌伪影现象不明显。图 4（d）正门细节信息保留完整，建筑物招牌伪影不明显，对比度增高，颜色丰富。

由此可知，陈阔的方法在光亮区域部分细节丢失，能够有效抑制伪影，但整体对比度较低，图像整体存在明显的颜色失真问题。Mertens的方法拥有丰富的色彩和较高的对比度，但是在光线较亮的区域细节丢失严重，存在伪影问题。张淑芳的方法在细节保持和伪影抑制问题上相较于Mertens的方法呈现出更好的效果，但存在颜色失真的问题。本文方法有效抑制伪影问题，图像整体具有较好的对比度，细节保留较完整，不存在颜色失真。

2.2  HDR图像的客观评价

根据清晰度[17-20]、颜色协调性[21]和图像边缘信息[22]进行图像客观质量评价，如表1所示。为了进一步说明主观评价与客观评价的一致性，对Church、Hotel、White House三组HDR图像进行均值和标准差分析，如图5所示。

如表1所示，Church、Hotel、White House三組HDR图像结果表明，在清晰度方面，本文方法相较于张淑芳、Mertens、陈阔的方法有较高的值，表明本文方法具有较强的细节保持能力;在颜色协调性方面，本文方法最高，张淑芳次于Mertens，陈阔最低，说明本文方法具有较高的对比度和较丰富的颜色，给人更自然、真实的视觉效果;在图像边缘信息方面，本文方法最高，陈阔次于张淑芳，Mertens最低，说明本文方法边缘信息保留更好，存在的伪影更少。

如图5（a）、（b）所示，在Church图像集中，相较于陈阔、Mertens、张淑芳的方法，本文方法的均值更接近255/2，且标准差较高，生成的HDR图像具有更高的均衡度。在Hotel图像集中，相较于陈阔、Mertens、张淑芳的方法，本文方法生成的HDR图像亮度适中且均匀。在White House图像集中，由于是夜晚场景，整体均值相对较低，本方法有较高标准差，生成的HDR图像具有更多的图像信息。

2.3  运行效率对比

实验使用的电脑为64 bit的操作系统，处理器为Intel（R） Core（TM） i5-4210U CPU @ 1.70 GHz，内存大小为4.00 GB。使用的软件为VS 2013。对以上三组实验在运行时间上进行对比，实验结果见表2。

如表2所示，Mertens使用拉普拉斯金字塔进行图像融合，该方法复杂度较高，运行速度较慢，陈阔和张淑芳的方法复杂度较低，运行速度较快，   本文方法因避免求相机响应函数，能迅速生成HDR图像。

3  结束语

对于图像融合过程中亮暗突变区域存在伪影的问题，本文提出对短曝光图像的欠曝光区域重曝光的分区处理方法，避免求解相机响应函数，训练分类器识别图像欠曝光区域，并在重曝光过程中利用长曝光图像对图像的欠曝光区域进行修正。根据重曝光图像的饱和度，亮度，曝光度和对比度计算权重图，加权融合生成HDR图像。本文方法能够有效抑制图像伪影，生成更均衡化的图像，在清晰度、颜色协调和边缘信息保留上有一定的提高，且方法简便，运行较快。进一步研究将针对动态多曝光图像进行，在该方法基础上寻找有效手段抑制一定范围内的运动导致的HDR图像伪影。

参考文献

李卫中， 易本顺， 邱康， 彭红. 细节保留的多曝光图像融合[J]. 光学精密工程， 2016， 24（09）： 2283-2292.

朱恩弘， 张红英， 吴亚东， 霍永青. 单幅图像的高动态范围图像生成方法[J]. 计算机辅助设计与图形学学报， 2016， 28（10）： 1713-1722.

张淑芳， 刘孟娅， 韩泽欣， 郭志鹏. 基于Retinex增强的单幅LDR图像生成HDR图像方法[J]. 计算机辅助设计与图形学学报， 2018， 30（06）： 1015-1022.

DEBEVEC PE， MALIK J. ＼lRecovering high dynamic range radiance maps from photographs[C]//ACM SIGGRAPH 97， [S.I.]： ACM， 1997： 369-378.

Grossberg M D， Nayar S K. Determining the camera response from images： whatisknowable[J]. Pattern Analysis and Machine Intelligence， IEEE Transaction on， 2003， 25（11）： 1455-1467.

都琳， 孙华燕， 张廷华， 王帅. 基于PCA的相机响应函数模型标定算法[J]. 红外与激光工程， 2016， 45（10）： 251-259.

陈阔， 冯华君， 徐之海， 李奇， 陈跃庭. 细节保持的快速曝光融合[J]. 浙江大学学报（工学版）， 2015， 49（06）： 1048-1054.

Mertens T， Kautz J， van Reeth F. Exposure fusion： a simple andpractical alternative to high dynamic range photo graphy[J]. Computer Graphics Forum， 2009， 28（1）： 161-171.

张淑芳， 丁文鑫， 韩泽欣， 刘孟娅， 郭志鹏. 采用主成分分析与梯度金字塔的高动态范围图像生成方法[J]. 西安交通大学学报， 2018， 52（04）： 150-157.

RafalMantiuk， ScottDaly， LouisKerofsky. Display adaptive tone mapping[J]. ACM Transactions on Graphics （TOG）， 2008， 27（3）.

Wang T H， Chiu C W， Wu W C， et al. Pseudo-multiple- expo-sure-based tone fusion with local region adjustment[J]. IEEE Transactions on Multimedia， 2015， 17（4）： 470-484.

舒妮， 陈孝威. HDRI合成中新的相机响应曲线算法[J]. 计算机工程与设计， 2012， 33（03）： 1032-1036.

顾正晖. 相机响应函数恢复的差分方法[J]. 新型工业化， 2013， 3（01）： 15-22.

张永梅， 田越， 李波. 基于小波变换的自适应图像融合算法[J]. 高技术通讯， 2010， 20（02）： 111-116.

段海滨， 罗松柏， 李昊， 周国哲. 一种基于蚁群聚类的多模板图像边缘融合方法[J]. 高技术通讯， 2009， 19（01）： 45-49.

A. ArdeshirGoshtasby. Fusion of multi-exposure images[J]. Image and Vision Computing， 2005， 23（6）.

张小利， 李雄飞， 李军. 融合图像质量评价指标的相关性分析及性能评估[J]. 自动化学报， 2014， 40（02）： 306-315.

刘哲， 李秀云， 杨子鹏， 董雪. 智能识别视频图像质量分析系统在平安城市的应用[J]. 软件， 2017， 38（08）： 220-225.

曹妍， 陈伟， 徐森. 图像去噪方法研究与仿真[J]. 软件， 2015， 36（4）： 33-36

刘鑫淼， 康朝红， 薛乐乐. 基于ICA的遥感图像去噪融合研究[J]. 软件， 2015， 36（7）： 53-56

金伟其， 贾晓婷， 高绍姝， 马国利， 潘定平， 刘佳妮. 彩色融合图像的质量主观评价[J]. 光学精密工程， 2015， 23（12）： 3465-3471.

高绍姝， 金伟其， 王岭雪， 路陆， 骆媛. 基于颜色协调性的典型场景彩色融合图像颜色质量评价[J]. 北京理工大学学报， 2012， 32（10）： 1054-1060.