一种基于LCD-LED双调制显示器的HDR图像显示方法

王 骁， 苏寒松， 李昌禄

(天津大学 电气自动化与信息工程学院，天津 300072)

1 引 言

高动态范围(High Dynamic Range, HDR)图像对比标准态范围 (Standard Dynamic Range，SDR) 图像，可以提供更多的动态范围和图像细节。HDR图像的存储格式不同于SDR图像，OpenExr格式[1]是HDR图像主流存储格式，像素点的RGB通道各自为16位浮点数，数值与真实世界的亮度是线性对应，HDR格式图像无法直接在8 bit显示器上显示。目前有两种HDR图像的显示方式。一是采用色调映射算法[2]将HDR图像的动态范围进行适当的压缩，使之能够在低动态范围的液晶显示设备上显示，但是色调映射压缩后的HDR图像会丢失大量的细节信息，无法真实地再现HDR图像信息。二是直接用支持HDR图像显示的HDR显示设备[3]进行显示。

目前显示设备一般采用液晶(Liquid Crystal, LC)或有机发光二极管(Organic Light Emitting Diode, OLED)面板。由于量子点技术的出现，LCD显示器相比OLED，在大尺寸高动态显示器研发中更有优势[4-5]。HDR显示设备通常实现的结构是LCD-LED双调制结构该结构的HDR显示设备的动态范围为液晶面板和背光模组的乘积[6]，但其LED背光模组的分辨率比LCD分辨率的小，若图像的亮度变化频率超出了LED背光模组地分辨率，LCD透射率调节像素的亮度能力会受到LED背光亮度的限制，即在图像高亮区域附近会出现“光晕”现象；在图像暗区附近会出现因背光亮度过低出现图像亮度“截断”现象。

使用LCD-LED双调制结构的显示器显示HDR图像需要使用区域动态调光算法，近年来，研究人员已经提出了多种区域动态调光方法[6-12]，例如平均值法、最大值法、反映射函数法、查表法和IMF法等，然而这些算法处理的图像是可以直接在LCD屏幕上显示的SDR图像，目的是降低功耗和提升图像显示对比度，并没有考虑HDR图像的显示问题。8 bit的LCD面板上显示无法直接显示HDR图像，如何配合LED背光模组将其转化为LCD可显示的SDR图像，这些算法[6-12]没有进行讨论。若将上述算法应用于HDR图像处理，需要对算法进行改进。

目前为止，针对HDR图像的区域调光算法并不多[13]，显示HDR图像需要依据HDR图像内容自主生成LCD图像和LED背光亮度。Seetzen 等[3]首次提出LCD-LED双调制结构实现高动态显示器的方案，并首次给出了HDR图像显示算法：首先，HDR图像经HSV变换获得图像的亮度分量，亮度分量开平方并下采样得到背光区域目标亮度；然后，使用高斯-赛德尔迭代方法解方程估计出LED实际亮度值；接下来，用高斯函数模拟LED的光扩散函数(Point Spread Function, PSF)与LED亮度值卷积并放大到LCD的分辨率得到背光亮度图；最后用HDR图像亮度除以背光亮度图，得到LCD面板的显示图像。Narwaria 等人[13]沿用上述算法的思路，对算法进行了优化：选择RGB最大值作为图像的亮度分量；LED背光亮度图由将LED背光亮度图改为由HDR图像亮度的α次幂得到，其中α的数值为0～1；使用背光LED的调制光亮度与LED光扩散函数(PSF)模拟LED背光亮度，使用迭代的方式逐步调整LED的调制光亮度，降低LED目标亮度于LED背光亮度的差。

然而上述算法在确定LED亮度步骤中，直接对图像下采样得到LED的目标亮度，没有考虑显示器背光模组的参数。显示器背光模组无法准确地显示LED目标亮度图，容易造成由于LED亮度与LCD透射率不匹配而形成的“光晕”和亮度“截断”效应。针对此问题，本文提出了一种基于HDR图像在LCD-LED双调制HDR显示器上的显示方法，旨在使显示器达到HDR图像要求的亮度。处理图像之前，先根据显示器的背光参数，确定HDR亮度与LED取值范围的关系，然后计算LED亮度。此方法得到的LED亮度值和LCD图像，可以有效降低“光晕”和亮度截断效应，更真实地还原HDR图像。

2 本文算法

本文提出的算法整体流程如图1所示。首先建立HDR图像亮度与LED亮度范围对应关系，使用光扩散函数作为背光LED亮度取值范围的权重。然后，累加LED的亮度辐射区域内不同LED发光强度等级的权重，取权重最大者作为该背光LED亮度。最后，利用依据LED亮度生成的LED背光扩散图像与HDR图像计算出LCD显示图像。

2.1 确定LED亮度范围

使用LCD-LED双调制结构显示HDR图像，需要对HDR图像进行预处理：从RGB空间转换至HSV空间，分离HDR图像的亮度和色度信息，避免图像亮度分解对色度信息的影响。接下来，将图像的亮度V线性量化到0～65 535的范围内，匹配HDR图像亮度最大值与显示器显示亮度的最大值，最大化利用显示器动态范围，同时避免原图数据出现上溢和下溢失真现象。

图1 本文提出的算法流程图Fig.1 Flow chart of proposed algorithm

LCD-LED双调制结构的显示器的显示亮度等于LED背光亮度与LCD透射率的乘积，同一亮度值可以有多种LED亮度与LCD透射率的组合方式，如图2所示。

图2 亮度的分解方式梯度图Fig.2 Gradient map of luminance resolution

其中横坐标和纵坐标分别表示LCD透射率和LED的亮度，图中的曲线对应HDR图像的亮度值。从图中可以看出，随着HDR图像亮度的增大，LED亮度与LCD透射率的调整范围逐渐减小。同时，因为LCD决定图像的亮度细节和颜色，显示HDR图像的亮度时，应尽量增加LCD透射率，降低LED的亮度。若LCD透射率过低，颜色的饱和度也会相应下降，同时LCD“漏光”现象凸显，降低显示效果。所以当图像亮度较低时，应限制LED亮度的最大值。基于上述约束关系，确定HDR图像亮度与LED亮度取值范围的关系，如图3所示。

图3 HDR图像亮度对应LED亮度调制范围Fig.3 HDR image brightness corresponding to LED brightness modulation range

图3中，纵坐标为LED的亮度值等级0～255，横坐标为HDR图像像素的亮度等级0～65 535，每个HDR图像像素的亮度等级都对应一组背光LED亮度的最大值和最小值。红线是随图像亮度变化的LED最大值曲线，蓝线为LED最小值曲线。LED最小值是满足HDR图像亮度要求LED的最小亮度值，即LCD透射率达到最大值(RGB最大值为255)时的LED亮度等级，由公式(1)确定：

(1)

其中：Lmin为LED亮度范围的最小值；X表示原图的亮度，取值范围为0～65 535。LED亮度的最大值由公式(2)确定：

(2)

其中：Lmax为LED亮度范围的最大值；X表示原图的亮度，取值范围为0～65 535；γ为LCD显示器的特征参数，取值范围为0～1。特征参数γ由LCD面板的滤光特性决定。若LCD面板的漏光现象明显，则γ值越趋近1，对应LED的调整范围越窄。若显示器“漏光”现象凸显可适当调高γ值。经多次实验验证，γ取0.2时显示效果最好。

2.2 确定背光LED亮度

背光LED的亮度由该LED辐射区域的图像内容确定。遍历区域内像素，找到可以满足对应LED辐射范围内图像的最多像素达到HDR图像亮度要求的LED亮度，作为该区域背光LED的调制亮度。LED亮度的计算方法步骤如下：遍历LED亮度辐射区域M的像素点，找到该像素对应LED的最大值和最小值，并依据该像素到LED的距离算出对LED亮度等级影响权重。最后累加区域内像素的LED亮度影响权重，找到累加和的最大值，最大值对应的亮度为LED的调制亮度。

2.2.1 计算像素的LED亮度权重

LED计算区域M要由LED亮度辐射区域确定，但背光LED的光源辐射区域与LED背光的排列分布不能做到完全一致。不能仅依据LED空间位置直接切割图像，这样做不同LED的计算区域M会出现重叠，为此将光扩散函数(PSF)作为LED亮度范围的权重抵消因区域重叠导致像素重复计算的影响。

使用一个长度为256的数组Apixel表示像素的LED亮度的影响权重，其下标0～255对应LED的亮度等级。该数组表示该像素点对于LED不同亮度的权重。数组Apixel的值由公式(3)确定：

(3)

其中：L为该像素的亮度值;Lmin和Lmax表示亮度为L时，LED亮度范围的最小值和最大值，由公式(1)和(2)确定；数组下标位于最大值和最小值之间的数值为α，其余数值为0。α是关于该像素到LED计算区域M中心距离的函数，表示影响LED取值范围的权重值，见公式(4)：

α=exp〔-D2(i,j)/σ2〕

(4)

其中：D(i,j)为该像素距LED计算区域M中心的欧式距离；σ为模拟光扩散系数。α代表该像素对LED取值范围的影响权重。因为像素距其对应LED的D(i,j)的增加必然会有附近LED的D(i,j)减小，该像素对LED亮度的影响权重α下降的同时，会提高对附近LED亮度的影响权重α。总体上看，像素的影响权重α与光扩散函数(PSF)和LED空间分布有关，该像素的影响权重并没有减弱。在算法实现过程中，α的大小与图像内容无关，仅依赖LED光扩散函数(PSF)。在程序实现时，可以利用查表的方式加速计算速度。若背光LED之间光串扰影响不大，α直接为1可简化计算，对处理的结果影响不大。

2.2.2 计算LED调制亮度

建立一个数组ALed作为投票箱，数组ALed初值为0，长度为256，其下标与LED亮度等级0～255对应，用来记录不同亮度等级可以正确显示像素亮度的能力。将LED亮度辐射区域M中的像素的LED亮度权重Apixel加到ALed中，如公式(5)：

(5)

其中：L(i,j)为区域M内像素的亮度；ALed记录区域M内像素对不同LED等级的影响权重的累加和，ALed的最大值代表该LED亮度等级的权重最大，表明在此区域M内使用该亮度等级显示HDR图像的效果最好。如果数组中有多个值同时达到最大，取这些值的平均值为LED的目标背光值。这样可兼顾各像素点的亮度，使得整个区域像素点的LCD的亮度调整能力达到最大，见公式(6)。

BL=find(ALed=
Max(ALed),1,′mean′)

(6)

2.3 LCD面板显示图像计算方法

得到LED亮度矩阵后驱动LED背光模组，在LCD面板后背光扩散图像。生成LCD液晶面板图像可分为两步：利用LED亮度生成背光亮度图像;生成LCD液晶面板图像。

2.3.1 生成背光亮度图像

为了生成LCD液晶面板图像，需要将LED背光亮度图和LC面板显示图像的分辨率调整一致。目前的主流方法是依据LED背光模组的光学特性建立背光LED光扩散函数(Point spread function, PSF)，利用光扩散函数将LED亮度阵列延展为与LC面板分辨率一致的背光亮度图。对于不同的显示器，需要根据显示器的背光光学特性进行建模，得到LC面板各个像素对应的背光亮度。能否正确生成LED亮度对LCD面板各个像素对应的背光亮度，直接影响着图像最终的显示效果。

使用LED亮度矩阵与光扩散函数(PSF)卷积是产生与LCD分辨率一致的LED背光扩散图像的普遍方式，但随着背光LED数量增多和LCD分辨率提高，算法复杂度明显上升。Liao等[15]提出了一种应用于分区背光的模糊-扩散法，旨在降低算法复杂度。该方法的基本原理是使用一个低通滤波器模板对背光数据进行模糊处理，然后对其插值扩大，如此重复对此获取与图像数据大小一致的光强分布矩阵，以此对液晶像素进行调整。本文参考该算法的实现方式，针对自主开发的LCD-LED双调制高动态显示器[16]，对算法的参数和步骤进行调整。实验使用的显示器的LCD分辨率为1 920×3 840，背光单元共36×66个。平均每个LED对应约60×60个像素点，用柯尼卡-美能达亮度计CS-150测出单个LED的亮度对周边LED对应区域的亮度。进行归一化调整后，得到实际测量7×7的光扩散矩阵C。将36×66的LED亮度矩阵L最邻近放大两倍后与光扩散矩阵C卷积，重复这个步骤5次得到1 152×2 112分辨率亮度图。最后，使用双边线性插值方式将LED背光阵列L放大到LCD面板分辨率相同的尺寸4K分辨率。算法流程如图4所示。

图4 光扩散函数建模流程图Fig.4 LED brightness range corresponding to pixel brightness

2.3.2 生成LCD液晶面板图像

由于LED亮度图分辨率低，背光的亮度图像无法还原空间上细微的亮度差异。与此同时，颜色信息需要LCD进行调制，若LCD透射率过低，颜色的差异没有办法表达出来。使用HDR图像除以LED亮度图得到的LCD亮度图在亮暗变化强烈的地方会存在亮度失真现象。本文将HDR图像V分量的开方作为补偿项，使用HDR图像对LCD图像进行了补偿矫正，见公式(7)：

(7)

其中：VHDR是原HDR图像HSV空间中的亮度V分量，VLCD为LCD显示图像的HSV空间中的亮度V分量，VLED为LED背光单元模拟扩散的背光亮度分量，k是比例系数，二者之和为1，针对本实验环境，k为0.8时显示效果最好。最后，将LCD显示图像的亮度VLCD与HSV空间的色度信息重新组成彩色图像，还原成LCD显示的RGB图像。

3 算法评价及分析

为了评估本文算法性能，我们对该算法进行了软件仿真以及硬件测试。为了进一步说明该算法用于双调制LCD-LED显示器所达到的效果，本文选择了6幅exr格式的HDR图像作为测试图像。

图5和图6分别给出了本文提出的算法生成的背光LED亮度图像和LCD显示图像。测试图像包含室内强弱光对比明显的颜色板图像，图5(a)；前景与远景亮度差异明显的日出图像，图5(b)(c)(d)；暗场景的森林图像，图5(e)；强光下的建筑图像，图5(f)。

目前为止，处理显示HDR图像的显示器并不多，为了评估本文算法的性能，使用Seetzen 等[3]的算法(Matlab HDR Toolbox[13]中的HDR Monitor Driver程序实现)、Narwaria等[14]的改进算法作为对照算法，与本文提出的算法进行比较。

图5 6幅测试图像的LCD显示图像。(a)测试图1；(b)瑞士日落；(c)马蹄潮；(d)白塔1；(e)花园；(f)克诺斯4。Fig.5 LCD display image of 6 test images.(a)Test chat1; (b)Swiss sunset; (c)Horseshoe lake; (d)Stone tower 1; (e)Gardn; (f)Knossos 4.

图6 6组测试图像的LED背光亮度(a)测试图1；(b)瑞士日落；(c)马蹄潮；(d)白塔1；(e)花园；(f)克诺斯4。Fig.6 LCD display image of 6 test images.(a)Test chat1; (b)Swiss sunset; (c)Horseshoe lake; (d)Stone tower 1; (e)Gardn; (f)Knossos 4.

3.1 亮度失真评价

首先，将原HDR图像转换为HSV空间，然后将原图的亮度V，LCD面板的透射率TLCD和LED的亮度VLED归一化，计算出显示器亮度失真系数，即显示亮度与原图亮度的平均离差平方和，如公式(8)所示。

(8)

其中：M、N分别为图像行数和列数，V(i,j)表示在(i,j)位置上HDR图像的亮度，TLCD(i,j)为表示在(i,j)位置上LCD显示图像的透射率，VLED(i,j)表示在(i,j)位置上背光的亮度。这里DV表示LC-LED双调制显示器的显示图像和原HDR图像的亮度的接近程度，数值越低说明LC-LED双调制显示器对HDR图像的还原度越高。

如表1所示，在还原HDR图像亮度方面，该算法可以显示器亮度失真系数低至0.006以下。与文献[3]算法相比有明显提升，文献[3]算法在RGB空间进行HDR图像处理，HDR原图除以经高斯滤波的LED亮度层后，很容易出现RGB取值溢出现象。溢出后的值将转化为亮度一致的白色像素。文献[14]算法与本文提出的算法均在HSV空间下处理图像。文献[14]算法沿用文献[3]算法的思路，采用HDR亮度分层的方式确定LED背光模组的目标亮度图，然后用LED亮度与逐步逼近LED目标亮度图。本文采用的方式对于每个LED亮度独立确定其亮度，局部表现力更强。亮度失真指数除图像(a)以外，略高于文献[14]算法。

表1 HDR显示器亮度失真指数Tab.1 Brightness distortion index of the HDR Display

表2 HDR显示器色彩失真指数Tab.2 Color distortion index of the HDR display

3.2 颜色失真评价

首先将原图和LC面板显示图像转换为HSV空间，然后计算LC面板显示图与原图的色调H和饱和度S的平均离差平方和，并将二者相加。如公式(9)所示。其中，M、N分别为图像行数和列数，H(i,j)和S(i,j)分别表示在(i,j)位置上HDR图像的色调和饱和度，HLCD(i,j)和SLCD(i,j)表示在(i,j)位置上LCD显示图像的色调和饱和度。这里DC表示LCD-LED双调制显示器的显示图像和原HDR图像的色度的接近程度，数值越低说明LCD-LED双调制显示器对HDR图像的色度还原度越高。

(9)

从表2可以看出，在还原HDR图像色度方面本文提出的方法与参照方法相比，3种算法的色彩失真指数都在同一数量级内，文献[14]算法的颜色失真指数最高，本为提出的算法次之，文献[3]算法最低。分析原因，LCD显示图像的亮度越高，其颜色的表现力越强。文献[3]算法处理后的LCD显示图像亮度最高，文献[14]算法在HSV空间下处理HDR图像，有效降低了高亮度图像区域的亮度溢出现象，但降低了LCD显示图像的整体亮度。本文兼顾了亮度溢出失真和颜色表现效果，这点在色彩失真指数有所体现。

3.3 样机测试

图7 HDR显示器背光模组Fig.7 Backlight module of the HDR display

本文算法测试和验证实验都是在自主研发的双调制LCD-LED显示器[15]上进行的。该显示器是在长虹U501显示器基础上改造完成的高动态显示器，重新设计了背光模组，如图7所示。

其背光模组采用的是白光LED分区背光，共划分为36×66个分区，LED驱动器的调光分辨率为8 bit，具体参数如表3所示。

图8为使用双调制LCD-LED高动态显示器显示6幅HDR图像使用参考算法[14]与本文提出的算法显示效果对比图。

亮度失真指数与色彩失真指数可以反映出图像整体与HDR图像的差异，但是具体的现实效果，人眼的主观评价更为准确。对于高动态显示器，拍摄的图像不能直观反映显示器的实际亮度，

表3LCD-LED双调制显示器参数

Tab.3 Parameters of the LCD-LED dual modulation HDR display

参数名称数据背光模组36×66 LEDs分辨率1 920×3 840液晶材质MVA最大亮度1 200 cd/m2最小亮度< 0.02 cd/m2

但可以看出同一幅图像不同区域的亮度和颜色差异。从显示效果来看，本文提出的算法图像的层次感更丰富，对于细节的表现力更强。从图8可以看出，应用本文提出的算法，对于图像亮度的细节信息保留的更好，图像层次感更丰富。采用文献[3]算法所显示的图像则整体偏亮，由于亮度过高导致图像高亮部分的饱和度下降。采用文献[14]算法将图像转换到HSV空间后使用幂律分离LCD亮度层和LED背光亮度层的方式，提高了颜色饱和度，但降低了LCD图像亮度的层次感。

(f)

图8 6副HDR显示器显示的测试图像.本文提出的算法(左),Seetzen等[3]的算法(中),Narwaria等[14]的算法(右)。

Fig.8 Six test images displayed on the HDR display. The algorithm by this paper (left), the algorithm by Seetzenetal[3](middle), the algorithm by Narwariaetal[14](right).

4 结 论

本文针对LCD-LED双调制显示器，提出了一种HDR图像显示算法。算法首先利用LED对应区域各像素点亮度LED的取值范围，确定背光LED 的亮度，然后依据LED亮度和背光扩散函数得到LCD显示图像，最终在LCD-LED双调制显示器上真实地显示HDR。并对6幅HDR图像进行仿真实验和样机测试，结果表明，该算法可以使显示器亮度失真指数低至0.006以下。该算法能有效地抑制“光晕”现象和亮度“截断”现象，提高图像的显示效果。该算法在LCD-LED双调制高动态显示器上实验验证，能有效提高图像的层次感。该算法的LED亮度的确定方式简单，可以在同类型HDR显示器显示HDR可以进行推广。该算法可以采用分布式处理方式，便于硬件实现和算法优化。