基于协同滤波的多尺度色调映射

陈俊，廖海泳

(汕头大学计算机系，广东汕头515063)

基于协同滤波的多尺度色调映射

陈俊，廖海泳

(汕头大学计算机系，广东汕头515063)

高动态范围（HDR）图像是一类包含丰富的图像细节、具有较高明暗对比度、接近真实场景色彩的图像.HDR图像具有广阔的研究前景和实际应用价值.与传统图像相比，这类图像具有很高的动态范围，因而HDR图像在一般显示设备上难以得到比较满意的显示效果.为了克服这一问题，本文提出一个基于协同滤波的多尺度色调映射模型，该模型先利用滤波方法将HDR图像分解为不同细节尺度的图像层，再对各个图像层的动态范围进行不同程度的调整，从而同时达到压缩动态范围和增强细节的效果.实验表明该模型能较好地在一般显示设备重现原场景，具有较好的视觉效果.

协同滤波；高动态范围；块匹配；多尺度色调映射

0 引言

动态范围（Dynamic Range）是指图像或者图像设备所能够表示的信号的最大值与最小值的比值.HDR图像（High Dynamic Range image）一般指测量亮度的最大和最小值的比值超过100 000:1，而传统显示设备的显示亮度的最大值与最小值的比为100:1，即一般的显示器只能显示场景中亮度在1-100（cd/m2）之间的光影效果，超过其显示亮度范围部分会出现细节严重丢失、颜色变化异常、图片很暗或很白等缺陷，无法呈现出真实场景的完整光影效果，故正常显示HDR图像、视频，需要采用特殊的设备.文献[1]中作者指出世界上第一款能够显示高动态范围图像的显示器DR37-P已经问世，但是其耗能大、硬件成本昂贵、技术要求高，这样的硬件设备难以在日常生活中普及.因此不能只从硬件层面上考虑高动态范围图像再现问题，急需从软件层面上解决该难题.将原来高动态范围图像通过某种算法压缩映射到普通显示设备可以接受的对比度范围，同时减少图像在细节、颜色、对比度信息等方面的损失，这一技术称为色调映射（ToneMapping）或色阶重建（Tone Reproduction）技术[2].本文提出的色调映射算法是基于协同滤波的多尺度分层思想的新方法.将高动态范围的亮度图像分解为多个尺度图像：一个大尺度基础层和若干小尺度细节层，接着对各个图像层进行不同的处理实现动态范围的压缩，然后运用各层信息来重构成新图像.实验结果表明该方法可以有效压缩高动态范围图像，能够满足普通设备的显示要求，并且很好地保持了原场景的对比度和颜色信息.

1 高动态范围图像的显示

高动态范围图像的正常再现需求使色调映射的研究成为一种趋势.近年来，相关学者对有关色调映射的算子做出了比较深入的研究，色调映射可以分为全局算子和局部算子两大类：全局映射算子对图像中的每个像素点应用相同的函数（曲线）映射，其优点在于操作简单、计算速度快、能够保持良好的整体明暗效果，但是全局映射一般会造成细节、色彩、明暗度信息的严重丢失.Ward[3]提出的直方图调整的算法、Tumblin[4]提出的基于非线性映射的算法、Drago[5]提出的基于自适应对数算法都是全局算法；而局部映射算子对图像的不同区域选用不同的算子运算进行映射，导致图像中不同位置上具有相同值的像素点可能会被映射到不同的值，相对于全局映射方法，计算量大，但图像的对比度保持较好.Chiu[6]提出的基于人眼感知特点构造缩放函数方法、Fattal[7]提出了基于梯度域的局部映射算法、Tumblim[8]提出的基于低曲率图像简化（Low Curvature lmage Simplifier，LCIS）的细节保持算法等都是局部映射算法.

本文提出的局部色调映射方法的基本原理是：首先对原图像的亮度值采用协同滤波进行多尺度图像分层，然后对每个图像层进行相应的幂次变换，并合成所有图像层，最后根据原图像的颜色通道，从结果亮度图像恢复出最终的低动态范围的彩色图像.整个算法流程如图1.

图1 本文算法处理流程

2 多尺度色调映射

用函数f（p）表示HDR图像在像素位置p处的亮度值，根据成像模型[9]，f（p）可分解为：

其中函数i（p）和r（p）分别为光照分量（或称入射分量）和反射分量，也就是说原图像可以看成是由光照分量i（p）和反射分量r（p）的合成.通过对光照分量和反射分量的研究可知：光照分量在空间上通常具有缓慢变化的性质，故光照分量频谱集中在低频段，光照分量虽然变换缓慢，但在整个场景中变化幅度可能比较大，这使图像灰度动态范围很宽；而反射分量往往能够反映图像的细节内容，在图像的局部区域可以有丰富的变化，故反射分量频谱往往集中在高频段.由于反射分量往往包含很多细节，故又称为细节函数，其特点是大尺度的灰度变化较少.故可以通过压缩光照分量，增强反射分量，达到压缩图像动态范围，同时增强图像细节的目的.

受文献［10］算法启发，本文直接对成像模型进行拓展，通过滤波算法将原图像分解成具有不同尺度的图像层，然后压缩基础层（对应于成像模型中的光照分量），同时增强不同尺度的细节层（对应于成像模型中的反射分量），从而在调整图像动态范围的同时较好地保持原图像的细节信息.与文献［10］不同的是，本文提出一个基于多尺度分解的色调映射模型，也就是先将原图像分解成具有不同尺度的图像层：

其中，in（p）为图像基础层，rt（p），t=1，2，3，…，n表示第t次分解后的不同尺度的图像细节层.第t+1次分解的图像细节层rt+1（p）是对第t次分解中的图像基础层it（p）进行分解而来，即it（p）=it+1（p）rt+1（p）.接着进行动态范围压缩或扩大不同的图像层来重建图像f′（p）：

式（3）表示多尺度色调映射模型，系数cn+1，cn，…，c1是一组待确定的常数，称为压缩权值，通过这些权值对不同的图像层进行动态范围压缩或者扩大，根据实际需要调整它们的值.

下文为了简单起见，只考虑一次分解，上述多尺度色调映射模型可简化为：

根据幂次变换S（t）=mtα（其中m和α为正常数，t表示图像的像素灰度值）函数特性分析知：当α＞1时，将宽带输入暗值映射到窄带输出值，而将窄带输入亮值映射到宽带输出值；α＜1时，将窄带输入暗值映射到宽带输出，将宽带输入亮值映射到窄带输出值；当α=1时，即为线性变换.本文基于幂次变换函数的特点根据数值实验确定ci的具体取值，从而得到基于不同尺度压缩后的重构图像.由于要压缩图像基础层i（p）的动态范围，同时适当增强图像细节层r（p）的动态范围，一般来说c1的取值大于1，而c2取值范围在0和1之间，这样可以使得图像整体灰度范围被压缩，而对比度增强.根据实验结果发现，一般c1=1.25，c2=0.65可以取得较好的效果.

本文对原图像HDR图像的亮度分量采用协同滤波进行分解，先利用协同滤波方法估计基础层i（p），然后由式（5）计算出细节层r（p）：

下文将对协同滤波做简单的介绍.

3 协同滤波

本文算法中采用的协同滤波方法和BM3D（Block Matching 3-D）[11-12]算法在本质上是一样的，但是在具体实现中本文算法只采用了一次滤波，这样可以大大提高计算速度，减少计算时间.

BM3D算法是一种新的图像去除噪声算法，核心思想是根据块匹配找出具有相似特征的块，然后组合成3维数组，接着在变换域进行滤波.由于块之间可能存在重叠，每个像素点也就有一个或者多个估计值，对于具有多个估计值的像素点用加权平均法计算出每个像素点的最后估计值.根据上述基本原理，本文算法中的协同滤波需要经过块匹配分组、滤波、聚集三个基本步骤，算法流程如图2，下面分别简单介绍各个基本步骤.

图2 本文算法中的协同滤波流程

3.1 匹配分组

以像素点pr为左上角坐标点从原图像中划分出一个固定大小N×N的块为当前参考块Lpr，在像素点pr邻域内以步长l搜索所有N×N图像块.根据块间的相似性，找出与当前参考块相匹配的块，块间的相似性通过某种距离来度量，本文中块间距离计算如下：

其中Spr表示与当前参考块Lpr相匹配的块的左上角坐标点的集合，R表示图像像素点的集合，Γmatch是搜索过程中的距离阈值，它是一个预先设定的非负值.根据已搜索到的匹配块集合Spr，按照当前参考块Lpr与匹配块Lpi之间距离d（Lpr，Lpi）大小排列成N×N×|Spr|的3维数组ZSpr .

3.2 滤波

先对3维数组ZSpr进行正交变换，然后对变换后的数组进行相关滤波操作，最后进行逆3维正交变换得到组中每一个图像块的估计值.该滤波过程被描述为：

其中T3D表示3维正交变换，表示逆3维正交变换，Fopt表示滤波算子，上标opt表示所选择的滤波方法.

3.3 聚集

由于不同参考块之间可能存在重叠部分，参考块的匹配集合之间也存在重叠，某些像素点至少被估计了两次，这些估计值有可能是不相同的.因此，为了得到对真实图像中像素点的估计，本文对这些重叠的估计进行一个加权平均，这一过程称为“聚集”.

本文使用下面的公式（9）对重叠的估计进行加权平均：

其中Wpr为加权函数，具体见文献［13］.表示被估计图像块在位置p的值.χpi（p）是图像块的特征函数在p处的值.表示图像在位置p的最终估计值.

4 实验结果与分析

本文采用的硬件设备为：Core（TM）i3-2350，@2.30 GHz双核处理器，AMD Radeon HD 7450 M显卡，6 G内存.由于篇幅所限，本文只选取了2幅具有代表性的高动态范围图片Memorial和Oxford Church进行测试，分别用文献［13］提供的算法和本文描述的算法对HDR图像进行处理，原图及其处理后的效果如图3、图4所示.其中，文献［13］是在分层模型的基础上采用基于WLS（加权最小二乘法）的边缘保持技术，压缩对比度，取得了较好的效果，很具有代表性.

图3 原始HDR图像

图4 采用文献［13］和本文算法处理后和图像

实验结果表明，本文算法与WLS边缘保持算法相比[13]，有各自的优势.在两种方法中，对于基础层均选用相同的压缩权值，本文算法对于细节层的压缩权值选用1.25，而基于WLS边缘保持算法由于保持反射层信息不变，这相当于选用1.0.比较图4（a1）、（a2），图4（a1）屋顶上小圆形天窗的线条有少许模糊的现象，第二扇窗户上半部分的图案呈泛白现象，而图4（a2）左侧天花板上的纹理线条看不清，图4（a1）的整体颜色对比度优于图4（a2）；图4（b1）和（b2）相比给人的视觉效果相差不大.本文还比较两个算法的处理速度，选取的图片和处理时间比较结果如表1，对比发现本文算法的时间复杂度在整体上优于文献[13]提出的算法，并且处理较大分辨率图片更明显.因为基于WLS边缘保持算法[13]需要求解一个大型的线性方程组，而本文方法不受这方面的条件限制.

表1 WLS算法和本文算法计算时间对比

5 结束语

近年来高动态范围图像显示广泛引起人们的重视，许多学者对其做出了研究，也提出了不少新的算法，取得了显著的效果.本文的算法中的创新点是对原图像进行多尺度分解，然后压缩或者扩大不同图像层的动态范围.本文算法通过调整每个图像层的压缩权值，达到压缩图像灰度的动态范围、增强图像对比度的目的，保持了算法的灵活性.然而压缩权值可以灵活变动也带来了一定的弊端，本文算法根据数值实验来设置最佳压缩参数，所设参数适合大部分图像，对于小部分图像可能不能取得较好的压缩效果，后期研究将考虑如果根据HDR图像本身特点自适应地选择合适压缩参数，提高算法的适用性.另外，从时间复杂度来看，本算法更适用于处理高分辨率的HDR图像.

[1]吴挺.让世界变得更精彩，世界首款HDR显示器探秘[J].电脑自做，2006（1）：122-127.

[2]Banterle F，Artusi A，Debattista K，et al.Advanced high dynamic range imaging：theory and practice[M].Natick MA：CRC Press，2011.

[3]Larson G W，Rushmeier H，Piatko C.A visibility matching tone reproduction operator for high dynamic range scenes[J].IEEE Transactions on Visualizaion and Computer Graphics，1997，3（4）：291-306.

[4]Tumblin J，Rushmeier H.Tone reproduction for realistic images[J].IEEE Computer Graphics and Applications，1993，13（6）：42-48.

[5]Drago F，Myszkowski K，Annen T，et al.Adaptive logarithmic mapping for displaying high contrast scenes[J].Computer Graphics Forum，2003，22（3）：419-426.

[6]Chiu K，Herf M，Shirley P，et al.Spatially non uniform scaling function for high contrast images [J].Proceedings of Graphic Interface，1993，（93）：244-245.

[7]Fattal R，Lischinski D，Werman M.Gradient domain high dynamic range compression[J].ACM Transactions on Graphics，2002，21（3）：249-256.

[8]Tumblim J，Turk G.LCIS：a boundary hierarchy for detail-preserving contrast reduction[C]// Proceedings of Siggraph，Los Angeles：CA，USA，1999：83-90.

[9]Gonzalez R C.Digital image processing[M].2nd Edition.New Jersey：Addison-Wesley publishing Company，2002：50-51.

[10]芦碧波，李祎.基于非局部均值的多尺度色调映射[J].计算机工程与应用，2013，49（16）：162-164.

[11]李政，刘文江，戎蒙恬，等.BM3D视频去噪算法实现与评估[J].信息技术，2012（4）：30-31.

[12]Dabov K，Foi A，Katkovnik V，et al.Image denoising by sparse 3D transform-domain collaborative filtering[J].IEEE Transactions on Image Processing.2007，16（8）：2080-2095.

[13]Farbman Z，Fattal R，Lischinski D，et al.Edge-preserving decompositions for multi-scale tone and detail manipulation[J].ACM Transactions on Graphics（TOG），2008，27（3）：1-10.

M ulti-Scale Tone M apping Using Collaborative Filtering

CHEN Jun，LIAO Haiyong
（Department of Computer Science，Shantou University，Shantou 515063，Guangdong，China）

High dynamic range（HDR）images are special kind of images，which have abundant details，high contrast and high fidelity of original scene.HDR images have a lot of applications.HDR image display and capture are hot research topics in image processing.Compared with traditional digital images，HDR images have a wide dynamic range，and they are hard to represent on traditional display devices satisfactorily.In order to overcome this problem，a multi-scale tone mapping model based on collaborative filtering is proposed.This model uses collaborative filtering technique to decompose original HDR image into different image layers with different detail-scale，then adjust dynamic range on each image layer and reconstruct original scene.Experimental results show this model can satisfactorily represent original scenes on traditional display device.

collaborative filtering；high dynamic range；block matching；multi-scale tone mapping

TP 751

A

1001-4217（2015）01-0064-07

2014-04-25

陈俊（1989-），男，硕士研究生，研究方向：图像处理、数据挖掘.E-mail：14jchen2@stu.edu.cn.

汕头大学科研启动基金资助项目（NTF12009）；汕头大学学术创新团队建设项目（ITC12001）；广东省高校工程技术研究中心（GCZX-A1306）