一种改进的单幅图像散焦模糊去反射算法

黎秀玉，夏海英，宋树祥

(广西师范大学电子工程学院，广西桂林541004)



一种改进的单幅图像散焦模糊去反射算法

黎秀玉，夏海英，宋树祥

(广西师范大学电子工程学院，广西桂林541004)

单幅图像去反射是计算机视觉领域中一个非常有意义的课题。针对单幅图像散焦模糊去反射算法不能有效地去除某些局部区域内不满足梯度相对平滑假设的反射光问题，本文提出一种改进的基于单幅图像散焦模糊去反射算法，通过引入一种修正机制，从而克服原算法在处理这些区域所产生的色彩失真。通过对自然场景下和人工合成带有反射光图像进行测试，实验结果表明，与单幅图像散焦模糊去反射算法相比，改进后的算法去反射效果更好，增强了原去反射算法的鲁棒性。

相对平滑；去反射；修正机制；散焦模糊

0 引言

物体的反射是现实生活中一种常见的现象，由于其反射作用会导致户外视频系统捕获的图像颜色和对比度严重退化，妨碍图像后续处理的基本信息提取，极大地限制和影响了户外视频系统的功能，例如：视频监控系统、目标跟踪、无人机侦查、高速公路视觉监视系统等，其对图像分割、识别和匹配等也会产生重要影响。因此，如何降低或去除反射对图像的影响成为计算机视觉领域的研究热点。

目前，对于图像的去反射算法主要分为三大类[1]：第一类是基于极化分析方法去反射；第二类是基于多幅图像去反射；第三类是基于单幅图像去反射。Nayar等[2]通过极化过滤器调出同一场景的最大和最小极化角度，运用极化信息和颜色信息来去除图像中的高光。Sato和Klinker[3]在同一个移动光源的照射下获得一系列的图像，通过分析图像序列的颜色来估计反射光。Yang等[4]通过在同一光源下不同位置采集相同场景的多幅图像，并且假设采集的图像的光源色度是一致的，以此来估计光源色度和去除图像中的高光。这些方法都取得了较好的效果，但是这些算法都需要多幅图像，在很多的情况下很难获取同一场景的多幅图像，极大地限制了它们的应用范围。

为此，研究者们提出了单幅图像去反射方法，更加符合实际应用。如Levin和Weiss利用梯度信息来检测和人工标记反射区域[5]。Jia等[6]利用颜色信息对高光进行检测，并采用全变分对图像进行修补的方法去反射。王祎墦等[7]在亮度空间应用显著性模型来实现高光区域的自动检测和标记，综合利用图像的邻域和边缘信息，对标记的高光区域进行自适应修复，去除图像中的高光。孙欣欣等[8]提出了最佳分析窗口的概念，在最佳分析窗口的基础上，分析窗口中像素的亮度、色彩及位置信息组成五维特征向量，从而估计出全局漫反射色度，并以此检测图像中的高光像素，实现对高光的去除。Shen等[9]利用亮度比例和色度空间的聚类方法来实现去反射。卢桂荣等[10]利用最大漫反射色度存在着局部平滑这一性质，使用双边滤波器对色度的最大取值进行传播与扩散，从而完成整幅图像高光去除。马吉权等[11]提出了一种利用表面形态分布信息检测图像高光的方法。但这些算法比较复杂且计算量大。

Li提出了一种单幅图像散焦模糊去反射算法，模型简单且计算量小，对一般的户外图像取得很好的去反射效果[12]。但是在某些局部的区域没有满足梯度相对平滑的假设，导致去反射后的图像里还会有部分反射光的存在。针对以上问题，本文通过引入一种修正机制对Li的模型进行改进，实现对某些局部区域不满足相对平滑假设的反射光的去除。

1 单幅图像散焦模糊去反射算法原理

1.1 基于梯度相对平滑的单幅图像分解

首先，一幅图像描述为以下形式：

I=L1+L2，

(1)

式中I表示观测到的图像，L1和L2是2个相互联系的图像层。图像的形成模型将一幅图像f定义为每个像素点上的反射分量R与入射分量L的乘积，即：

f=RL。

(2)

由此可知，为了实现对单幅图像进行分离就需要能够正确地估算出反射分量R和入射分量L，对(2)式两边取对数：

logf=logR+logL。

(3)

进一步将式子简化为与式(1)相同的表达形式：

I=LB+LR。

(4)

式中LR表示反射图像层，LB表示获取的清晰图像层。

根据相机成像原理可知，只有那些恰好落在感光器件位置上面的物体才可以清晰地成像，而其他位置上的物体的像都是模糊的。Schechner等人[13]根据这一原理对图像层LB进行聚焦获得清晰图像，而反射图像层LR由于散焦作用变模糊。为了便于研究反射光的去除，我们根据前面描述的理论将一幅清晰不带反射光图像LB与一幅进行高斯模糊后带反射光的图像LR进行人工合成一幅图像，其数学表达式为：I=LB+LR×h，其中h是高斯滤波器[12]。从定义可看出LB是清晰的，而LR是模糊的，也就是说LR图像层要比LB图像层平滑。自然图像与人工合成图像的不同图像层的梯度直方图如图1和图2所示，参见文献[12]。

图1 自然图像的分解Fig.1 Decomposition of natural image

从图1与图2可以看出，自然图像和人工合成图像中梯度值大的比较集中分布在R与LB图像层里，梯度值小的大部分分布在L和LR×h。

1.2 两图层的梯度概率模型

根据Levin和Weiss提出的梯度稀疏先验[7]，本文利用两图像层的梯度信息建立概率模型。假设L2比较光滑，并且梯度大的像素归属于L1图像层，反之，则归属于L2图像层。L1和L2对应的概率表达式如式(5)所示：

图2 人工合成图像的分解Fig.2 Decomposition of artificially synthesized image

(5)

其中x表示梯度值，z是归一化因子，σ1和σ2是2个高斯滤波器的参数，ε是一个很小的数，防止对P1的概率趋于0。

为了实现2个图像层的分离，需将对两者的概率最大化运算转化为对它们取负对数的最小值，得到下面的式子：

(6)

式中的C1和C2是一个常数。将-logP1(x)简化成类似于-logP2(x)的形式为[14]：

假设2个图像层是相互独立并且它们的输出也是相互独立时，采用一阶和二阶滤波器对图像进行滤波，则对-logP(L1，L2)进行最小化操作后得到：

(7)

将L2=I-L1代入式(7)，可以得到关于L1的目标函数：

s.t.lbi≤(L1)i≤ubi。

(8)

其中(L1)i∈[lbi，ubi]是L1图像层的像素值取值范围。

(9)

式中β是一个加权系数，随着β的值越大，式(9)与式(8)等价，本文中β的取值范围为β∈(210，220)。式(9)是关于L1的一元二次方程，对其进行二维快速傅里叶变换(2DFFT)得到L1的最优值：

(10)

其中*表示复数共轭，分母中τ=10-16是增加算法的鲁棒性，F表示傅里叶变换，F-1表示傅里叶的反变换,具体的优化过程可参考文献[12]。

1.3 单幅图像散焦模糊去反射

基于前面的假设，对人工合成的I=LB+LR×h类型的图像进行分解，h是一个二维高斯函数的卷积核(其中σ=5)。根据式(8)可以得到关于LB的目标函数：

s.t. 0≤(LB)i≤Ii。

(11)

根据前面描述的优化算法可将LB从原图像分离出来，即可得到一幅清晰无反射光的图像层，达到去反射的目的，由(I-LB)可得到反射图像层LR。

2 算法的改进

通过大量实验可知，在一幅图像的某些局部区域中并未满足LR要比LB光滑这一假设，导致有少部分的反射光留在了LB图像层里。这些区域的色彩就会背离原图像，影响图像的视觉效果。为了解决这一问题，在原算法的基础上进行改进，提高算法的鲁棒性。假设一幅图像为：

I=LR1+LB1，

(12)

式中的LR1、LB1分别是Li算法中已经分解出来的2个图像层。对式(12)进行修改得：

I=αLR1+βLB2，

(13)

其中的α、β是一个常数，LB2是LB1改进后的无反射图像层。将式(13)进一步化解为：

(14)

式(14)右边第一项(I-LR1)代表原算法中的LB1，第二项k(I-ωLR1)表示一个修正因子，用于对LB1进行改善。

将式(12)代入式(14)，可得如下式子：

LB2=I-LR1+k(LB1+LR1-ωLR1)=I-(1-k)LR1+k(LB1-ωLR1)，

(15)

式中的k、ω均为常数。当k=0时，LB2=LB1,与原算法一致，当k、ω都不为0时，则k(LB1-ωLR1)是对原去反射图像层的一种修正。这种修正体现在两个方面：第一，在原算法去反射的过程中，如果反射光没有完全被包含在反射图像层LR1中的话，就会有少部分反射光留在了LB1图像层里，而这一修正项得到的结果正好可以消除反射光，获得一幅近似LB1的较暗图像；第二，大部分单幅图像去除反射层后(即LB1)都会显得比较暗，影响视觉效果，添增这一修正项可以增强LB1的对比度。通过对k、ω取适当的值，就会使得去反射后的图像质量得到较大的改善。

3 实验结果和分析

本次实验是在一台处理器为Intel(R)Core(TM)i5CPU，主频3.2GHz，内存4.0GB，操作系统WindowsXP专业版32位SP3 的PC机进行图像处理，使用的软件是matlab7.0版本。分别采用Li的原算法和本文改进算法对自然图像和人工合成图像进行实验，实验结果如图3、4所示。

图3 自然图像去反射效果对比图Fig.3 The comparison of reflection removal with natural image

图3(a)中I是自然场景下的图像，从图3的A组图像(b)和(d)可以看出两者的效果几乎无差别。当图像满足了Li算法的假设时，反射光被正确地分解到LR1里，因而2种方法的输出结果基本一致。从B组图像(b)和(d)中采用矩形框标记的部分可以看出，改进的算法得到的图像更符合人眼的视觉特性，大大地改善了视觉效果。

图4 人工合成图像去反射效果对比图Fig.4 The comparison of reflection removal withartificially synthesized image

图4中两组图像I是人工合成的图像，A组和B组的(b)图像LB1中用矩形框标记的区域内还有部分反射光没有去除，经过改进算法的处理后，在(d)图中两组图像相应位置的反射光减少了，提高了图像的质量。

本文通过利用均值、平均梯度、标准差和信息熵来对图像进行客观评价。表1和表2分别表示对图3和图4的各项客观评价指标的对比数据。

表1 对图3各项客观评价指标的对比

从表1可以看出，对于图3中的两组图像得到的数据来说，本文改进算法的均值、平均梯度、标准差和信息熵都高于Li算法得到的指标值，除了图3中B组图的标准差。这是因为图像注重对比度提升的同时，出现了少许颜色的失真。

表2 对图4的各项客观评价指标对比

从表2可以看出，对于图4中的A组图得到的数据来说，Li算法得到图像的平均梯度高于本文改进的算法，且信息熵也略高于本文改进算法，而在均值和标准差都低于本文改进的算法。对于图4中B组图得到的数据来说，本文改进算法的各项客观评价指标值都高于Li算法得到的指标值。

总之，从4组实验的结果可以看出，相较于原算法，改进后的算法更能够有效地去除反射，恢复出来的图像视觉效果更佳。

4 结论

本文对单幅图像散焦模糊去反射进行理论分析，指出了其不足之处并引入一种修正机制对其进行改进。通过实验证明，改进的算法更有效地去除反射，改善了图像的视觉效果。不足之处是在对某些图像有效地去除反射的同时也导致图像颜色失真，未来将进一步对图像色彩进行有效地恢复。

[1] 张潇云，邹北骥，向遥,等. 彩色和等色图像的非监督反射分量分离[J].信号处理,2014(9):1007-1018.

[2] NAYAR S K，FANG X S，BOULT T. Removal of specularities using color and polarization[C]// Proceedings of 1993 IEEE Computer Society Conference on. Computer Vision and Pattern Recognition. New York: IEEE,1993:583-590.

[3] SATO Y,IKEUCHI K. Temporal-color space analysis of reflection[J]. Journal of the Optical Society of America A,2001,11(11):2990-3002.

[4] YANG Qingxiong，WANG Shengnan，NARENDRA A,et al. A Uniform framework for estimating illumination chromaticity，correspondence，and specular reflection[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society,2011,20(1):53-63.

[5] LEVIN A，WEISS Y.User assisted separation of reflections from a single image using a sparsity prior using a sparsity prior[J].TPAMI,2007,29(9):1647-1654.

[6] JIA Danbing，LI Naimin，LI Chunjie，et al. Reflection removal of tongue image via total variation-based image inpainting[C]//2010 International Conference on E-Product E-Service and E-Entertainment (ICEEE). Zhengzhou: IEEE，2010:1-4.

[7] 王祎璠，姜志国，史骏,等. 显著性检测指导的高光区域修复[J].中国图像图形学报,2014,19(3)393-400.

[8] 孙欣欣，徐舒畅，卢涤非. 基于最佳分析窗口的高光检测[J].计算机工程与设计,2007,28(6):1469-1472.

[9] 王湘晖，曾明. 基于视觉感知的图像增强质量客观评价算法[J].光电子：激光,2008,19(2):258-262.

[10] 卢桂荣，汤景凡，姜明. 基于快速双边滤波的图像高光去除研究[J].计算机工程与应用,2014(10):176-179.

[11] 马吉权,马培军,苏小红. 基于表面形态分布的单幅灰度图像高光检测[J].计算机研究与发展,2011，48(1):169-175.

[12] LI Yu，BROWN M S. Single image layer separation using relative smoothness[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Columbus: IEEE, 2014:2752-2759.

[13] SCHECHNER Y Y，KIRYATI N，BASRI R. Separation of transparent layers using focus[J]. International Journal of Computer Vision,2001,39(1):25-39.

[14] LI Xu，ZHENG Shicheng，JIA Jiaya. Unnatural L0 sparse representation for natural image deblurring [C]// IEEE Conference on Computer Vision & Pattern Recognition. Oregon: IEEE, 2013:1107-1114.

[15] 李志欣，陈宏朝，吴璟莉,等. 基于概率主题建模的图像语义学习与检索[J]. 广西师范大学学报(自然科学版)，2012，30(3):125-134.

(责任编辑 王龙杰)

An Improved Single Image Reflection Removal with Defocus Blur

LI Xiuyu，XIA Haiying，SONG Shuxiang

(College of Electronic Engineering，Guangxi Normal University，Guilin Guangxi 541004,China)

Reflection removal of single image is a very meaningful issue in the area of computer vision. An improved method is proposed to overcome the weakness that single image reflection removal with defocus blur algorithm can not remove the reflection in the local area where the assumption that two layers have different smoothness is violated.By including correction mechanism and adaptive efforts to reflection，the improved algorithm can effectively eliminate color distortion of the image. With tests of natural scene and artificially synthesized images with reflected light，the results show that，compared with the original method，the improved method more effectively removes reflect light and enhances the robustness.

relative smoothness；reflection removal；correction mechanism；defocus blur

10.16088/j.issn.1001-6600.2016.03.005

2016-02-20

国家星火计划重点项目(2015GA790002)

宋树祥(1970—)，男，湖南双峰人，广西师范大学教授，博士。E-mail: songshuxiang@gxnu.edu.cn

TP391

A

1001-6600(2016)03-0032-07