改进稀疏去噪算法下图像自适应融合研究

蒋澎涛,欧阳建权

(1. 湖南交通工程学院电气与信息工程学院,湖南 衡阳 421001;2. 湘潭大学信息工程学院,湖南 湘潭 411105)

1 引言

由于实际成像条件与理想之间存在差距,单张图像往往无法包含全部场景信息,为了解决这种情况,人们将多成像参数甚至多设备用于同一场景信息记录之中,图像融合技术随之诞生[1,2]。图像融合是通过计算机技术处理多源信道采集的相同场景图像信息,在各信道中尽可能多地提取有价值信息,融合为单张图像,从而实现提升图像质量、增强图像可读性和可靠性的目的。

李嫄源[3]等人采用最大熵值估计最优曝光度,通过相机响应函数生成最优曝光度图像,引入自适应权重实现图像融合。李萌[4]等人事先设定参考帧图像,并以此为依据判定输入帧对比度区间,采用该区间识别曝光区域,改进能量函数检测低对比度区域曝光,通过多尺度块匹配方法实现图像融合。李卫中[5]等人划分多曝光图像为规则图像块,在静态区域中依据图像局部方差、可视性和显著性特征获取图像块的权重值,在动态区域中额外增加局部相似性特征获取图像块的权重值,引入加权求和获取全局最优图像块,融合图像块并求取重叠区域像素均值,实现多曝光图像融合。由于以上方法没有对图像配准处理,导致融合后的图像存在视觉效果较差、饱和度、均方差对比度和熵较低的问题。

为了解决上述方法中存在的问题,提出基于稀疏去噪的多曝光图像自适应融合算法。

2 多曝光图像预处理

2.1 改进的图像稀疏去噪

稀疏去噪算法具有降低图像失真度,增强去噪能力的效果,但是经过该方法去噪后,容易丢失图像边缘信息,因此,引入相异性阈值对其加以改进,在去噪的同时保护图像边缘,防止图像边缘细节丢失[6]。

(1)

用V表示加性高斯白噪声,则含噪图像可以表示为Y=X+V,K表示最大迭代次数,σ表示噪声标准差,λ表示拉格朗日乘子,C表示噪声增益,构建去噪目标函数J如下所示

(2)

式中,uij表示相关系数,αij表示图像块xij的稀疏表示向量,Rij表示xij的m×m维矩阵,D表示离散余弦变换过完备字典[8]。改进后去噪算法具体流程如下所示:

1)参数初始化

2)重复以下迭代过程,直到达到最大迭代次数K:

①求解稀疏编码

依据式(1)计算RijX和Ri′j′X中全部图像块的相异性度量θd,若θd

(3)

通过正交匹配追踪算法求解上式[9],即可得到图像块对应稀疏表示向量αij。

②更新字典

(4)

引入奇异值分解算法分解Er[10],用U∈Rn×n和V∈Rn×n表示两个正交矩阵,S∈Rn×n表示对角矩阵,则Er=USVT,采用U的首列作为更新后字典原子d′r,将V的列与S(1,1)相乘后用于稀疏表示向量集{αij(r)}(i,j)∈φr的更新。

3)生成去噪图像

依据以上计算,生成去噪后图像X′如下所示

(5)

式中,I表示单位矩阵。

2.2 多曝光图像配准

由于拍摄设备自身以及外界环境的影响,多曝光图像并非全部在同一视角下拍摄,因此在多曝光融合前需要实行图像配准。所提方法融合曲率尺度空间(CSS)和SIFT算法构建优化的CSS-SIFT算法[11],CSS-SIFT主要分为图像特征检测、SIFT描述子优化和图像特征匹配三个部分,每部分具体流程如下所示:

1)图像特征检测

采用CSS算法检测图像特征,主要检测步骤如下所示:

①将去噪后待配准图像转化为灰度化图像;

②通过Canny算法处理步骤①得到的灰度化图像[12],生成二值图像;

③提取二值图像边缘并填充其中的间隙,生成T型特征;

④对在低尺度下的全部边缘曲率加以计算;

⑤将步骤④得到的全部曲率中局部极大曲率值对应的图像特征定义为备选特征;

⑥由低向高沿尺度方向追踪备选特征;

⑦将备选特征和T型特征加以比较,在相似特征中剔除一个;

2)SIFT描述子优化

采用稀疏投影改进传统SIFT描述子,设S表示高维特征描述子,维度为128,ψ表示小波变换基矩阵,维度为128×128,通过ψ转换S为稀疏向量W,W的维度为128,构建随机投影矩阵H∈R24×128,维度为24×128,将其用于W的降维之中,转换W为测量向量S′,S′维度为24,S′=HW=WψS,S′即为改进的特征描述子。

3)图像特征匹配

(6)

以Ui(u1,u2,…,u23,u24)为基准,通过欧几里得距离遍历V中图像特征,得到最小值d(Ui,Vj)min及其对应最近邻和次近邻图像特征V1j和V2j。设定阈值T1,对比欧几里得距离的最小值d(Ui,V1j)和次小值d(Ui,V2j),若d(Ui,V1j)/d(Ui,V2j)

以Vj(v1,v2,…,v23,v24)为基准,通过曼哈顿距离遍历U中的图像特征,采用与上述相同方式可得到特征匹配集L。

比较G和L,提取其中完全一致的匹配特征,生成最终图像特征匹配集C。

3 多曝光图像自适应融合

3.1 自适应图像块分割

将配准后图像序列Pk中具有最少过曝光和曝光不足像素点的图像定义为参考图像Pref,k∈[1,K],K表示图像总数,采用简单线性迭代聚类分割Pref为M个图像块Qi,分割方式如下所示:

[Q1,Q2,…,Qi,…,QM,nlables]=Slic(Pref)

(7)

式中,nlables表示超像素分割标签,Slic(·)表示超像素分割操作[14]。

3.2 图像结构分解

分解全部图像块,得到信号强度分量ck、图像结构分量sk和图像亮度分量lk,ck、sk和lk之间相互独立。用{pk}表示图像k中相同位置图像块,分解lk公式如下

(8)

式中,χpk表示图像块均值。

3.3 权重图构建

对于ck,其值越大,则图像对比度越高,细节越丰富,因此所提方法依据取大原则建立ck的权重图,对应权重ωc,k计算公式如下所示

(9)

(10)

式中,β表示增益参数。

当lk处于动态范围中心时,认为图像块曝光效果更佳,即应为lk赋予较高的权重,亮度分量权重ωl,k计算公式如下所示

(11)

式中,lk表示全局亮度均值离散程度,σg表示全局标准差,lk表示当前块亮度均值离散程度,σl表示当前块标准差。

采用ωc,k、ωs,k和ωl,k分别构建图像k对应的分量权重图Wc,k、Ws,k、Wl,k和对应的分量图像Ck、Sk、Lk。

3.4 精细化处理

(12)

对Ck和Lk引导滤波,得到两者精细化结果C′k和L′k。

3.5 多曝光图像融合

(13)

(14)

4 实验与结果

为了验证基于稀疏去噪的多曝光图像自适应融合算法的整体有效性,需要进行实验测试。实验所用图像均来自CIFAR 10数据集(https:∥www.cs.toronto.edu/～kriz/cifar.html),该数据集由10个类的60000个32×32彩色图像组成,每个类有6000个图像。从中抽取a、b、c三个多曝光图像序列,对它们进行融合处理。

实验以文献[3]方法和文献[4]方法作为对比,分为主观测试和客观测试两个角度分析不同方法的图像融合效果,具体实验结果如下:

1)主观测试

采用所提方法、文献[3]方法和文献[4]方法分别融合图1中3个多曝光图像序列,融合结果如图2所示。

图1 多曝光图像序列

图2 图像融合结果

由图1可以看出,未处理前的三个图像序列均存在过曝光或曝光不足的问题,严重影响视觉效果,在经过所提方法、文献[3]方法和文献[4]方法融合处理后图像质量均有一定程度的增强,但文献[3]方法和文献[4]方法融合后图像存在模糊的情况,且亮度、对比度及饱和度等不够自然,失去原本景物特点,丢失部分图像细节,而所提方法保留图像细节的能力更强,融合后图像视觉效果更好,景物颜色特性等更符合人眼要求。

2)客观测试

采用饱和度、均方差对比度和熵量化图像融合结果质量,三个指标的评价值越高,则对应方法图像融合表现越好,检测结果如表1-表3所示:

表1 不同方法的饱和度

表2 不同方法的均方差对比度

表3 不同方法的熵

由表1-表3可以看出,所提方法的饱和度、均方差对比度和熵均高于文献[3]方法和文献[4]方法,较高饱和度说明所提方法融合后图像在颜色方面具有更好的效果;较高均方差对比度说明所提方法在对比度上表现更佳;较高熵值说明所提方法融合后图像中包含更多信息量,总体上看,所提方法的图像融合能力优于文献[3]方法和文献[4]方法,因为所提方法在图像融合前对图像配准处理,消除拍摄设备自身以及外界环境对图像的影响,从而提高图像融合能力。

5 结束语

本文提出基于稀疏去噪的多曝光图像自适应融合算法,采用相异性阈值改进稀疏去噪算法去噪原始图像,构造优化的CSS-SIFT算法配准图像,通过自适应图像块分割算法改进传统融合算法,实现多曝光图像自适应融合。该方法能够有效地增强融合后图像视觉效果、提高饱和度、均方差对比度和熵,为图像的应用奠定基础。