基于稀疏理论与FFST-GIF的多聚焦图像融合算法

圣文顺, 孙艳文, 张会影

(1. 南京工业大学 浦江学院, 江苏 南京 211200; 2. 南京审计大学 信息工程学院, 江苏 南京 211815)

多聚焦图像融合算法对多幅不同聚焦度的图像进行处理，利用已有图像的互补信息获取细节更加清晰的聚焦融合图像，能够获取更全面、更准确的场景描述，可广泛应用于远程遥感、军事监控、计算机视觉以及医学图像分析等领域.

在可见光成像系统中，其聚焦区域外的目标成像往往模糊；多聚焦图像融合算法通过将2个或多个传感器所获取的同一场景不同方位的图像进行综合，以获取场景内所有物体的清晰图片.近年来，基于稀疏理论(sparse representation, SR)、快速有限剪切波变换(fast finite shearlet transform, FFST)和引导滤波模型(guided image filtering, GIF)[1]的算法受到越来越多的关注，研究者提出了许多高效的多聚焦图像融合算法，如神经网络、多尺度分析、模糊逻辑以及香农熵加权[2]等.在上述算法中，多尺度分析算法由于能够提取出图像的细节性显著信息而受到青睐，但同时处理算法也越趋复杂.随着对图像清晰度的要求不断提高，多尺度分析中的小波变换已不能最优地表示具有面奇异性的高维函数或二维图像[3].快速有限剪切波变换具有小波变换的所有优点，可以有效地减少误差带来的影响，因此更适合图像融合.文献[4]中提出基于快速有限剪切波变换与引导滤波的多聚焦图像融合算法，可较好地提取图像特征和图像内容，但是仍然无法高效地描述图像及其内部特征，且融合后的算法对比度下降.

文中综合稀疏理论、快速有限剪切波变换以及引导滤波好的梯度保持能力，提出一种基于稀疏理论、快速有限剪切波变换联合引导滤波(FFST-GIF)的多聚焦图像融合算法.将源图像利用FFST分解后，根据不同的系数特性，设计相应的融合策略并进行相应试验，通过对比多组图像融合试验结果验证算法的优越性.

1 相关理论

1.1 稀疏理论

稀疏理论近年来蓬勃发展，广泛应用于图像处理领域.稀疏表示的数学模型为

(1)

式中： 字典D=[d1,d2,…,dn](dn∈Rn×m,m≥n)为一个超完备字典集；y∈Rn是自然信号；x∈Rm为稀疏表示的系数；‖x‖0是x的l0范式；ε为逼近误差的容限.

通过K-SVD方法训练低频子带系数得到字典D，约束式为

(2)

式中：y=[y1,y2,…,yn]为样本训练矩阵；x∈Rn×n表示稀疏矩阵；Xi为x的第i列矩阵；R为稀疏度.

通过正交匹配追踪(orthogonal matching pursuit, OMP)算法估计稀疏表示的系数X.

1.2 快速有限剪切波算法

剪切波变换[5]以合成小波理论为基础，作为多尺度几何的分析工具，克服了小波变换原有的缺点，通过缩放、剪切、平移等仿射变换生成不同特征的剪切波函数.剪切波处理图像或视频时，其分解步骤如下：

3) 重新定义笛卡尔采样坐标值后，再应用逆向二维快速傅里叶变换(fast fourier transformation, FFT)或对上一步滤波处理的数据进行逆伪向FFT，得到剪切波系数.

4) 令j=j+1，重复步骤1)至3)，直到j=c，如图1所示.

图1 剪切波处理图像的过程

对于二维剪切波的分解如下：

(3)

其中d=0、1分别对应上下和左右.对于每个尺度都会有支撑域，对应不同的方向保证其平稳性，如图2所示.

图2 二维剪切波分解图像

1.3 引导滤波

引导滤波器[6]是一种自适应权重滤波器.与传统的滤波器(双边滤波器、高斯滤波器等)相比，引导滤波器能够平滑图像，同时还能增强图像的整体特性，保持边界的细节信息，广泛应用于图像融合.

假设I是引导滤波器的引导图像，输入的待滤波图像是p，滤波后的输出图像是q，引导图像I确定的权重值是wij，则引导图像滤波的简单定义形式如下：

(4)

wij的表达式为

(5)

qi=amIi+bm,∀i∈wm，

(6)

(7)

式中：δ为正则化系数.对代价函数进行线性回归并对窗口内的qi求均值，得出最终的引导图像滤波为

qi=aiIi+bi.

(8)

2 融合规则

针对大部分图像的信息均存在于多尺度变换域的低频系数中，而以往小波变换对其进行处理往往导致信息丢失、综合性不佳等问题，文中提出了一种结合SR与FFST-GIF的多聚焦融合算法SR-FFST-GIF.该算法在FFST的基础上，结合稀疏理论与引导滤波，以期获得细节特征丰富的融合图像.

2.1 结合稀疏理论的低频系数融合规则

针对低频子带系数中存在大量图片轮廓信息，使用传统方法对其处理往往导致稀疏性不佳等问题，引入稀疏理论予以解决.稀疏理论不仅使图片轮廓的信息完美呈现，还能使图像的稀疏度得以提高，融合效果较为理想，具体实现步骤如下：

1) 利用快速有限剪切波变换分解尺寸大小为M×N的源图像A、B，分别得到高频和低频子带系数.

2) 使用大小为m×m的滑动窗口分别对两图的低频子带系数进行处理，得到数量为(N+m-1)×(M+m-1)的子块，然后将图像子块转化为列向量，得到样本训练矩阵VA和VB.

3) 分别求VA和VB元素的平均值，得到样本矩阵VAS和VBS.

4) 利用K-SVD算法分别对VAS和VBS进行训练，得到低频子带系数的过完备字典D.

5) 采用OMP算法对VAS和VBS的稀疏系数进行估计，得到相应的稀疏系数矩阵αA和αB.对第i列稀疏系数矩阵用下式(9)进行融合：

(9)

6) 将融合后的αF乘以D，得到图像低频子带重构系数矩阵，其计算式为

V=DαF.

(10)

7) 将所得矩阵V的列转换为数据子块，从而得到融合低频系数.

具体的稀疏理论低频子带系数融合过程见图3.

图3 低频子带系数融合流程图

2.2 高频融合规则

高频子带系数包含图像的细节特征，为了更好、更准确地提取图像的细节信息，保持图像的边缘清晰，文中采取相对标准差算法[7]进行处理.根据图像融合规则，相对标准差的值越小，表明融合图像越清晰，融合效果越好.对于高频子带系数的噪声问题，采用引导滤波对高频子带系数加权矩阵进行处理，以满足空间的一致性，具体步骤如下：

1) 假设区域窗口的大小为3×3，计算源图像的相对标准差，计算式为

(11)

其中，

2) 利用引导滤波优化矩阵求解引导滤波系数，即

(12)

3) 重构高频子带系数，计算式为

(13)

式中：Fl,k为k尺度l方向的高频融合系数；N为融合图像系数.

3 融合过程

2) 采用稀疏理论对低频子带系数进行融合.

3) 采用引导滤波和相对标准差算法对高频子带系数进行融合.

4) 将步骤2)、3)得到的系数通过逆FFST重构，最终得到融合后的图像.

4 试验结果与分析

为了验证算法的有效性，文中选取了基于非下采样轮廓波变换与脉冲耦合神经网络的多聚焦图像融合(NPF)算法[8]、复剪切波域基于引导滤波的多聚焦图像(CSGF)算法[9]以及基于快速有限剪切波变换与引导滤波的多聚焦图像融合(FGF)算法[10]进行对比.考虑到多尺度变换方法的多样性，文中算法分别与小波变换(wavelet transformation, WT)、离散曲波变换(discrete curvelet transformation, DCT)进行试验对比.采用平均梯度AG、空间频率SF、互信息MI以及边缘保留信息传递因子QAB/F(高权重评价标准)4个指标[11-12]进行客观评价.

为了突出文中算法的优越性，特选取严格配准(像素大小为256×256)的多聚焦图像为样本，试验均在MATLAB上进行.对不同的融合算法和变换域进行试验对比，采用上述指标进行客观评价，分析试验结果.

4.1 不同变换域融合试验

采用哈佛数据库的脑核磁共振图像进行不同变换域的对比仿真试验.试验中所有的融合规则均采用文中所提出的融合规则，并对源图像加入10%的高斯噪声，处理后的图像融合效果如图4所示.

图4 融合处理图像

对比4a、4d、4e这3幅图像可以看出，小波变换融合后的图像去噪能力较差，图像边缘不清晰，噪声污点也较多.由图4d可见，离散曲波变换融合后图像的去噪能力明显优于小波变换，但是边缘的亮度以及细节特征还有待提高.图4e为文中算法所处理的图像，其无论是内部细节还是边缘亮度，都远远高于其他算法处理所得图像，最大程度地保留了源图像的信息，接近理想图像，更加符合人眼视觉特性，这验证了文中算法的优越性.

试验所得不同变换域图像融合评价指标数据如表1所示.

表1 不同变换域图像融合评价指标

由表1可见，基于FFST融合算法的评价指标均高于其他算法，表明该算法不仅有效地改善图像质量，而且信息保存更加完整，更适用于图像融合.

4.2 不同融合算法试验

根据融合算法的不同，文中选取了4组多聚焦图像作为测试数据，将这4种算法进行对比，结果如图5所示.NPF算法将源图像通过NSCT分解，计算分解后的系数区域空间频率，将频率作为PCNN的输入神经元，从而产生神经元脉冲，再将点火次数时间最长的系数作为融合系数，最后通过逆NSCT将其融合.CSGF算法应用复剪切波对图像进行多尺度分解，对分解后的低频子带系数应用引导滤波的加权方法进行融合，而高频子带系数则结合引导滤波的SML方法进行融合.FGF算法采取快速有限剪切波变换将源图像分解，对分解后的低频子带系数运用区域NSML进行融合，高频子带系数运用引导滤波的区域能量加权高频融合规则进行融合，最后通过逆FFST重构得到融合图像.

从pepper和losec的图像效果来看：图5a中的图像轮廓比较分明，信息比较丰富，但是一些细节信息还是不够突出；图5b图像比较模糊，但是图5b的整体清晰度有所提高，只是其边缘部分的光圈效果还是比较明显；图5c的效果明显优于前两种算法，但是各部分的对比度表现不是特别突出；图5d的图像十分清楚，各部分的对比度明显高于其他算法，图像的细节信息以及边缘部分也十分明显，因此视觉效果最好.从pencil和camera图像效果来看：图5a中的图像清晰度较高，图像信息比较丰富，但是细节信息不够明显；图5b相对来说清晰度依旧不够明显；图5c的清晰度明显提高，细节信息也较明显，但是对比度不是太高；图5d的图像符合人眼视觉效果，各方面对比度也比较高，更贴近事实.表2给出了基于4种融合算法的多聚焦图像客观评价指标试验数据.

图5 图像融合算法对比

表2 多聚焦图像在不同融合算法下的评价指标

结合图5及表2可见，经文中算法处理后的图像在视觉效果上信息丰富且边缘清晰连续，在各项数据指标上均优于其他算法，这验证了文中算法在融合图像处理方面的优越性.

5 结 论

依据稀疏表示的特征自动选择性、快速有限剪切波变换优良的细节表现特征以及引导滤波良好的梯度保持能力，提出了一种新的多聚焦图像融合算法，并选取多组严格配准的多聚焦图像进行不同融合算法的对比试验.算法在客观综合评价指标与视觉效果方面均取得了突出优势，平均梯度(AG)最高可达0.081 3，边缘保留信息传递因子(QAB/F)最高可达0.793 5.文中提出的融合算法所获取的融合图像具有良好的整体清晰度和局部细节保持，该算法有较好的应用前景.