结合NSCT和区域特征的图像融合新算法

黄朝雅，何建农

(福州大学数学与计算机科学学院，福建 福州 350116)

结合NSCT和区域特征的图像融合新算法

黄朝雅，何建农

(福州大学数学与计算机科学学院，福建 福州 350116)

提出一种把非下采样Contourlet变换(NSCT)和区域特征相结合的图像融合新方法. 该方法能够获取更好的空域和频域中的局部特征，同时提高融合图像的质量. 用NSCT对已经配准的源图像在不同尺度和方向进行分解，低频子带分量采用区域平均能量和匹配度相结合的融合规则，高频子带分量使用改进的拉普拉斯能量和取大的融合规则. 然后, 利用逆NSCT变换对图像重构得到融合结果. 实验结果表明，新方法优于其他三个常用的方法，且较好地保留图像的边缘和细节信息.

图像融合； 非下采样Contourlet变换； 区域平均能量； 拉普拉斯能量和

0 引言

图像融合是以图像为研究对象的信息融合，通过特定的算法把多幅源图像的信息进行互补处理成为一幅新图像，且该图像能够全面地描述研究的对象[1]. 目前，图像融合技术应用广泛，如医学图像融合[2]、红外目标识别[3]、安全监控、机器视觉等. 随着融合技术的发展，多尺度分析工具被提出，其中最典型的方法是小波变换. 小波变换在一维时能够较好地表达图像细节信息，但是由于方向的限制，因此不能把这个优点应用到高维. 为了呈现出高阶的奇异特征，研究人员提出一些多尺度几何分析工具如Ridgelet变换、Curvelet变换和Contourlet变换(CT)[4]等. Do等[5-6]提出的CT理论，能够更好地表示各向异性和方向选择性. 它能够弥补小波变换中方向的局限性，最优稀疏地表示图像的纹理和边缘信息. 但它也存在不足，因为对图像进行了下采样(插值)和上采样(抽取)步骤，使得CT缺乏平移不变性，而这就会产生频谱混叠现象[7]. 为此，Cunha等[8]提出非下采样Contourlet变换( NSCT )理论，对CT变换进行改进，使它具有平移不变性的特点，且还保留CT的原有优点.

本研究利用NSCT变换的优点对源图像的细节信息进一步细分，该方法考虑高低频子带图像融合的目的，在不同频带使用不同的区域特征参数得出融合系数，从而提高图像的清晰度.

1 非下采样Contourlet(NSCT)理论

图1 NSCT结构图Fig. 1 Nonsubsampled contourlet transform structure

非下采样Contourlet(NSCT)变换包含非下采样金字塔滤波器组(NSP)和非下采样方向滤波器组(NSDFB)两部分[8]. 这个过程中获取的子带图像尺寸大小与源图像相同，有利于融合规则的制定. 非下采样金字塔滤波器组(NSP)中的分解由双通道非采样滤波器组操作完成. NSP参考trous 算法[9]，对图像重复进行非下采样塔式滤波器组分解，使得图像具有多尺度性. 非下采样方向滤波器组(NSDFB)由扇形方向滤波器构造的双通道非采样滤波器组来实现. 类似于NSP，同样对图像重复进行双通道方向滤波器组分解，使得图像具有多方向性. 由于NSP和NSDFB分解中都没有上采样和下采样步骤，这样就消除了频谱混叠现象，所以比CT多了平移不变性的特点. NSCT变换的具体过程为： 输入源图像与2维滤波掩模进行卷积得到低频近似图像，源图像与低频图像的差异就是高频细节，然后对高频细节进行NSDFB滤波器分解就得到方向细节. NSCT变换的结构过程如图1.

2 基于NSCT和区域特征的图像融合新算法

2.1 新算法的基本思想

采用NSCT变换和区域特征进行融合的基本思想是，将已配准的源图像在NSCT域上进行不同尺度和方向的分解得到低频子带和高频子带图像. 低频子带图像最主要的融合目的是保留源图像的细节信息，而高频子带图像的融合目的是保留源图像的边缘信息. 本研究对图像区域分块进行处理，把区域特征中的平均能量及其匹配度应用到低频子带中，而把改进的拉普拉斯能量和应用到高频子带中，最后经过逆NSCT重构输出融合图像.

2.2 融合步骤

本研究用到的源图像是已经配准好的，基于NSCT和区域特征的图像融合有如下3个主要步骤：

1) 输入两幅源图像进行NSCT分解，得到源图像多尺度分解下的低频子带系数和高频子带系数.

2) 对低频子带系数的融合用区域平均能量和平均能量匹配度相结合的规则，对其中的匹配度与给定的阈值进行大小比较，从而给出低频融合系数； 对高频子带系数的融合先计算出各自改进的拉普拉斯能量和并比较，从而给出高频融合系数.

3) 用逆NSCT变换对融合后的系数进行重构，就可以输出融合图像.

2.3 低频子带系数融合规则

低频域主要体现了源图像的近似特征，而机器识别或人眼观察都是以图像的主要能量为基础的，因此本研究将在能量上作处理. 常规的低频系数融合规则，有加权平均法、像素值取大法. 但这些方法只考虑像素点的值，而没有考虑区域领域内像素间的关系，导致融合图像会丢失源图像的一些重要信息, 影响视觉效果. 为了改变这种现状，本研究对文献[10]中的平均取值规则进行改进，采用区域平均能量与其匹配度相结合的融合规则来处理低频子带系数.

区域能量反映图像区域内信息量的大小，EJ(x, y)表示系数矩阵以像素点(x, y)为中心的区域大小为M×N的能量，定义为：

由式(1)可推出，区域平均能量的定义为：

由于常用的匹配度可能产生负值，所以引人绝对值，则改进的区域平均能量匹配度定义为：

式(3)中： 匹配度M(x, y)的范围为[0, r2]. 为了方便比较两个图像的匹配度，把范围约束到区间[0, 1]，那么式(3)中的匹配度转化为:

图像的匹配度可以说明两幅图像对应像素的相似程度. 设λ为区域平均能量匹配度的阈值[11]，且λ∈(0.5, 1)，取λ=0.75. 因此，低频子带系数融合的表达式如下：

当M′(x, y)≤λ时，也就是说这两个区域特征相差比较大，因此采用区域平均能量大的策略：

当M′(x, y)>λ时，也就是说这两个区域特征相差较小，对文献[9]中的平均融合策略进行改进，本研究采用加权平均融合策略：

式(6)中的：Wmax和Wmin为定义的自适应因子，且满足以下式子

2.4 高频子带系数融合规则

为了尽可能保留源图像中高频信息的线、边缘以及纹理等特征，对其系数规则的制定直接影响着融合效果. 图像某一区域的各个像素间通常是相关的，因此为了获得细节丰富、视觉效果好的图像，把单个像素的基础发展到一定区域内来研究. 拉普拉斯能量和(SML)能够恰当反映图像边缘信息、纹理和方向信息, 例如Huang等[12]使用SML来融合图像, 取得了良好的效果. 拉普拉斯能量和定义为：

在式(8)中的拉普拉斯能量和，只考虑以中心像素为中心的水平和垂直方向上的拉普拉斯能量. 当个别像素距离比较远，但是它的贡献比较大时，中心像素的信息可能会丢失，这可能导致较差的融合效果. 为了让融合图像具有更好的视觉效果，本研究针对(8)式中的SML，采用改进的拉普拉斯能量和(记为NSML)[13]来代替，并利用它来处理高频子带系数. NSML算法综合计算区域里的水平、垂直以及斜对角线方向上的拉普拉斯能量和，并采用文献[13]中的方法简化计算过程，克服原有SML的局限性. 因此，其定义为：

因此，改进的拉普拉斯能量和可以很好反映子带图像在不同方向的局部特征，根据公式(11)可以计算出源图像的NSML，本研究的融合规则为NSML取大法，定义如下：

3 实验和结果分析

选用已经配准好的图像，对来自不同类型传感器的图像进行实验. 为了验证本研究提出方法的可行性，第一组是红外与可见光图像，第二组是多聚焦图像，两组选用的图像大小都为256px×256px. 将本研究算法分别与以下方法进行比较，小波变换算法(记为WT)、传统CT算法、传统NSCT算法. 这三种方法的融合规则分别为： 小波变换中低频采用平均法，高频采用像素取大值法； 传统CT算法和传统NSCT算法中的低频采用平均法，高频采用绝对值取大法.

实验中所有算法的分解层都为3，WT算法中的小波基为“db4”；CT算法的分解级数为1, 2, 3，金字塔滤波器和方向滤波器取值分别为“9-7”和“pkva”； 在NSCT域上的参数设置是一样的，金字塔滤波器和方向滤波器分别为“maxflat”和“dmaxflat7”.

图2是红外和可见光图像，两幅图是同一场景，但是清晰看到的目标不同，图(a)看到的人和汽车以及房屋比较清晰，而图(b)的路灯、栏杆等景物很清晰. 所以把这两幅图像的信息进行互补融合，可以得到清晰的图像. 图中的(c)、(d)、(e)分别是WT方法、传统CT方法、传统NSCT的融合图像，(f)是本研究算法的融合图像.

图2 红外与可见光图像融合结果图Fig.2 Infrared and visible light image fusion results

从视觉上观察，发现基于小波变换的融合图像很模糊、对比度低，且出现明显的波纹现象，这是因为小波变换具有有限的方向性，不能有效地把边缘特征表达出来； 而传统CT的融合方法有一定的改善，但是有频谱混叠，这是缺少平移不变性造成的； 基于传统的NSCT方法的融合图像有一定的改善，但是亮度不是很好，融合效果还有待提高. 而本研究中融合图像，考虑了低频和高频的区域特征，增强了边缘信息和亮度，图像中的景物变得清晰，有利于目标的辨别.

图3是多聚焦图像，(a)是左边比较清晰，(b)是右边比较清晰. 图中的(c)、(d)、(e)分别是小波变换、传统CT方法、传统NSCT的融合图像，(f)是本研究算法的融合图像. 从视觉上看，本研究方法比其他三种常用的方法边缘更清晰，聚焦部分得到更好的保留.

图3 多聚焦图像融合结果图Fig.3 Multi-focus image fusion results

从客观评价方面来分析，本研究采用无量纲参数： 互信息[14]、QAB/F[15]和标准差三个指标来评价. 互信息是考量融合图像保留了源图像原来信息多少的指标，其值为融合的图像F与源图像A、B的互信息之和. 其值越大，说明融合图像保留了源图像的大量信息，减少了图像失真度. QAB/F是衡量图像边缘信息的指标，由融合的图像F保留源图像A、B边缘信息量的值构成，值越大融合结果越好. 标准差反映了灰度偏离灰度均值的程度，其值越大融合效果越好详见表1. 从表1中，可以看到，对于不同类型传感器的图像，本研究实验结果的评价指标都高于其他算法，且结果与视觉效果一致. 由此可知，本研究算法能够有效地融合图像，还具有适用性.

表1 融合结果的客观评价

为了评估本研究算法的有效性，比较了它与其他三种算法的时间成本. 从运行时间上看，各运行了10次求平均值，结果如表2，其中WT算法的耗时是最低的，但是图像质量最差. 同时，我们注意到传统NSCT的运行时间远比其他方法来的多，在NSCT域上，本研究算法比传统NSCT稍微提高了速度，且融合图像质量相比其它算法是最好的.

表2 不同算法的运行时间

考虑文中不同窗口和不同阈值的选择对融合结果的影响，给出了表3和表4. 从表3的不同窗口取值分析，对于图2来说，窗口越大，互信息越大，但是QAB/F和标准差变小，图像的边缘不够清晰. 而对于图3来说，窗口选择越大，互信息、QAB/F和标准差越大，图像所含的信息越多，且视觉效果越好. 所以不同图像应选取不同区域，以得到更好的融合结果. 对于文中两幅图，窗口取值为3×3是恰当的，可以同时使图像在视觉和客观上都达到好的效果. 从表4的不同阈值选择分析，图2中的阈值越大，互信息和标准差越大，说明融合图像携带的源图像信息量多. 图3中的阈值越大，互信息和标准差变小. 综合考虑两幅图的视觉效果，尽可能保留丰富的细节和边缘信息，及文中人工选择的阈值. 对于实验中的分解层，为了进行同等程度的比较，选取相同的层数. 而对于不同的算法，滤波器的选择则是人工设置的.

表3 不同窗口的融合结果

表4 不同阈值的融合结果

4 结语

本研究将多尺度变换NSCT引人到图像融合领域，充分利用NSCT变换的多尺度、方向性和各向异性等优点，在低频和高频系数分别使用不同的区域特征量来挑选融合系数. 实验结果表明，本研究方法在视觉和客观指标上优于其他三种算法，不但大量保留源图像的细节与边缘信息，而且图像中的目标景物清晰度得到了提高，这证明了本研究提出的图像融合新方法的有效性.

[1] 韩潇, 彭力. 基于改进拉普拉斯金字塔的图像融合方法[J]. 自动化与仪器仪表, 2014(5): 191-194.

[2] KAVITHA C T, CHELLAMUTHU C. Medical image fusion based on hybrid intelligence[J]. Applied Soft Computing，2014, 20(7): 83-94.

[3] BAI X Z, CHEN X W, ZHOU F G,etal. Multiscale top-hat selection transform based infrared and visual image fusion with emphasis on extracting regions of interest[J]. Infrared Physics and Technology, 2013, 60: 81-93.

[4] 廖勇, 黄文龙, 尚琳, 等. Shearlet 与改进PCNN相结合的图像融合[J]. 计算机工程与应用, 2014, 50(2): 142-146.

[5] DUNCAN D Y P, DO M N. Directional multiscale modeling of images using the contourlet transform[J]. IEEE Trans on Image Process, 2006, 15(6): 1 610-1 620.

[6] DO M N, VETTERLI M. The contourlet transform: an efficient directional multiresolution image representation[J]. IEEE Trans on Image Process, 2005, 14(12): 2 091-2 106.

[7]ESLAMIR,RADHAH.TheContourlettransformforimagedenoisingusingcyclespinning[C]//Proceedingsof37thAsilomarConferenceonSignals,SystemsandComputers.PacificGrove: [s.n.], 2003: 1 982-1 986.

[8]CUNHAAL,ZHOUJ,DOMN.Thenonsubsamplecontourlettransform:theory,design,andapplications[J].IEEETransactionsonImageProcessing, 2006, 15(10): 3 089-3 101.

[9]SHENSAMJ.Thediscretewavelettransform:Weddingtheàtrousandmallatalgorithm[J].IEEETransctionsonSignalProcessing, 1992, 40(10): 2 464-2 482.

[10] 胡俊峰, 唐鹤云, 钱建生. 基于小波变换医学图像融合算法的对比分析[J]. 中国生物医学工程学报, 2011, 30(2): 196-205.

[11] 汪维东. 一种新的NSCT图像融合算法研究[J]. 电子器件, 2013, 36(6): 846-848.

[12]HUANGW,JINGZL.Evaluationoffocusmeasuresinmulti-focusimagefusion[J].PatternRecognitionLetters, 2007, 28(4): 493-500.

[13] 孙晓龙, 王正勇, 符耀庆，等. 基于改进拉普拉斯能量和的快速图像融合[J]. 计算机工程与应用, 2015, 51(5): 193-197.

[14]QUGH，ZHANGDL,YANPF.Informationmeasureforperformanceofimagefusion[J].ElectronicsLetters, 2002, 38(7): 313-315.

[15]PETROVICV,XYDEASC.Ontheeffectsofsensornoiseinpixel-levelimagefusionperformance[C]//ProceedingsoftheThirdInternationalConferenceonInformationFusion. [S.l.]:IEEE, 2000: 14-19.

(责任编辑： 林晓)

A novel image fusion algorithm based on NSCT and regional features

HUANG Zhaoya, HE Jiannong

(College of Mathematics and Computer Science, Fuzhou University, Fuzhou，Fujian 350116, China)

A novel image fusion algorithm is proposed based on nonsubsampled Contourlet transform (NSCT) and regional features. This method can obtain better the local features of the spatial and frequency domain, while improving the quality of the fusion image. Firstly, two primitive matched images are decomposed at multi-scale and multi-direction by NSCT. Then the fusion rule based on regional average energy and the average energy matching degree is used to fuse the low frequency subband components. The high frequency subband components by using improved sum of Laplace energy. Finally, the fusion result of image reconstruction is obtained through inverse NSCT. The results of simulation show that this novel method are better than the other three common image fusion methods.The test results can preserve a good edge and many detail information.

image fusion; nonsubsampled Contourlet transform; regional average energy; Laplace energy sum

10.7631/issn.1000-2243.2017.01.0080

1000-2243(2017)01-0080-06

2015-04-21

何建农(1960-), 副教授，主要从事图像处理、信息安全、网络GIS方面研究，42566374@qq.com

国家自然科学基金资助项目(51277032)

TP391

A