局部化NSST与PCNN相结合的图像融合

陈广秋，高印寒，才华*，刘广文，段云鹏

局部化NSST与PCNN相结合的图像融合

陈广秋1，高印寒2，才华1*，刘广文1，段云鹏3

(1．长春理工大学电子信息工程学院，吉林长春130022; 2．吉林大学汽车仿真与控制国家重点实验室，吉林长春130022; 3．北京遥感设备研究所，北京100854)

为了提升多模态图像融合精度，提出了一种局部化非下抽样剪切波变换与脉冲耦合神经网络相结合的图像融合方法。首先，利用局部化非下抽样剪切波对源图像进行多尺度、多方向分解;然后，在分解后的各子带图像中，利用局部区域奇异值构造的局部结构信息因子作为PCNN神经元链接强度。经过脉冲耦合神经网络点火处理，获取子带图像的点火映射图，通过判决选择算子，选择各子带图像中的明显特征部分生成子带融合图像;最后，应用局部化非下抽样剪切波逆变换重构图像。选用多组不同模态的图像进行实验，并对实验结果进行了客观评价。实验结果表明，本文提出的融合方法在主观和客观评价上均优于一些典型融合方法，可获得更好的融合效果。

图像处理;局部化非下抽样剪切波;平移不变性;脉冲耦合神经网络;链接强度

1 引言

多年来，多尺度分解(Multi-scale Decomposition，MSD)图像融合技术一直受到国内、外有关学者的广泛关注，取得了许多优秀的研究成果［1-5］。近年来，将多尺度分解技术与脉冲耦合神经网络(Pulse Coupled Neural Networks，PCNN)结合对多模态图像进行融合成为融合领域研究的热点。

离散小波变换(Discrete Wavelet Transform，DWT)由于具有优良的时频联合分析图像特征的能力而被广泛地作为图像多尺度分解工具［6-7］。2D离散小波基为正方形支撑域，表现为各向同性，不能很好地表示图像中的直线或曲线所表现的各向异性，且其方向选择性差(只有水平、垂直和对角三个方向信息)。鉴于2D离散小波在处理图像时所表现出来的局限性，研究者们推出许多性能更优良的多尺度分解方法，以实现对图像的最优表示，如Curvelet［8］、Contourlet［9］变换。这两种变换具有多分辩性、多方向和各向异性，能够用较少的非零系数稀疏地表征图像边缘信息，图像中曲线状奇异特征得到较好的逼近［10-11］。同2D离散小波一样，Curvelet和Contourlet在分析图像时缺少平移不变特性，融合图像中往往出现条纹状虚构信息，有Gibbs振铃现象。文献［12］利用非下抽样金字塔分解和小尺寸剪切滤波器构造了局部化非下抽样剪切波(Local Nonsubsampled Shearlet Transform，LNSST)，具有简单的数学结构，良好的方向选择性和各向异性，在分解过程中去除了采样操作，具备平移不变性。所以，本文采用局部化非下抽样剪切波变换作为图像多尺度分解工具。

在已有的多尺度分解融合策略中，多数都是针对分解后的系数直接计算点或窗口的活性测度或匹配测度，如系数绝对值、窗口方差或窗口能量匹配等［13-14］，然后进行加权或选择性融合。这些融合策略在融合过程中易受噪声干扰，且得不到合适的局部亮度和结构信息。脉冲耦合神经网络(PCNN)是第三代人工神经网络的新模型，因具有同步激发、变阈值等特性而被应用到图像融合领域［15-17］。图像矩阵的奇异值是一种性质良好的代数特征，奇异值矩阵表征了原图像中的结构信息，其F-范数的平方表示图像的能量，能够反映图像的局部特征，而人眼视觉系统对图像局部结构的变化具有非常高的敏感性，所以图像局部区域奇异值的变化与人眼视觉系统处理机制是一致的。本文根据奇异值的上述特征，提出了一种新的基于PCNN的图像融合算法。利用局部区域奇异值构造局部结构信息因子，作为PCNN对应神经元的链接强度，有效提取图像中的目标与背景信息，使融合图像更符合人的视觉系统。

2 局部化非下抽样剪切波变换

当维数n=2时，带有离散参量的剪切波系统函数如式(1):

式中:φ∈L2(R2)，A，B为2×2可逆矩阵且detB =1，j为尺度参量，l为方向参量，k表示空间位置。对于j≥0，－2j≤l≤2j－1，k∈Ζ2，d=0，1，在紧支撑框架下，剪切波的傅里叶变换可表示为:

式(2)中V( 2－2jξ)为尺度函数，为局部化在梯形对上的窗口函数，Ad为各向异性膨胀矩阵，Bd为剪切矩阵。函数f∈L2(R2)的剪切波变换可通过式(3)计算得到:

从式(3)可以看出，f∈L2(R2)的剪切波变换主要分为两步:一是多尺度分解，即

多尺度分解:利用双通道非下抽样2D滤波器组对图像进行非下抽样金字塔(Nonsubsampled Pyramid，NSP)分解，生成一个低通子带和多个带通子带，具有完全重构性，完成多尺度分解。

方向局部化:方向局部化是通过小尺寸剪切滤波器(Shear Filter，SF)与带通子带卷积计算实现的。局部化窗口为L×L(一般取32×32或16× 16)，在窗口中利用Meyer小波函数v(x)生成Meyer窗口函数g(θ)。

在伪极化网格中对g( θ)进行离散重采样，再从伪极化坐标变换到笛卡尔坐标系，形成大小为L×L的频域剪切滤波器W^s，且有

j，l域表现形式，则对于图像f有式(6)成立:

图1所示为L=32时，剪切滤波器形成过程。

图1 L=32时剪切滤波器形成过程Fig．1Shear filter formation procedure when L=32

文献［12］将上述剪切波变换称为局部化非下抽样剪切波变换。局部化非下抽样剪切波在分解阶段去除了采样操作，使其具备了平移不变性;在方向局部化阶段，局部化小尺寸剪切滤波器能够避免大尺寸滤波器引起的块效应和弱化吉布斯振铃现象，时域卷积计算能够提高计算效率。

局部化非下抽样剪切波重构过程分两步: (1)将分解后的同一尺度、不同方向上的带通子带系数累加，可获得重构后的带通子带系数。(2)对分解后的低频子带系数与重构后的带通子带系数按空间位置进行非下抽样金字塔逆变换，可获得重构图像。

局部化非下抽样剪切波具有良好的局部化特性，优良的方向选择性，抛物线沿边特性。图像f经过m层LNSST分解，得到∑m2dm个方向子带和1个低通子带，各子带尺寸与原始图像相同，dm表示第m层方向局部化的级数。图2所示为Barbara图像的2层LNSST分解，第一层方向子带数为4(级数为2)，第二层方向子带数为8(级数为3)，剪切滤波器尺寸为32×32。

图2 图像Barbara的两层LNSST分解Fig．2Two level LNSST of image Barbara

3 融合策略

3．1PCNN基本原理和简化模型

PCNN是由若干个神经元互相链接形成的一种动态非线性反馈网络，包括接收域、调制域和脉冲产生器3部分。最初基于哺乳动物视觉系统的PCNN模型极为复杂，大量的文献对其进行了改进与简化。本文采用最常使用的离散数学迭代模型［18］，如图3所示。

其数学方程描述为:

图3 PCNN神经元简化模型Fig．3Simplified model of PCNN neuron

其中:(i，j)为神经元标号;Fij(n)是第n次迭代计算时的反馈输入;Iij是外部刺激输入信号，一般为(i，j)处的灰度值;Lij(n)是神经元的链接输入;βij是链接强度;Uij(n)是神经元的内部活动项;Yij(n)是(i，j)处神经元在第n次迭代时的输出;W是权系数矩阵，VL是放大系数;θij是变阈值函数输出;Vθ是阈值放大系数;αL和αθ为时间常数;n是迭代次数。当Uij(n)＞θij时，神经元输出一个脉冲，产生一次点火，n次迭代以后，(i，j)处神经元总的点火次数表征了该点处的特征信息。所以经过PCNN点火处理，源图像中每个神经元的总点火次数就形成了点火映射图，构成了PCNN的输出。

3．2图像的奇异值分解及特性

矩阵奇异值分解［19-20］(Singular Value Decomposition，SVD)作为图像代数特征的提取方法在人脸识别、数字水印等领域都得到了广泛研究与应用。奇异值分解定理及其特性描述如下:

若矩阵A∈Rm×n，则存在两个正交矩阵U、V及一个对角矩阵S，其中U=［u1，u2，…，um］∈Rm×n，V=［v1，v2，…，vm］∈Rm×n，对角阵S= diag［σ1，σ2…，σp］，UTU=I，VTV=I，p= min(m，n)，σ1≥σ2≥…≥σp＞0，使得下式成立:

式(12)称为A的SVD，σi(i=1，2，…，p)称为矩阵A的奇异值(Singular Value，SV)，S称为奇异值矩阵。矩阵的SV表现的是图像的本质特性而不是视觉特性。矩阵A的能量可表示为E=‖A，结合式(12)，则有:

由此可以知，图像A经过SVD后，能量信息集中于SV矩阵S中。文献［21］对SVD作了进一步研究，对图4(a)先做SVD，然后将SV矩阵改为单位对角阵重构图像，得出图4(b)。

图4 剥除奇异值之后的残差图像Fig．4Different image afterremoved singular value

由图4(b)可看出，残差图像中几乎不包含原图像的结构信息，由此可看出，图像的绝大部分结构信息包含在SV矩阵中，SV越大，包含的结构信息越丰富。

图像的SV具有稳定性和旋转位移不变性。稳定性是指图像SV变化的上界为其扰动矩阵的2-范数，说明图像SV特征对噪音、光照等因素引起的灰度变化不敏感。旋转位移不变性是指对图像进行旋转或行列置换等变换操作，图像的SV特征不变。这说明图像SV能有效反映图像的内在属性，保证了SV特征衡量图像质量的鲁棒性。

3．3基于区域奇异值分解的PCNN图像融合策略

传统基于PCNN的图像融合算法中，神经元的链接强度是根据经验或实验选择的一个常数。但根据人眼视觉处理机制，视觉系统对图像中不同特征区域，反应的强烈程度是有差异的，即视觉皮层中不同神经元耦合具有差异性，这种差异性体现在PCNN中就是神经元的链接强度系数的不同。从PCNN数学描述方程中的内部活动项可看出，输入源图像的明显特征部分在最后融合图像中所占权重与链接强度β值的大小有关。所以有理由认为链接强度β值应随图像特征的变化而改变，以此来表征图像不同区域的特征信息，而不应是一个常数。图像的奇异值包含了图像的结构信息，集中了图像的能量信息，文献［22］利用两幅图像块奇异值差值的均值来表征灰度图像结构信息的丢失程度;文献［23］利用两幅图像块奇异值差的加权均值与剥除奇异值之后的残差图像信息作为压缩图像质量评价测度;上述文献说明用局部区域奇异值来表征图像的特征变化是可行的。文献［24］利用梯度域局部区域奇异值和来区分图像的平坦区域和非平坦区域，且具有较好的抗噪能力，但这种方法不能描述图像平坦区域的特征变化与非平坦区域的结构纹理信息变化，不适合作为PCNN中的链接强度值;受上述文献启发，参照文献［24］的构造方法，本文利用局部区域奇异值的均值定义一个局部结构信息因子，来表征单幅图像局部区域的内容及特征变化:

式中:σ1，σ2，…σr为局部区域内的奇异值，e值的大小体现了图像局部区域内基本结构模式及细节信息的丰富程度。本文融合算法中采用局部结构信息因子作为PCNN中的链接强度值，表征图像不同区域的特征信息。图5以两幅图像的融合为例说明基于奇异值分解的自适应PCNN图像融合过程。

图5 PCNN图像合融框图Fig．5Schematic diagram of PCNN-based fusion algorithm

具体融合策略描述如下:

(1)对待融合的两幅图像(M×N)归一化，分别记为A和B(可推广到多幅)。令A为第1个神经网络PCNNA中各神经元的反馈输入，B为第2个神经网络PCNNB中各神经元的反馈输入。

(2)对矩阵A和B进行滑动窗口平移分块，块的大小为k×k，中心点为(i，j)，共分M×N个子块，分别计算出各子块图像的奇异值，利用公式(14)计算局部结构信息因子eA(i)和eB(i)，形成大小为M×N的矩阵，其元素值即为对应的链接强度βij值，得到A、B中每个像素对应的βA，ij、βB，ij值，i=1，2，…，M，j=1，2，…，N。

(3)初始值分别设为:Lij(0)=Uij(0)=0，θij(0)=1，此时所有的神经元都处在熄火状态，即Yij(0)=0，脉冲数Tij(0)=0。

(4)根据式(7)～(11)计算Lij(n)、Uij(n)、θij(n)和Yij(n)。

(5)累计神经网络每次迭代运行的输出: Tij(n)=Tij(n－1)+Yij(n)。

(6)判断n值是否为Nmax(最大迭代次数)，如果n＜Nmax，重复步骤(4)～(5)，如果n= Nmax，迭代运算结束。输出点火图OA和OB。

选取融合像素。

H( i，j)为融合后的像素值。经过PCNN点火处理后，得到源图像对应像素的点火映射图，对点火频数进行比较，数值越大，说明图像在该点处的信息越丰富，融合时应选择该点像素，所以上述融合过程可有效提取图像边缘、纹理等信息。

本文算法的融合过程为:待融合图像归一化处理后，经局部化非下抽样剪切波变换后得到不同尺度、不同方向的子带系数，记为{IL1，IHl1，k}，{IL2}，ILx表示低频子带系数，表示第l层中第k个高频子带系数，x=1，2。令{IL1，}、{IL2，IH2l，k}依次为上述融合过程中的A和B，得到融合后的子带图像{IL，IHl，k}，利用局部化非下抽样剪切波逆变换重构图像。

4 仿真实验及结果分析

为了验证本文融合方法的有效性，仿真实验分3步进行。首先，传统融合策略分别结合DWT、Curvelet、Contourlet和LNSST四种多尺度分解方法进行融合比较;其次，在LNSST域，本文算法与几种典型多尺度融合算法进行比较;最后，将本文融合方法与典型多尺度分解结合PCNN算法的融合结果进行比较。通过视觉观察对融合图像进行主观评价，应用互信息MI［25］、结构信息相似度SSIM［26］和边缘信息传递量QAB/F［27］三种指标对融合图像进行客观评价。实验过程中，DWT、LSWT和Curvelet分解尺度为4，Contourlet、NSCT和LNSST的尺度向量为［2 2 3］，两种医学图像大小为256×256，其余图像大小为512×512。实验环境:Intel(R)Celeron(R)，CPU2．4GHz，1G内存，MATLAB2008a平台。本文融合算法中链接强度β值是通过计算3×3块矩阵的结构信息因子得到;每个神经元与其周围3×3邻域内的神经元相链接，即p×q=3×3，3×3链接核矩阵为

4．1不同多尺度分解方法融合结果的比较

为了验证具有方向局部化特性和平移不变性的LNSST在图像融合领域作为多尺度分解工具的优越性，分别在DWT、Curvelet、Contourlet和LNSST域内采用传统融合策略，即低频子带采用等权值平均，高频子带采用模值取大准则，对图6 (a)(b)所示多聚焦图像进行融合实验，图6为融合结果，表1为融合图像的客观评价指标。

图6 不同多尺度分解域内多聚焦图像融合结果Fig．6Multi-focus image fusion results in different MSD domain

表1 不同多尺度分解域多聚焦图像融合结果的比较Tab．1Fusion results comparison of multi-focus image in MSD domain

从图6中融合结果及局部放大图像可以看到，边缘刻画的优劣顺序为图(f)、(d)、(c)、(e);从局部放大图像可看出，在(c)和(e)的时钟边缘处出现不同程度的伪影和凸起的条纹，而(d)要好一些，图(f)则完全没有这种现象且融合图像细节清晰，亮度适中，整体视觉效果良好。出现上述现象的原因是DWT、Contourlet和Curvelet变换不具备平移不变性，造成频谱混叠，出现Gibbs振铃效应。而Curvelet与LNSST类似，采用局部化小尺寸方向滤波器，一定程度上弱化了Gibbs现象的出现，LNSST采用局部化小尺寸方向滤波器且具有平移不变性，能够有效地克服图像融合过程中的Gibbs效应。另外LNSST所具有的方向局部化特性和抛物线沿边特性能够有效提取图像中直线或曲线的边缘细节。从表1的客观评价数据中可以看出，基于LNSST得到的融合图像，其各项评价指标均优于其它多尺度融合图像，说明非下抽样剪切波变换在图像融合领域作为多尺度分解工具要优于DWT、Curvelet和Contourlet变换，同时也证明了本文选用LNSST作为多尺度分解方法的正确性。

4．2LNSST域内不同多尺度融合策略的比较

为了验证本文融合策略的有效性，在LNSST域，本文融合策略，记为SVDPCNN与近年来常采用的典型多尺度融合策略进行比较。方法一［13］，系数模值取大策略，记为ABSMAX;方法二［13］，低频子带采用主成分分析(Principal Component A-nalysis，PCA)法，高频子带采用模值取大准则，记为PCAABS;方法三［13］，基于窗口能量匹配准则进行选择与加权结合的算法，记为WEM;方法四［14］，低频子带采用基于窗口空间频率匹配准则进行选择与加权相结合算法，高频子带采用模值取大准则，记为SFABS。源图像采用图7(a)(b)所示的红外与可见光和医学图像，图7(c)～(g)为融合结果，表2为客观评价数据。

图7 LNSST域内不同融合策略的融合结果Fig．7Fusion results using different rules in LNSST domain

表2 LNSST域内不同融合策略融合结果的比较Tab．2Fusion results comparison using different rules in LNSST domain

从图7中可以发现，图7(g)红外与可见光融合图像中，行走的人、车、路灯及灯箱牌匾等都清晰可见，对比度适中，图像清晰自然，相对于其他红外与可见光融合图像有更好的视觉效果，这表明应用本文融合策略能够更好地提取目标信息。图7(d)中，由于红外与可见光图像相关性较差，PCA方法分配的权重不合适，造成融合图像有一定的光谱扭曲。图7(g)医学融合图像中，软组织细节清晰，有效地保留了目标边缘轮廓信息，边缘连续准确。相比较其他医学图像的融合效果，整体亮度与对比度有较大提高，更符合人眼的视觉观察。

从图7(h)(i)中的低频子带点火映射图也能看出本文提出的融合算法具有良好的融合性能。对图7分析可知，利用本文融合算法融合的图像较好地保留了源图像中纹理细节和结构信息，更符合人眼的视觉观察。这是因为本文利用局部结构信息因子构造链接强度β值，能更好地反映像素的特征信息，符合人眼的视觉系统对图像特征变化的处理机制，具有较强的自适应性，通过PCNN处理后，能够准确地提取图像中的特征明显区域，捕获丰富的边缘细节，消除融合图像可能出现的边缘轮廓的不连续现象，使融合图像具有良好的视觉效果。从表2中的客观评价数据中可看出，在LNSST域下，应用本文融合算法得到的融合图像各项评价参数均优于其它融合策略，说明本文融合算法在多尺度图像融合领域中更有效。

4．3不同多尺度分解域基于不同PCNN融合算法的比较

为了说明本文提出的融合方法的有效性及稳定性，将本文融合方法，记为LNNST+SVDPCNN与近年来常用的典型多尺度分解方法结合PCNN算法的融合效果［15-17］进行比较。方法一［15］:在提升静态小波(LSWT)域，低频子带采用改进拉普拉斯能量和作为PCNN各神经元的外部输入激励，高频子带采用各像素灰度值作为PCNN的外部输入激励，链接强度β=0．2，记为LSWT+ SMLPCNN;方法二［16］，在Curvelet域，低频子带采用等权值加权，高频子带采用各像素灰度值作为PCNN的外部输入激励，区域能量测度作为PCNN的链接强度，记为Curvelet+APCNN;方法三［17］，在Contourlet域，采用各像素灰度值作为PCNN的外部输入激励，链接强度β=0．2，记为Contourlet+PCNN;方法四［17］，在非下抽样Contourlet域，采用各像素灰度值作为PCNN的外部输入激励，链接强度β=0．2，记为NSCT+ PCNN;方法五［17］，在非下抽样Contourlet域，采用区域空间频率作为PCNN的外部输入激励，链接强度β=0．2，记为NSCT+SFPCNN;方法六［17］，在非下抽样Contourlet域，低频子带采用各像素灰度值作为PCNN的外部输入激励，高频子带采用高斯拉普拉斯算子能量作为PCNN的外部输入激励，链接强度β=0．2，记为NSCT+GSLPCNN。源图像采用图8(a)(b)所示的遥感和医学图像。融合结果如图8(c)～(i)所示，客观评价参数如表3所示。由图8及表3可以看出，本文融合方法得到的结果无论从视觉上还是从客观评价数据上都是最优的，表明本文所提出的LNSST多尺度分解方法结合基于奇异值分解的PCNN融合算法在多模态图像融合精度提升方面具有一定的优势。

图8 不同多尺度分解域内基于不同PCNN算法融合结果Fig．8Fusion results based on different PCNN algorithm in different MSD domains

表3 不同多尺度分解域内基于不同PCNN算法融合结果的比较Tab．3Fusion results comparison based on different PCNN algorithms in different MSD domains

5 结论

针对已有的多尺度图像融合方法的缺陷，本文将局部化非下抽样剪切波引入图像融合领域，提出了基于局部区域奇异值分解的PCNN图像融合算法。LNSST具有抛物线沿边特性和方向局部化特性，能够效地捕获图像中的光滑轮廓信息，提供图像在任意方向上的细节信息。利用局部区域奇异值构造的结构信息因子，作为PCNN神经元链接强度β值，能够自适应表征图像特征的变化，通过PCNN点火处理，得到能够同时反映单个像素特征及其邻域像素整体特征的点火映射图，通过比较选择算子，准确选择明显特征区域。文中实验结果证明，本文融合方法能够很好地捕获图像中奇异信息，将源图像中的重要信息转移至融合图像中，获得较好的亮度与对比度，能够提升多模态图像融合精度。

［1］Yang B，Jing Z L，Zhao H T．Review of Pixel-Level Image Fusion［J］．Journal of Shanghai Jiao tong University(Science)，2010，15(1):6-12．

［2］陈小林，王延杰．非下采样变换的红外与可见光图像融合［J］．中国光学，2011，4(5):489-495．

Chen X L，Wang Y J．Infrared and visible image fusion based on nonsubsampled Contourlet transform［J］．Chinese Optics，2011，4(5):489-495．(in Chinese)

［3］傅瑶，孙雪晨，薛旭成，等．基于非下采样轮廓波变换的全色图像与多光谱图像融合方法研究［J］．液晶与显示，2013，28(3):429-434．

Fu Y，Sun X C，Xue X C，et al．Panchromatic and multispectral image fusion method based on Nonsubsampled Contourlet Transform［J］．Chinese Journal of Liquid Crystals and Displays，2013，28(3):429-434．(in Chinese)

［4］陈广秋，高印寒．基于图像质量评价参数的FDST域图像融合［J］．光电子·激光，2013，24(11):2240-2248．

Chen G Q，Gao Y H．Adaptive image fusion based on image quality assessment parameter in FDST domain［J］．Journal of Optoelectronics·Laser，2013，24(11):2240-2248．(in Chinese)

［5］高印寒，陈广秋，刘妍妍．基于图像质量评价参数的非下采样剪切波域自适应图像融合［J］．吉林大学学报:工学版，2014，，44(1):225-234．

Gao Y H，Chen G Q，Liu Y Y．Adaptive image fusion based on image quality assessment parameter in NSST system［J］．Journal of Jilin university:Engineering and Technology Edition，2014，44(1):225-234．(in Chinese)

［6］李光鑫，吴伟平，胡君．红外和彩色可见光图像亮度-对比度传递融合算法［J］．中国光学，2011，4(2):161-168．

Li G X，Wu W P，Hu J．Luminance-contrast transfer based fusion algorithm for infrared and color visible images［J］．Chinese Optics，2011，4(2):161-168．(in Chinese)

［7］唐艳秋，张星祥，李新娥，等．基于人眼视觉灰度识别特性的图像动态范围小波变换处理方法［J］．液晶与显示，2012，27(3):385-390．

Tang Y Q，Zhang X X，Li X E，et al．Image processing method of dynamic range with wavelet transform based on human visual gray recognition characteristics［J］．Chinese Journal of Liquid Crystals and Displays，2012，27(3):385-390．(in Chinese)

［8］Candès E J，Donoho D L，New tight frames of curvelets and optimal representations of objects with piecewise C2 singularities［J］．Comm on Pure and Appl．Math．，2004，57(2):219-266．

［9］Do M N，Vetterli M．The contourlet transform:an efficient directional multiresolution image representation［J］．IEEE Trans．Image Proc．，2005，14(12):2091-2106．

［10］马苗，万仁远，尹义龙．基于相似性灰关联的Curvelet域多聚焦图像融合［J］．电子学报，2012，40(10):1984-1988．

MA Miao，Ma M，Wan R Y，et al．Multi-focus image fusion based on grey relation of similarity in Curvelet domain［J］．Acta Electronica Sinica，2012，40(10):1984-1988．(in Chinese)

［11］冯鹏，王静，魏彪，等．一种基于Contourlet变换的GFP图像与相衬图像融合算法研究［J］．光电子·激光，2013，24 (1):176-183．

Feng P，Wang J，Wei B，et al．A fusion algorithm for GFP images and phase-contrast images based on Contourlet transform［J］．Journal of Optoelectronics·Laser，2013，24(1):176-183．(in Chinese)

［12］Easley G，Labate D，Lim W Q．Sparse directional image representations using the discrete shearlet transform［J］．Applied and Computational Harmonic Analysis，2008，25(1):25-46．

［13］杨扬．基于多尺度分析的图像融合算法研究［D］．长春:中国科学院大学中国科学院长春光学精密机械与物理研究所，2013:19-25．

YangY．Research on image Fusion algorithms using multiscale analysis［D］．Changchun:University of Chinese Academy of SciencesChangchun Institute of Optics，Fine Mechanics and Physics Chinese Academy of Sciences，2013:19-25．(in Chinese)

［14］王红梅，陈励华，李言俊，等．一种基于显著特征的图像融合算法［J］．西北工业大学学报，2010，28(4):486-490．

Wang H M，Chen L H，Li Y J，et al．A new and more effective image fusion algorithm based on salient feature［J］．Journal of Northwestern Polytechnical University［J］．2010，28(4):486-490．(in Chinese)

［15］郭茂耘，李华锋，柴毅．提升静态小波与自适应PCNN相结合的图像融合算法［J］．光电工程，2010，37(12):67-74．

Guo M Y，Li H F，Chai Y．Image fusion using lifting stationary wavelet transform and adaptive PCNN［J］．Opto-Electronic Engineering，2010，37(12):67-74．(in Chinese)

［16］赵景朝，曲仕茹．基于Curvelet变换与自适应PCNN的红外与可见光图像融合［J］．西北工业大学学报，2011，29 (6):849-853．

Zhao J C，Qu S R．A better algorithm for fusion of infrared and visible image based on curvelet transform and adaptive Pulse Coupled Neural Networks(PCNN)［J］．Journal of Northwestern Polytechnical University，2011，29(6):849-853．(in Chinese)

［17］金星，李晖晖，时丕丽．非下采样Contourlet变换与脉冲耦合神经网络相结合的SAR与多光谱图像融合［J］．中国图像图形学报，2012，17(9):1188-1195．

Jin X，Li H H，Shi P L．SAR and multispectral image fusion algorithm based on pulse coupled neural networks and nonsubsampled Contourlet transform［J］．Journal of Image and Graphics，2012，17(9):1188-1195．(in Chinese)

［18］严春满，郭宝龙，马义德，等．一种新的基于双层PCNN的自适应图像分割算法［J］．光电子·激光，2011，22(7): 1102-1106．

Yan C M，Guo B L，Ma Y D，et al．New adaptive algorithm for image segmentation using the dual-level PCNN model［J］．Journal of Optoelectronics·Laser，2011，22(7):1102-1106．(in Chinese)

［19］王宇庆．基于图像结构信息复数表示与奇异值分解的灰度图像质量评价方法［J］．光电子·激光，2012，23(9): 1827-1834．Wang Y Q．Image quality assessment based on complex number representation of image structure and singular value decomposition［J］．Journal of Optoelectronics·Laser，2012，23(9):1827-1834．(in Chinese)

［20］Phillips R D，Watson L T，Wynne R H，et al．Feature reduction using a singular value decomposition for the iterative guided spectral class rejection hybrid classifier［J］．ISPRS Journal of Photogrammetry and Remote Sensing，2009，64 (1):107-116．

［21］Aznaveh A M，Azadeh M，Azar F T，et al．Image quality measurement besides distortion type classifying［J］．Optical Review，2009，16(1):30-34．

［22］Shnayderman A，Gusev A，Eskicioglu A M．A SVD based grayscale image quality measure for local and global assessment［J］．IEEE Transactions on Image Process，2005，14(2):422-429．

［23］张飞艳，谢伟，陈荣元，等．基于视觉加权的奇异值分解压缩图像质量评价测度［J］．电子与信息学报，2010，32 (5):1061-1065．

Zhang F Y，Xie W，Chen R Y，et al．Compression image quality assessment based on human visual weight and singular value decomposition［J］．Journal of Electronics＆Information Technology，2010，32(5):1061-1065．(in Chinese)

［24］许光宇，檀结庆，钟金琴．自适应的有效非局部图像滤波［J］．中国图象图形学报，2012，17(4):471-479．

Xu G Y，Tan J Q，Zhong J Q．Adaptive efficient non-local image filtering［J］．Journal of Image and Graphics，2012，17 (4):471-479．(in Chinese)

［25］Qu G H，Zhang D L，Yan P F．Information measure for performance of image fusion［J］．Electronic Letters，2002，38(7) :313-315．

［26］Wang Z，Bovik A C Sheik H R，et al．Image Quality Assessment:From error visibility to structural similarity［J］．IEEE Transactions on Image Processing，2004，13(4):600-612．

［27］Xydeas C S，Petrovi V．Objective image fusion performance measure［J］．Electronics Letters，2000，36(4):308-309．

Image fusion algorithm based on local NSST and PCNN

CHEN Guang-qiu1，GAO Yin-han2，CAI Hua1*，LIU Guang-wen1，DUAN Yun-peng3
(1．School of Electronic and Information Engineering，Changchun University of Science and Technology，Changchun 130022，China; 2．State Key Laboratory of Automobile Simulation and Control，Jilin University，Changchun 130022，China; 3．Beijing Institute of Remote Sensing Equipment，Beijing 100854，China)

For enhancing fusion accuracy of multi-modality images，an adaptive image fusion algorithm based on local nonsubsampled shearlet transform(LNSST)and pulse coupled neural networks(PCNN)is proposed．First，source images are decomposed to multi-scale and multi-direction subband images by LNSST．Secondly，local area singular value decomposition in each subband image is done to construct a local structure information index which is served as linking strength of each neuron in PCNN．After the fire processing of PCNN，new fire mapping images of all the subbands are obtained，the clear objects of subband images are selected by the compare-selection operator with the fire mapping images pixel by pixel and then all of them are merged into a group of new clear subband images．Finally，fused subbands are reconstructed to image by local nonsubsampledshearlet inverse transform．Some fusion experiments on several sets of different modality images are done and objective performance assessments are implemented to fusion results．The experimental results indicate that the proposed method performs better in subjective and objective assessments than a few existing typical fusion techniques in the literature and obtains better fusion performance．

image processing;local nonsubsampled shearlet transformation;shift-invariant;pulse coupled neural networks;linking strength

TP391．4

A

10．3788/YJYXS20153004．0701

陈广秋(1977－)，男，吉林九台人，博士研究生，研究方向为图像(序列)配准与融合。E-mail:guangqiu_chen@ 126．com

才华(1977－)，男，吉林长春人，博士，副教授，研究方向为图像处理与机器视觉。

1007-2780(2015)04-0701-12

2014-07-22;

2014-10-09．

吉林省科技发展计划(No．20130101179JC);吉林省公共计算平台资助

*通信联系人，E-mail:caihua@cust．edu．cn