改进的PCNN模型在多光谱与全色图像融合中的应用研究

段先华+操佳佳+刘佳

摘 要： 介绍了PCNN模型原理，提出了基于双通道自适应的PCNN多光谱与全色图像融合算法。该算法首先将RGB空间的多光谱图像转换为HSV彩色空间，然后将HSV彩色空间中的非彩色通道（V通道）的灰度像素值和全色图像的像素灰度值分别作为PCNN?1及PCNN?2的神经元输入，利用方向性信息作为自适应链接强度系数，对非彩色通道图像和全色图像进行自适应分解，再将点火时间序列送入判决因子得到新的非彩色通道图像，最后将原多光谱图像的H通道分量、S通道分量及新的V通道分量经HSV空间逆变换获得最终的融合图像。实验结果表明，该算法不仅解决了链接强度系数自动设置的问题，而且充分考虑到图像边缘和方向特征的影响，无论在主观视觉效果，还是客观评价标准上均优于IHS、PCA、小波融合等其他图像融合算法，同时降低了计算复杂度。

关键词： 遥感图像； 图像融合； PCNN模型； HSV彩色空间

中图分类号： TN911.73?34 文献标识码： A 文章编号： 1004?373X（2014）03?0055?06

Application research of modified PCNN model in multispectral

and panchromatic images fusion

DUAN Xian?hua， CAO Jia?jia， LIU Jia

（College of Computer Science and Engineering， Jiangsu University of Science and Technology， Zhenjiang 212003， China）

Abstract： The principle of PCNN model is introduced， and an image fusion algorithm of multispectral and panchromatic based on adaptive dual?channel PCNN is proposed. Firstly the multispectral image of RGB space is converted to HSV color space， and then the gray level of achromatic channel （channel V） in HSV color space and gray level of panchromatic images are entered as PCNN?1 and PCNN?2 neurons respectively， using orientation information as an adaptive link strength factor to achieve adaptive decomposition for achromatic channel and panchromatic images. The duration of ignition sequence is sent to judgment factor to get new of achromatic channel image. Finally the final fused image is obtained through HSV space inverse transformation of H channel component， S Channel component and new V?channel component of original multispectral image. Experimental results show that the algorithm not only solved the problem of automatically setting linking strength factor， but also took full account of the effect of image edge and directional characteristics. No matter the subjective visual effect， or objective evaluation standards they are all better than other image fusion algorithms such as IHS， PCA， wavelet transform image fusion， the computational complexity is reduced in the meantime.

Keywords： remote sensing image； image fusion； PCNN model； HSV color space

0 引 言

多光谱图像具有较高的光谱分辨率和较低的空间分辨率，全色图像的空间分辨率较高，但具有较低的光谱分辨率。在遥感应用领域，有时会要求图像的空间分辨率和光谱分辨率都比较高，但由于技术条件的限制，很难提供这样的数据。因此，为了获得较高的空间分辨率同时保留多光谱图像的光谱特性，将多光谱图像和全色图像进行融合成为了图像融合领域的研究热点。自 20 世纪研究者们开始对遥感图像融合技术关注以来，针对多光谱与全色图像融合提出了大量算法，大致可分为两大类[1]：基于彩色空间分量替换的融合方法和基于多分辨率分析的融合方法。基于彩色空间分量替换的融合一般是在图像的像素灰度空间上进行融合，如 IHS[2]、Brovey[3]及 PCA变换法[4]等均属于此类算法。而基于多分辨率分析的融合是先对待融合的多源图像进行图像变换，对变换后的系数进行重新组合，依据分解方式不同可分为基于金字塔变换的融合算法、基于小波变换的融合算法以及基于多尺度几何变换的融合算法[5]。基于彩色空间分量替换和基于多分辨率分析的融合算法是通过特征点的融合增强来获取关于目标或区域更完整的信息，多用于像素级的图像融合。与像素级融合相比，决策级融合更完善，实时性最好[6]。决策级图像融合是指对来自不同传感器的多幅图像信息进行逻辑或统计推理的过程。首先对获取的多传感器图像进行处理，然后得出各自的决策，最后再根据一定的融合规则作出最优的结论。目前，基于神经网络的决策级融合算法是研究的热点。脉冲耦合神经网络（Pulse Coupled Neural Network，PCNN）作为单层模型的神经网络，不需要训练过程即可实现模式识别、图像分割及目标分类等，因此非常适合实时的图像融合处理[7]。Wei Li等人提出了一种基于小波包分解与PCNN相结合的图像融合方法[8]，它将PCNN网络的脉冲输出量作为图像融合的准则，但实验结果表明该方法融合图像后易出现边缘移位的现象。武治国等人设计实现了一种基于自适应PCNN和小波变换的融合技术[9]，该方法充分利用PCNN同步激发特性，使用小波系数图的局部熵作为神经元的自适应链接强度，取得了较好的融合结果。本文在综合分析了 PCNN 原理的基础上，结合一种直观的颜色模型（HSV颜色模型），提出一种基于双通道自适应的 PCNN 图像融合算法。

1 PCNN模型及其改进

1.1 PCNN模型及其基本原理

PCNN是一种不同于传统人工神经网络的新型神经网络，它是由若干个神经元互相连接而成的反馈型网络，构成PCNN神经元是一个综合的动态非线性系统，它包括接受域、调制耦合器和脉冲产生器三部分，如图1所示。同时PCNN模型具有神经元捕获特性，即某神经元点火后，会引起亮度与该神经元相近的邻近神经元捕获点火，这是一种自动实现信息耦合和信息传递的过程。

在PCNN模型中，接受域包括反馈输入和连接输入域，分别接受来自其他神经元的输出[Yij]与外部激励信号[Sij，]然后再经漏电容积分及加权求和后形成反馈输入信号[Fij]和连接输入信号[Lij；]对于调制部分，将来自反馈域和连接域的信号按照非线性原理相乘调制，得到内部活动信号[Uij，]而突触间的连接强度系数[β]的取值决定了[Uij]的活跃程度；脉冲产生器将[Uij]与动态阈值[θij]相比较，若[Uij>θij，]脉冲发生器打开（称该神经元点火），输出为1，通过反馈，[θij]在阈值发生器中迅速提高，当其值大于[Uij]时，脉冲发生器就关闭了，输出为0，从而形成了脉冲信号。上述模型每个神经元[Nij]的离散数学方程表达式如下：

[Fij（n）=e-αFF（n-1）+VFklMijklYkl（n-1）+Sij] （1）

[Lij（n）=e-αLLij（n-1）+VLklWijklYkl（n-1）] （2）

[Uij（n）=Fij（n）（1+βLij（n））] （3）

[θij（n）=e-αθθ（n-1）+VθYij（n-1）] （4）

[Yij（n）=1，Uij（n）θij（n）0，Uij（n）<θij（n）] （5）

其中：[（i，j）]为神经元的标号；[k，l]表示与周围神经元连接的范围；[Fij（n）]是神经元在第[n]次迭代时的反馈输入；[Sij]为外部输入激励，通常是点[（i，j）]的像素灰度值；[Lij（n）]是神经元的线性连接输入；[β]为突触间的连接强度系数；[Uij（n）]是神经元的内部活动项；[θij（n）]为变阈值函数输出；[Yij（n）]则是第[n]次迭代时[（i，j）]神经元的二值输出；[Mijkl]和[Wijkl]是神经元的突触连接权系数矩阵；[αF，][αL，][αθ]为时间衰减常数，[VF，][VL，][Vθ]为放大系数；[n]表示迭代次数。

图1 PCNN的神经元模型

1.2 PCNN模型的改进

PCNN是一种多参数的神经网络，其应用效果的好坏在很大程度上取决于参数的设置，因此就存在最优参数寻找的问题。近年来，对于连接系数、阈值放大系数及迭代次数等参数设置仍需通过反复实验来逐步设定，明显制约着PCNN应用的深度和广度。目前，已有学者对PCNN参数自动设定问题进行了深入研究[10?13]，主要集中在以下两类：一类是在固定其他参数的情况下，只讨论某单个参数的自动设定方法；另一类是简化PCNN模型，在减少参数个数的情况下，讨论其自动设定方法，这类是现阶段研究的热点。为了弥补PCNN在图像处理中存在参数自适应差的缺点，对传统模型进行简化和改进。假设神经元的反馈输入[Fij]只接受外部刺激输入信号[Sij，]则图1的神经元模型采用文献[14]提出的简化模型，如图2所示。

因此，简化的PCNN模型中式（1）用下式表示：

[Fij（n）=Sij] （6）

为减少计算量，提高计算效率，将PCNN每个神经元输出的阈值[θij（n）] 作为神经元的输出，则式（5）表示为：

[Yij（n）=θij（n），Uij（n）θij（n）0，Uij（n）<θij（n）] （7）

图2 PCNN神经元的简化模型

1.3 自适应链接强度[β]的确定

链接强度[β]的大小直接关系到输入源图像在最终融合图像中所占的权重，因此[β]的选取对PCNN模型的应用效果会产生较大的影响。PCNN中链接强度[β]应与图像该像素处的特征信息有一定的关系，这种关系会随着图像特征变化的不同而自适应的调整。本文根据人眼视觉对方向特征和边缘等信息更加敏感的特点以及图像自身拥有的特征明显和不明显这两类差异区域的基本特性，利用方向性信息作为自适应链接强度。

对于给定的一幅图像[I]，第[（i，j）]个像素表示为[I（i，j），]同时定义局部图像的方向信息[15]（Orientation Information）测量如下：

[O（I（i，j））=dθmax-dθmin] （8）

[dθmax=max0°θ180°（dθ）] （9）

[dθmin=min0°θ180°（dθ）] （10）

[dθ=fAL-fAR] （11）

[fAL=（i，j）∈ALI（i，j）] （12）

[fAR=（i，j）∈ARI（i，j）] （13）

式中：[AL]和[AR]分别代表给定的局域图像的左右区域；[lθ]是通过像素[（i，j）]的线，具体说明如图3所示。通过方向信息测量可以检测出所有的像素并且计算出空域的方向角度，为了减少计算量和复杂性，在[5×5]滑动窗口中进行方向信息的测量。如果一个图像块是平滑的，没有尖锐的边缘和丰富的纹理，那么方向信息值就很小。所以，利用方向性信息作为自适应链接强度[β]的数值是合理的。

假设源图像分别为[I1，][I2；][β1ij，][β2ij]分别是[I1，][I2]对应通道的链接强度系数，则：

[β1ij=11+e-ηO（I（i，j））β2ij=11+eηO（I（i，j））] （14）

其中：[O（I（i，j））=O（I1（i，j））-O（I2（i，j））]，[η>0]是一个常数调节因子，用来调节链接强度[βij]的数值。若[O（I1）>O（I2），]则图像邻域内[I1]比[I2]的方向信息明显，对应神经元的链接强度[βij]就较大，则在最终融合图像中所占的加权权重就越大。因此，根据图像邻域窗内像素的方向信息变化情况来自适应地调整PCNN的链接强度，从而更符合人眼视觉对边缘和方向特征等信息更加敏感特点，更加有利于提高图像融合效果。

图3 方向信息测量

2 HSV彩色空间传递

HSV（Hue、Saturation、Value）模型在1978年由Alvy Ray Smith创立，是对RGB色彩空间中点的关系的表示，它尝试描述比RGB更准确的感知颜色联系，并仍保持在计算上简单。HSV 颜色模型是面向用户的，对用户来说是一种直观的颜色模型，符合人眼对颜色的感觉。

2.1 RGB空间到HSV空间转换

由于HSV是设备依赖的RGB的简单变换，（H，S，V）三元组定义的颜色依赖于所使用的特定红色、绿色和蓝色。每个独特的RGB设备都伴随着一个独特的HSV空间。RGB空间与HSV 空间的转换关系如式（15）～式（17）所示。式中，（r，g，b）分别是一个颜色的红、绿和蓝分量，max等价于r，g和b中的最大者，min等于这些值中的最小者。

[h=0°if max=min60°×g-bmax-min+0°if max=r and gb60°×g-bmax-min+360°if max=r and g

[s=0if max=0max-minmaxotherwise] （16）

[v=max] （17）

2.2 HSV空间到RGB空间转换

通过式（18）～式（23）把图像从HSV空间转换到RGB空间。

[hi=h60 mod 6] （18）

[f=h60-hi] （19）

[p=v×（1-s）] （20）

[q=v×（1-f×s）] （21）

[t=v×（1-（f×s）×s）] （22）

[（r，g，b）=（v，t，p）if hi=0（q，v，p）if hi=1（p，v，t）if hi=2（p，q，v）if hi=3（t，p，v）if hi=4（v，p，q）if hi=5] （23）

3 融合算法实现过程

图4为基于双通道自适应 PCNN 的多光谱与全色图像融合算法的实现框图，下面将对此框图做详细描述。

图4 双通道自适应PCNN图像融合示意图

3.1 彩色空间转换

根据 2.1节内容，利用HSV变换对配准后的多光谱图像进行RGB?HSV彩色空间转换，将其分解为H（色调）、S（饱和度）、V（亮度）3个通道。

3.2 双通道 PCNN 参数设置

选取彩色空间转换后V通道的灰度像素值和全色图像的像素灰度值分别作为PCNN?1及PCNN?2的神经元输入，每个神经元与其3×3邻域中的其他神经元相连，并按式（14）计算连接系数[β。]然后将其与反馈输入和连接输入加权到内部活动项，并积累到超出一个动态门限，从而产生一个输出脉冲。每个神经元的输出只有两种状态：点火或者不点火。PCNN模型的主要参数设置如下：平衡因子[σ=-0.1，]阈值衰减时间值[αE=0.5，]阈值放大系数[VE=220，][η]= 0.01，输入的像素值为归一化后的灰度值。

3.3 自适应融合处理

根据上述参数设置，将V通道图像和全色图像的像素值输入双通道PCNN，在PCNN分解结束后得到输出点火时间图[Y1ij、][Y2ij。]然后，将双通道PCNN分解输出的点火时间图[Y1ij]和[Y2ij]输入到判决因子中，根据神经元点火时间情况判断目标是在V通道图像中[IA]还是在全色图像中[IB，]即：

[F（i，j）=（r，g，b）=IA（i，j），Y1ij（i，j）>Y2ij（i，j）IB（i，j），Y1ij（i，j）

3.4 彩色空间逆变换

在进行彩色空间逆变换时，原多光谱图像的彩色通道H和S保持不变，而非彩色通道V被判决因子输出的灰度融合图像[F（i，j）]所替代。

4 实验结果分析

为了测试本文融合算法的有效性，用两组IKONOS 卫星图像进行仿真实验，采用IKNOS 1 m全色和4 m的多光谱数据，采用最近邻法进行重采样，避免插值引起的光谱退化，像元分辨率为1 m，完成全色和多光谱数据空间上的配准。并与目前常用的IHS、PCA、小波融合（小波基是长度为13的Daubechies小波基，小波变换级数[n=3]）以及链接强度取固定值（0.01，0.03）的方法进行融合结果比较，结果如图5，图6所示。

在融合效果的客观评价中，从信息熵、空间频率、相关系数、光谱扭曲度、偏差指数5方面进行比较。其中，信息熵和光谱扭曲度均取R、G、B三个波段的均值。表1，表2给出了上述各种融合算法所对应的客观评价结果。

表1 第一幅IKONOS卫星图像下不同方法的融合性能评价

[融合方法＼&信息熵＼&空间频率＼&相关系数＼&光谱扭曲度＼&偏差指数＼&IHS＼&7.425 6＼&27.263 0＼&0.721 8＼&29.430 1＼&0.287 2＼&PCA＼&7.410 6＼&26.681 4＼&0.728 4＼&27.000 1＼&0.255 0＼&小波方法＼&7.613 5＼&26.079 4＼&0.769 3＼&27.284 8＼&0.266 6＼&链接强度固定＼&7.621 4＼&29.073 4＼&0.769 0＼&27.310 3＼&0.266 8＼&自适应链接强度＼&7.621 2＼&29.069 5＼&0.893 5＼&17.379 0＼&0.182 3＼&]

表2 第二幅IKONOS卫星图像下不同方法的融合性能评价

[融合方法＼&信息熵＼&空间频率＼&相关系数＼&光谱扭曲度＼&偏差指数＼&IHS＼&7.626 4＼&57.287 7＼&0.627 0＼&36.328 3＼&0.695 44＼&PCA＼&6.934 7＼&35.331 1＼&0.623 2＼&41.237 4＼&0.493 41＼&小波方法＼&7.639 4＼&56.519 9＼&0.656 6＼&33.483 4＼&0.579 99＼&链接强度

固定＼&7.827 0＼&64.980 5＼&0.651 9＼&41.036 1＼&0.443 31＼&自适应链接

强度＼&7.673 3＼&58.556 4＼&0.815 1＼&25.331 0＼&0.440 49＼&]

从实验结果图5，图6及表1，表2可以看出，本文提出的融合方法除了在光谱能力保持方面略逊于小波融合方法，其他各项客观评价上都明显优于其他算法。综合视觉分析的主观评价得出以下结论：

（1） 从信息熵来看，IHS 算法、PCA算法和小波融合算法（图5（c）～（f）、图6（c）～（f））在融合图像信息的提取上没有改进的PCNN模型算法对图像信息的提取效果好，因为改进的PCNN模型算法是通过相似状态神经元同步激发特征来实现的，因此相比之下信息提取效果更优。

（2） 从空间频率来看，IHS 算法和 PCA 算法和小波融合算法由于没有进行任何方向性的提取，其边缘信息的保存量最低，空间活跃程度较小；而改进的自适应 PCNN 融合算法在处理图像时，其输出具有尺度和位移不变性，空间活跃程度较大，融合效果更优。

（3） 从相关系数、光谱扭曲度、偏差指数来看，IHS 算法，PCA算法利用全色图像直接替换第一主分量，与第一主分量图像的相似程度小，往往不能得到很好的结果，小波图像融合是通过特征点的融合来获取目标或区域更完整的信息，光谱能力保持得较好，而改进的 PCNN模型算法由于将全色图像与第一主分量进行了融合，相似程度提高了，融合图像的光谱能力保持最好。

（4） 采用自适应链接强度的算法，除了信息熵和空间频率略低于取固定值（0.01，0.03）链接强度的算法，其他指标包括相关系数、光谱扭曲度和偏差系数要明显好于取固定值的链接强度。而且固定值是经过反复试验对比后确定的，通用性比较差。所以，根据图像本身来自适应地取链接强度更具有通用性。

5 结 论

本文在综合分析了PCNN原理的基础上，结合一种直观的颜色模型（HSV颜色模型），提出一种基于双通道自适应的PCNN多光谱与全色图像融合算法。该算法首先将RGB空间的多光谱图像转换为HSV彩色空间，然后通过简化传统的PCNN模型及利用方向性信息作为自适应链接强度系数对全色图像和HSV彩色空间中的非彩色通道（V通道）图像进行自适应分解，再将点火时间序列送入判决因子得到新的非彩色通道图像，最后将原多光谱图像的H通道分量、S通道分量及新的V通道分量经HSV空间逆变换获得最终的融合图像。实验结果表明，该算法不仅解决了传统PCNN模型用于图像处理时参数过多且无法自动设置的问题，而且充分考虑到像素间的相关性及噪声突变影响，无论在主观视觉效果，还是客观评价标准上均优于IHS、PCA等其他图像融合算法，同时降低了计算复杂度。

参考文献

[1] 周前祥，敬忠良，姜世忠.不同光谱与空间分辨率遥感图像融合方法的理论研究[J].遥感技术应用，2003，18（1）：41?46.

[2] CHIBANI Y， HOUACINE A. The joint use of IHS transform and redundant wavelet decomposition for fusing multispectral and panchromatic images [J]. International Journal of Remote Sensing， 2002， 23（18）： 3821?3833.

[3] ZHANG Y. A new merging method and its spectral and spatial effects [J]. International Journal of Remote Sensing， 1999， 20（10）： 2003?2014.

[4] JIA Y H. Fusion of Landsat TM and SAR images based on principal component analysis [J]. Remote Sensing Technology and Application， 1998， 13（1）： 46?49.

[5] 焦李成，谭山.图像的多尺度几何分析：回顾和展望[J].电子学报，2003，31（12A）：1975?1981.

[7] 史飞.脉冲耦合神经网络在图像处理中的应用研究[D].兰州：兰州大学，2003.

[8] 武治国，王延杰，李桂菊.应用小波变换的自适应脉冲耦合神经网络在图像融合中的应用[J].光学精密工程，2010，18（3）：708?715.

[9] 李玲玲，丁明跃，周成平，等.一种基于提升小波变换的快速图像融合方法[J].小型微型计算机系统，2005，26（4）：667?670.

[10] 苗启广，王宝树.基于局部对比度的自适应 PCNN 图像融合[J].计算机学报，2008，31（5）：875?880.

[11] WANG Zhao?bin， MA Yi?de. Dual?channel PCNN and its application in the field of image fusion [C]// Proceedings of 3rd International Conference on Natural Computation. Haikou， China： ICNC， 2007， 1： 755?759.

[12] 李敏，蔡骋，谈正.基于修正PCNN的多传感器图像融合方法[J].中国图象图形学报，2008，13（2）：284?290.

[13] 苗启广，王宝树.一种自适应PCNN多聚焦图像融合新算法[J].电子信息学报，2006，28（3）：466?470.

[14] CHAI Y， LI H F， GUO M Y. Multifocus image fusion scheme based on features of multiscale products and PCNN in lifting stationary wavelet domain [J]. Optics Communications， 2011， 284（5）： 1146?1158.

[15] WANG Xin?nian， LIANG De?qun. Orientation information measure based image restoration [C]// Proceedings of 2003 International Conference on Machine Learning and Cybernetics. Xian， China： ICMLC， 2003， 5： 2925?2930.

[7] 史飞.脉冲耦合神经网络在图像处理中的应用研究[D].兰州：兰州大学，2003.

[8] 武治国，王延杰，李桂菊.应用小波变换的自适应脉冲耦合神经网络在图像融合中的应用[J].光学精密工程，2010，18（3）：708?715.

[9] 李玲玲，丁明跃，周成平，等.一种基于提升小波变换的快速图像融合方法[J].小型微型计算机系统，2005，26（4）：667?670.

[10] 苗启广，王宝树.基于局部对比度的自适应 PCNN 图像融合[J].计算机学报，2008，31（5）：875?880.

[11] WANG Zhao?bin， MA Yi?de. Dual?channel PCNN and its application in the field of image fusion [C]// Proceedings of 3rd International Conference on Natural Computation. Haikou， China： ICNC， 2007， 1： 755?759.

[12] 李敏，蔡骋，谈正.基于修正PCNN的多传感器图像融合方法[J].中国图象图形学报，2008，13（2）：284?290.

[13] 苗启广，王宝树.一种自适应PCNN多聚焦图像融合新算法[J].电子信息学报，2006，28（3）：466?470.

[14] CHAI Y， LI H F， GUO M Y. Multifocus image fusion scheme based on features of multiscale products and PCNN in lifting stationary wavelet domain [J]. Optics Communications， 2011， 284（5）： 1146?1158.

[15] WANG Xin?nian， LIANG De?qun. Orientation information measure based image restoration [C]// Proceedings of 2003 International Conference on Machine Learning and Cybernetics. Xian， China： ICMLC， 2003， 5： 2925?2930.

[7] 史飞.脉冲耦合神经网络在图像处理中的应用研究[D].兰州：兰州大学，2003.

[8] 武治国，王延杰，李桂菊.应用小波变换的自适应脉冲耦合神经网络在图像融合中的应用[J].光学精密工程，2010，18（3）：708?715.

[9] 李玲玲，丁明跃，周成平，等.一种基于提升小波变换的快速图像融合方法[J].小型微型计算机系统，2005，26（4）：667?670.

[10] 苗启广，王宝树.基于局部对比度的自适应 PCNN 图像融合[J].计算机学报，2008，31（5）：875?880.

[11] WANG Zhao?bin， MA Yi?de. Dual?channel PCNN and its application in the field of image fusion [C]// Proceedings of 3rd International Conference on Natural Computation. Haikou， China： ICNC， 2007， 1： 755?759.

[12] 李敏，蔡骋，谈正.基于修正PCNN的多传感器图像融合方法[J].中国图象图形学报，2008，13（2）：284?290.

[13] 苗启广，王宝树.一种自适应PCNN多聚焦图像融合新算法[J].电子信息学报，2006，28（3）：466?470.

[14] CHAI Y， LI H F， GUO M Y. Multifocus image fusion scheme based on features of multiscale products and PCNN in lifting stationary wavelet domain [J]. Optics Communications， 2011， 284（5）： 1146?1158.

[15] WANG Xin?nian， LIANG De?qun. Orientation information measure based image restoration [C]// Proceedings of 2003 International Conference on Machine Learning and Cybernetics. Xian， China： ICMLC， 2003， 5： 2925?2930.