基于改进PCNN模型的偏振图像融合算法∗

姜兆祯 韩裕生 任帅军 张延厚

（1.陆军炮兵防空兵学院信息工程系 合肥 230031）（2.偏振光成像探测技术安徽省重点实验室 合肥 230031）

1 引言

偏振图像可以获得目标与背景的粗糙度、含水量、物质理化及纹理特征等信息，对其进行解析融合处理，可快速识别复杂背景中的目标［1］。金字塔变换是早期用于图像融合领域的算法，福州大学叶银芳［2］等针对红外/被动毫米波图像提出一种基于拉普拉斯金字塔的融合方法，提高了多元传感器获得信息的利用率。但是金字塔因为自身原理性的问题，导致其分解变换得到的子带之间存在相关性。为克服金字塔变换融合方法稳定性的不足，王远军［3］等利用小波变换对医学图像的融合进行改良，既增加了目标的对比度同时抑制了背景噪声。但小波变换的缺点之一就是分解效率低下，所以朱达荣等［4］在小波变换之后选择利用多尺度分解采用非下采样轮廓波变换，对偏振图像进行融合处理，该算法提升了融合效率，减少了耗时，但在最后融合高频和低频子带过程中细节损失较多。为解决上述问题，本文利用双通道PCNN模型将强度参量与偏振度参量融合，实验结果表明本算法相对其他传统算法能够保留目标更多轮廓边缘细节信息，可以将目标有效信息从复杂环境背景中快速识别出来。

2 PCNN的工作原理

本文采用的PCNN模型（Pulse Coupled Neural Network）具有生物学背景，因为其脉冲调制和耦合连接特性而在图像处理领域得到广泛应用［5］。图1为该模型的基本结构［6］。

图1 PCNN神经元模型

PCNN模型主要组成部分有信号接收、调制耦合以及脉冲发生。第一部分主要包括输入和反馈两个通道：Aij和Bij，Aij负责接收网络内其他单元传递的信息Ykl，而Bij负责接收外部激励信息Sij。第二部分的作用主要是调制输入信号，并根据信号数值大小判断能否产生脉冲，数学公式如下：

式中n代表迭代次数，V代表输入电势，α代表衰减时间常数值，β表示耦合链接系数，W和M表示传递信息的强弱程度，Uij为脉冲产生器阈值，Eij表示门限。当阈值大于门限时，神经元点火；当阈值小于门限时，不产生脉冲。

在本文的融合算法中，代表着某个像素的神经元被点火后，将引起该像素邻域内具有相近灰度的其他像素神经元产生脉冲点火。而通过网络内各单元之间的耦合作用，可以减少偏振图像处理中的轮廓边缘以及细节信息损失［7］。

3 融合算法

3.1 算法创新点

针对单通道模型计算量繁多复杂的问题，本文在将单通道PCNN模型改进到双通道模型，有效地提高了融合效率。新模型的数学公式有些许变动：

此外在PCNN模型中存在很多具有不同意义的参数，各参数的取值大小将直接决定最终实验结果效果好坏与否。

神经网络模型中最关键的参数之一就是神经元的链接强度，它可以在很大程度上影响着最终的脉冲激发和调制结果。目前PCNN模型中链接系数的选择多为人工经验值［8］，针对这点，本文将链接系数由固定值改为随区域特征自适应调整，这样可以保证融合图像实验结果更为清晰，细节保留效果更好。

像素的平均梯度（AG）可以表示图像的细节和纹理变换特征［9］。偏振图像的清晰度与其对应的平均梯度成正比。因此，本文采用AG作为模型的链接系数。若H(i，j)表示M×N区域窗口内的中心像素点，则区域窗口内像素的AG表示为

将链接系数设置为对应区域像素的平均梯度，可以反映图像的清晰度，从而可以通过链接强度直接判断图像边缘的保留程度。利用平均梯度作为链接强度的选取依据，可以抵消由区域加窗引起的图像细节丢失、边界轮廓模糊问题。为进一步减弱区域窗口对融合结果的不良影响，本算法将模型的输入项设置为偏振图像区域像素的空间频率。空间频率（SF）表示图像灰度值的总体活跃程度［10］，与平均梯度类似，空间频率的数值与偏振图像的清晰度也是正相关。偏振图像的空间频率定义为

式中，M×N表示区域矩形窗尺寸大小。在本算法AG以及SF的计算过程中，M×N都取中心像素点3×3邻域区域。

3.2 算法实现步骤

本文融合算法实现步骤如下：

1）在改进PCNN模型中输入待融合源图像（强度图与偏振度图像），激励神经元点火，产生脉冲；

2）分别对强度图与偏振度图像中H(i，j)区域的点火次数进行计算；

3）利用空间频率SF激励PCNN神经元，以平均梯度作为链接强度系数，来决定决策图，确定融合系数；

4）根据融合系数重构得到最终强度图与偏振度图像融合结果。

4 偏振图像融合实验

为验证上述方法，本文采用Matlab对强度图和偏振度图进行了融合处理实验。采用的笔记本电脑处理器为Inter（R）Core（TM）i7-4710HQ CPU@2.50GHz，软件版本为Matlab R2016a。数据为本实验室做外场试验时像元耦合相机拍摄所得，像素都为640×512。

对源图像分别运用主成分分析、拉普拉斯金字塔变换、小波变换和本文所述四种融合算法进行融合处理，最后同时运用主观和客观评价指标对四种算法的融合结果进行比较分析。

4.1 融合图像质量客观评价指标

为了使融合效果更有说服力，本文在采用主观肉眼观察实验结果之余，结合客观评价指标对最终融合结果进行综合评价，以定值、定量的形式给出结果［11］。拟打算采用平均梯度、图像信息熵、空间频率和标准差四个指标来对融合结果进行评估。

1）平均梯度

上文已有介绍，此处不加以重复。

2）信息熵

信息熵是计算图像所含信息量的指标［12］。图像的信息熵（EN）定义为

式中，Z表示图像的灰度值，Zi表示相应灰度的概率大小。

3）空间频率

上文已有介绍，不加以重复。

4）标准差

标准差是度量图像信息丰富程度的一个指标［13］。图像的标准差定义为

式中，H(i，j)表示单像素灰度值；Hˉ表示灰度平均值。

4.2 实验结果与分析

对源图像采用本文算法及其他三种常见算法进行融合处理所得结果如下所示。图2、图3、图4分别为第一、二、三组源图像与融合结果图。其中每组图中的图（a）、图（b）为源图像，图（c）为拉普拉斯金字塔算法融合结果，图（d）为PCA法融合结果，图（e）为小波变换算法融合结果，图（f）则为本文算法融合结果。

图2 第一组源图像和融合结果图

图3 第二组源图像和融合结果图

图4 第三组源图像和融合结果图

在公园人物的融合结果中，PCA法丢失了部分小细节，而本文算法结果可以有效从复杂背景中突显出人物的动作及位置信息。拉普拉斯金字塔融合算法结果有明显的信息丢失。小波变换算法效果和拉普拉斯金字塔效果类似。肉眼观察，不论是舰船、汽车还是人物，本文算法融合结果中的目标特征明显，区域细节更加连贯完整，边缘轮廓分明，相比于其他三种算法有着更好的视觉效果。

分别计算三组图片的以上客观评价指标，得到数值大小如表1、表2和表3所示，将表中每个指标的最优值加粗显示。从表中数据可以看出，本文融合算法所得到的结果具有最佳的平均梯度、最大的信息熵、最好的空间频率值以及最大的标准差。

表1 图2中各融合方法评价指标

表2 图3中各融合方法评价指标

表3 图4中各融合方法评价指标

5 结语

为更好利用偏振图像的强度和偏振度信息，本文基于双通道PCNN模型对两种源图像实施融合处理。双通道的PCNN模型有效减小了图像融合过程中的计算量，提高了融合效率。此外，采用偏振图像的区域像素空间频率作为模型输入项，同时将链接系数由固定值改为随图像区域窗口内像素平均梯度变化自适应调整，可有效减少源图像的边缘信息损失，增加纹理细节的保留度，以获得最佳的融合图像。通过实验比较分析本文算法与主成分分析算法、拉普拉斯金字塔算法以及小波变换算法，最终的客观评价指标证明本文所述算法确实要优于其他几种融合算法。