基于NSCT的SAR与可见光图像融合算法

冯 颖, 贺兴时, 薛菁菁， 杨新社,

(1.西安工程大学理学院，西安 710048; 2.密德萨斯大学科学与技术学院，伦敦 NW4 4BT)

0 引言

合成孔径雷达(Synthetic Aperture Radar,SAR)是一种具有全天时、全天候、强穿透力等特点[1]的主动式相干微波遥感系统，能够提供结构信息丰富的SAR图像。但SAR图像中的目标反射特性受频率、反射角和极化方式的影响[2-4]，相同物体可能表现形式不同。光学图像具有影像信息丰富的特点，但光学传感器成像易受到自然天气的影响。因此，将SAR与可见光图像有机融合，可以互相取长补短，获取更丰富的信息[5]。

由于SAR图像与可见光图像差异大，常见的融合方法容易导致细节与纹理信息的丢失。文献[6]基于小波变换的SAR与多光谱图像融合方法，保留了原始多光谱图像的光谱性质，但融合后SAR图像基本表现为分散的点状目标，造成SAR图像重要目标信息的丢失;文献[7]将Contourlet变换应用于SAR与多光谱图像的融合，利用了Contourlet变换的多分辨率、多方向性和较强的轮廓信息表达能力，融合效果有了较大的改善。 非下采样Contourlet变换(NSCT)是一种真正的二维图像表示方法[8]，不仅具有小波变换的多分辨率特性和最佳的时频局部化特性，还具有优良的方向性和和平移不变性。因此，基于NSCT的图像融合方法，能够更好地提取源图像的特征，为融合图像提供更多的有效信息。

1 非下采样Contourlet变换

非下采样轮廓波变换(NSCT)是通过采用非下采样塔形滤波器组(Nonsubsampled Pyramid Filter Bank,NSPFB)和非下采样方向滤器组(Nonsubsampled Directional Filter Bank,NSDFB)来实现的[9-10]，变换过程如图1所示。首先利用NSPFB获得图像的多尺度分解，得到图像的低频子图像和高频子图像，再利用NSDFB对各尺度图像进行方向分解，得到多尺度、多方向的子带图像[11-14]。 NSCT克服了 Contourlet 变换的不足，在分解和重构过程中不进行下采样，因而是一种多尺度、多方向且具有平移不变性的图像分解方法[15-16]。

图 1 NSCT分解的结构框图Fig.1 Construction diagram of NSCT decomposition

2 基于 NSCT 的图像融合算法

针对SAR图像纹理和结构信息丰富，可见光图像光谱信息丰富的特点，本文提出了适用于SAR与可见光图像的融合方法。

2.1 融合计算方法

基于 NSCT 的图像融合详细步骤如下所述。

3) 对融合后的低频子带系数和各尺度层的高频方向子带系数进行 NSCT 逆变换得到融合图像F。

2.2 融合规则

2.2.1 高频系数融合规则

根据高频子带的特点，融合时选择一种混合机制的融合规则。低层信息反映的是图像的概貌信息，且各信息之间邻域相关性很大，为了更好地保留像素邻域的相关性，使边缘线条信息更加自然[17]，则采用基于区域相关系数的区域平均梯度选大融合法；高层信息表达的是图像的细节信息，各信息相关度不高，且区域标准差能较好反映图像的信息量和纹理变换特性，因而对最高层采用区域标准差选大法进行融合。

定义1设HA(i,j)，HB(i,j)分别为SAR和可见光第k层高频子图像在像素点(i,j)处的像素值，则以某像素点(i,j)为中心的5×5邻域内图像的相关系数值为

(1)

相关系数反映了图像的相关程度，两幅图像的相关系数越接近于1，表示图像的接近度越好。

定义2定义区域平均梯度

(2)

平均梯度反映了图像中的微小细节反差和图像的清晰度。平均梯度越大，图像层次越多，表示图像越清晰[18]。

定义3图像的区域标准差为

(3)

1) 最大尺度高频系数融合规则。

(4)

即最高尺度的高频系数采用区域标准差选大的融合规则。

2) 其他高频系数融合规则。

(5)

即如果两幅图像在该区域上差异较大，采用区域平均梯度选大的融合规则。

如果corr(A,B)≥T，则

(6)

式中：w1,w2为自适应调整因子，其算式分别为

(7)

(8)

即如果两幅图像在该区域上的差异较小，选用区域平均梯度加权的融合规则。

2.2.2 低频系数融合规则

低频子带是源图像的近似分量，集中了图像的大多数能量，反映了图像的轮廓。为了更好地利用低频部分特征，本文采用区域熵[19]作为对应低频系数的判别准则。

1)定义4设f(i,j)为像素点(i,j)处的灰度值，p(i,j)为像素点(i,j)处灰度分布概率，则区域熵为

(9)

(10)

式中：S为像素点(i,j)对应区域的区域熵;M×N为以(i,j)为中心的局部邻域，本文取为5×5。

2) 确定融合算子。

当SA(i,j)≠SB(i,j)时，采用区域信息熵选大的融合规则，即

(11)

当SA(i,j)=SB(i,j)时，选取像素值平均的融合规则，即

LF(i,j)=(LA(i,j)+LB(i,j))/2 。

(12)

3 实验结果及分析

为了验证本文融合算法的正确性、有效性和实用性，针对同一场景的SAR图像与可见光图像，分别采用小波方法(方法1)、简单的NSCT变换方法[20](方法2)、基于NSCT-PCNN的融合方法[21](方法3)并进行比较。在方法1和方法2中，采用的融合规则是：低频子图像采用加权平均的融合方法，高频子图像采用系数绝对值选大的融合方法。在方法3中，低频子图像采用加权平均法进行融合，高频采用一种改进的基于PCNN的融合方法。在本文方法、方法2和方法3中，尺度分解滤波器均采用“maxflat”滤波器，方向分解滤波器均采用“dmaxflat”滤波器，均分解为3个尺度。

SAR和可见光图像以及各种融合算法的融合结果如图2、图3所示。图2a、图3a是SAR图像，图2b、图3b是同一场景下的可见光图像。图2c～图2f和图3c～3f分别为SAR与可见光图像采用方法1、方法2、方法3及本文方法的融合结果。从视觉效果看,每一个融合图像基于不同的融合方法和融合规则,其融合效果有不同程度的改善。同时可以明显看出，本文方法使SAR图像的噪声得到了有效的抑制，可见光图像的细节特征信息得到了更为清晰的显示。

图3 第二组图像的融合结果Fig.3 Image fusion results of the second set of images

(13)

(14)

(15)

(16)

式中：L为灰度级总数；pi为某灰度值i在图像中出现的概率；D(P,Q)为两图像的交叉熵，D1,D2分别为两原始图像与融合后图像的交叉熵；E(I)为图像的方差;var(I)为图像的方差。标准差、熵、平均梯度、相关系数、等效视数、互信息值越大，说明图像融合效果越好；均方根总体交叉熵值越小，说明图像融合效果越佳。比较结果见表1。

表1 两组图像融合结果评价

从表1可以看出，本文方法和方法1、方法2相比，可以获得较大的标准差、熵、平均梯度、相关系数(融合图像和SAR图像)、等效视数、互信息，获得较小的均方根总体交叉熵；虽然方法3可以获得最高的熵、标准差、平均梯度，但等效视数、互信息、相关系数是最小的，均方根总体交叉熵是最大的。本文方法能够获得较高的熵、标准差、平均梯度，最高的等效视数、互信息、相关系数和最小的均方根总体交叉熵。这也表明，本文方法的融合结果具有较丰富的信息、较好的噪声抑制效果、较高的清晰度和对比度。综合看来，本文方法要优于其他3种方法。

4 结束语

根据SAR图像与可见光图像的特点，利用NSCT变换的优点，提出一种基于NSCT变换的图像融合算法。此算法在低频子图像采用以区域熵为测度参数进行邻域融合；高频子图像的最高层采用区域标准差选大法进行图像融合，高频子图像的其他层采用以邻域相关系数为阈值，基于平均梯度选择的邻域融合算法。该算法有效捕获了源图像的细节信息与纹理信息，显著改善了SAR图像与可见光图像的融合效果。实验结果表明，本文方法具有一定的有效性和实用性。

[1] 郑永安,陈玉春,宋建社,等.基于提升机制小波变换的SAR与多光谱图像融合算法[J].计算机工程,2006,32(6):195-197.

[2] KULPA K,MALANOWSKI M,MISIUREWICZ J,et al.Radar and optical images fusion using stripmap SAR data with multilook processing[J].International Journal of Electronics & Telecommunications,2011,57(1):37-42.

[3] 陈磊,杨风暴,王志社,等.特征级与像素级相混合的SAR与可见光图像融合[J].光电工程,2014,41(3):55-60.

[4] 宋建社,郑永安,刘迎春.基于小波变换的SAR与可见光图像融合算法[J].计算机应用研究,2004,21(10):110-111.

[5] 陈木生,蔡植善.基于NSCT的红外与可见光图像融合方法研究[J].激光与光电子学进展,2015,52(6):114-119.

[6] CHEN S H,ZHANG R H,SU H B.SAR and multi-spectral image fusion using generalized IHS transform based on à trous wavelet and EMD decompositions[J].IEEE Sensors Journals,2010,10(3):737-745.

[7] HUANG D S,YANG M H.SAR and multi-spectral images fusion based on contourlet and HIS transform[C]//Proceeding of the 6th International Conference on Wireless Communications Networking and Mobile Computing,2010:1-4.

[8] CUNHA A L,ZHOU J P,DO M N.The nonsubsampled contourlet transform:theory,design and applications[J].IEEE Transactions on Image Processing,2006,15(10):3089-3101.

[9] 时丕丽,郭雷,李晖晖.基于NSCT的SAR与可见光图像融合方法[J].计算机应用研究,2013,30(5):1568-1570.

[10] 靳珍怡,王远军.基于非下采样轮廓波变换的多模态医学图像融合[J].中国医学物理学杂志,2016,33(5):445-450.

[11] 钟微宇,沈汀.基于NSCT域邻域收缩的SAR图像去噪[J].计算机工程与应用,2014,50(12):188-193.

[12] 鲍程辉,朱康,贺新光.基于非下采样Contourlet系数局部特征的遥感图像融合方法[J].计算机科学,2014,41(3):310-313.

[13] LIU H,ZHU T,ZHAO J.Infrared and visual image fusion based on region of interest detection and nonsubsampled contourlet transform[J].Journal of Shanghai Jiaotong University:Science,2013,18(5):526-534.

[14] GE W,JI P C,ZHAO T C.Infrared image and visual ima-ge fusion algorithm based on NSCT and improved weight average[C]//The 6th International Conference on Intelligent Systems Design and Engineering Applications,2015:456-459.

[15] 王跃华,陶忠祥.基于NSCT的红外与可见光图像融合算法[J].四川兵工学报,2012,33(7):117-119.

[16] 王跃华,陶忠祥.一种基于NSCT变换的红外与可见光图像融合算法[J].光学与光电技术,2012,10(4):81-84.

[17] 王丹.基于小波分析的像素级图像融合算法研究[D].重庆:重庆大学,2009.

[18] 曾立庆,蒋年德.基于邻域内相关系数与平均梯度的图像融合方法[J].计算机工程与设计,2010,31(7):1533-1535.

[19] WANG A L,QI C Y,HAN Y,et al.Multifocus image fusion based on nonsubsampled contourlet transform[C]//The 7th International Forum on Strategic Technology (IFOST),2012:18-21.

[20] 张雄美,李俊山,易昭湘,等.非抽样轮廓波变换域图像融合方法研究[J].电光与控制,2008,15(7):16-19.

[21] 李美丽,李言俊,王红梅,等.基于NSCT和PCNN的红外与可见光图像融合方法[J].光电工程,2010,37(6):90-95.

[22] 李晖晖,郭雷,李国新.基于脊波变换的SAR与可见光图像融合研究[J].西北工业大学学报,2006,24(4):418-422.