基于模糊逻辑与NSCT的彩色图像融合

王　奎,李卫华,李小春

(空军工程大学 信息与导航学院,陕西 西安　710077)



基于模糊逻辑与NSCT的彩色图像融合

王奎,李卫华,李小春

(空军工程大学 信息与导航学院,陕西 西安710077)

摘要针对灰度融合图像色彩单一,视觉效果不佳的问题,提出了一种基于NSCT变换与模糊逻辑的多聚焦彩色图像融合算法。首先对彩色图像进行IHS变换,然后对亮度分量I进行NSCT分解,采用高斯隶属度函数确定低频分量自适应加权系数,对高频系数采用"模值取大"的融合准则进行融合,再通过NSCT逆变换,得到融合后的亮度分量,并由此计算融合后的色度分量和饱和度分量,实现彩色图像的融合。实验结果表明,该方法得到的融合图像色彩鲜明、边缘细节清晰、更加符合人眼视觉。

关键词模糊逻辑;非下采样Contourlet变换;彩色图像;图像融合

图像融合是对包含同一个场景的两幅或两幅以上图像中重要的有用信息加以综合,高效利用待融合图像间的互补信息来获取一幅新的对研究对象描述更精准、更详细、更可靠的融合图像[1]。这也使得图像融合技术广泛应用于安全监控、医疗卫生、遥感探测、航空航天等领域[2]。

在一维信号处理方面,小波变换具有良好的性能,可对有限个奇异点的一维分段光滑函数进行最优表示。因此,小波变换被当做一种重要的算法广泛应用于图像融合领域。但在二维信号处理方面,小波变换对奇异的线和面不具有稀疏性。尤其是当分解尺度变小时,会出现大量不可忽略的小波系数,使得小波变换不能对原函数进行最优表示。此外,小波变换只能在水平、垂直以及对角线3个方向上对图像进行分解,不能精确地表达图像边缘细节的方向信息,导致融合图像在重构过程中容易产生虚假边缘,造成模糊降低图像融合质量。且小波变换不具有平移不变性,这也在某种程度上限制了小波变换的应用。针对小波变换的缺陷,Cun ha和Do等提出了一种能够稀疏表示图像线奇异特性的非下采样Contourlet变换(NSCT)[3],该变换还具有多方向性和平移不变性,是一种更全面、更精确、更可靠的图像融合方法。对彩色图像融合过程中,RGB模型中这3个分量相互之间紧密关联,对上述3个变量进行处理会带来颜色信息的丢失和错乱,容易导致图像失真。因此本文采用IHS模型来实现彩色图像融合。在IHS模型中,亮度I、色度H、饱和度S三者相对独立。对亮度分量I采用NSCT变换,然后进行融合,最后根据融合后的亮度分量I来确定色度分量H和饱和度分量S,从而减少算法的计算量,降低融合图像变色和失真的不确定因素。

模糊数学(Fuzzy Mathematics)[4]通过隶属度函数处理不确定性问题,对于问题归宿给出隶属程度,在处理非确定问题上,有着其他方法所没有的优越性和高效性。因此,采用模糊逻辑来解决图像融合过程中的不确定性问题。基于以上考虑,提出一种基于模糊逻辑[4]与NSCT的彩色图像融合算法。对多聚焦彩色图像首先对彩色图像进行IHS变换,然后对亮度分量I进行NSCT分解,针对图像融合过程中融入待融合图像信息程度的不确定性,采用基于模糊逻辑(Fuzzy Logic)的融合规则指导图像的融合,对分解后的低频系数采用“自适应加权”融合规则,对高频系数采用“模值取大”融合准则进行融合,再进行NSCT逆变换,得到融合后的亮度分量,并由此计算融合后的饱和度分量和色度分量,从而实现彩色图像的融合,降低图像融合变色和失真的不确定性因素,大幅提高融合图像的可视化效果。

1图像的非下采样Contourlet变换

2002年,M.N.Do和M.Vetterli提出的Contourlet变换是一种对二维图像进行稀疏表示的有效方法[5]。同时,Contourlet变换的多方向性远优于小波变换,且还具有小波变换不具备的高维空间的各向异性。Contourlet变换可通过塔式方向滤波器组来实现。塔式方向滤波器组是由一个拉普拉斯金字塔和一组方向滤波器级联构成,二者之间相互独立。待融合图像首先经过塔式滤波器作多尺度分解,在每个尺度上,方向滤波器组将分解后得到的带通信号划分为多个方向子带。Contourlet变换是先对信号进行采样然后再经过滤波器进行多尺度多方向分解,这使得图像融合过程中容易产生Pseudo-Gibbs 效应,降低融合图像质量。于是,2006年,L.Da.Cunha等人对Contourlet变换进行改进提出了非下采样Contourlet变换(Nonsub Sampled Contourlet Transform,NSCT)[4]。NSCT取消了多尺度、多方向分解过程中的信号采样环节,使得NSCT变换具有平移不变性,有效地消除了Pseudo-Gibbs现象[6]。非下采样Contourlet变换首先采用非下采样金字塔滤波器(Nonsubsampled Pyramid Filter Banks,NSPFB)对图像进行多尺度分解[7],然后再采用非下采样方向滤波器组(Nonsubsampled Directional Filter Banks,NSDFB)对得到的各尺度子带图像进行方向分解[7],如图1所示。

图1　NSCT结构示意图

2模糊逻辑

模糊逻辑通过隶属度函数来对模糊概念进行精确描述,灵活简便、易于理解、对非精确数据具有包容性。在图像融合领域,不同目标场景对应像素与整幅图像之间的关系具有不确定性,这种不确定性可通过定义模糊隶属度函数[8]来进行定量描述。因此,模糊隶属度函数的确定对图像融合有着决定性的作用。

所有研究对象构成的集合为U,称U为论域。对于论域中的元素x,U的模糊集合A

(1)

式中,μA(x)即为模糊集合A的隶属度函数;μA(x)称为x对模糊集合A的隶属度,隶属度的映射区间为0～1之间的连续变化。

常用的隶属度函数主要有高斯隶属度函数[8]、广义钟形隶属度函数和三角形隶属度函数等。本文采用高斯隶属度函数作为加权系数应用于图像融合准则。高斯隶属度函数的表达式为

(2)

式(2)中,μ代表该函数的中心;σ通常为正,决定了函数的宽度。

3融合规则

假设用于融合的两幅彩色图像已经经过严格的空间配准,具体的融合步骤为:

步骤1对彩色图像进行IHS变换,如下式

(3)

H=tan-1(V2/V1)

(4)

(5)

通过IHS变换分别得到彩色图像的亮度分量、色度分量和饱和度分量;

步骤2通过NSCT变换对亮度分量I进行多尺度分解,分别得到亮度分量的低频部分和高频部分;

步骤3对低频部分采用高斯隶属度函数来确定加权系数进行融合,对高频部分采用模值取大来对亮度分量进行融合,然后进行NSCT逆变换得到融合后的亮度分量IF;

步骤4根据融合后的亮度分量IF来确定融合图像的色度分量HF和饱和度分量SF,具体方法如下[9]

(6)

(7)

步骤5通过IHS逆变换得到融合后视觉效果良好的RGB彩色图像。IHS逆变换如下

(8)

其中

V1=S·cos(H)

(9)

V2=S·sin(H)

(10)

3.1低频融合规则

通过NSCT变换后的低频子带部分保留了待融合图像亮度分量大部分的主要信息,为更好地保留这些重要信息,针对图像融合过程中融入源图像信息程度的不确定性,本文提出一种基于模糊逻辑的自适应加权平均融合准则,采用高斯隶属度函数来确定图像的融合自适应加权系数

(11)

η1(i,j)=1-η0(i,j)

(12)

上式中,μ表示低频子带图像像素均值;σ表示低频子带图像像素方差;k为常数。则低频融合规则为

CF(i,j)=η0(i,j)CA(i,j)+η1(i,j)CB(i,j)

(13)

上式中,C(i,j)表示像素点(i,j)处的低频子带系数。

3.2高频融合规则

经NSCT变换后得到的高频子带图像包含了待融合图像大部分的细节信息和纹理特征信息,表现为绝对值较大的高频系数,因此本文采用 “模值取大”的方法融合高频系数。经过N级NSCT分解后,在j尺度下可分解为2lj个不同方向,每个方向只能体现该方向的细节信息,因此通过比较不同尺度下各方向子带系数绝对值的大小来确定高频子带融合系数,如下式

(14)

4实验仿真与分析

为有效验证本文算法,选取多组多聚焦彩色图像采用Matlab7.0进行仿真实验,实验中使用的待融合图像均已经过严格的空间配准。文中选择一组具有相同场景的多聚焦彩色图像的融合结果进行分析。待融合图像中红色鲜花和绿色盆栽植物形成鲜明的对比。其中,图2(a)为左聚焦可见光彩色图像,图像左侧聚焦部分清晰,红色鲜花花瓣等细节清晰可见,右侧绿色盆栽植物叶子模糊,纹理细节不明显,图2(b)右聚焦可见光彩色图像表现相反,图2(c)为小波(WT)和IHS变换融合结果,图2(d)为轮廓波(CT)和IHS变换融合结果,图2(e)为本文算法融合结果。

图2　融合结果

通过主观观察和客观评价两个方面对融合结果进行分析,主观方面主要是通过人眼观察融合图像的边缘、纹理细节、色彩等信息,从人眼视觉角度出发对融合图像整体亮度、对比度、清晰度等进行判断。从主观角度来评价融合图像,通过人眼来对比观察仿真结果,其中图2(c)WT和IHS变换的融合结果,融合图像整体失真明显,细节部分比较模糊,视觉效果不佳;图2(d)CT和IHS变换的融合结果,融合图像相对比较清晰,但是在边缘部分存在轻微的块状效应,视角效果一般,图2(e)本文算法的融合结果,融合图像边缘、纹理等细节清晰,颜色自然鲜明,人眼视觉效果最佳。

客观评价[10]是对容和图像进行定量分析,本文采用的客观评价指标是信息熵(Information Entropy,IE)、平均梯度(Average Gradient,AG)和标准差(Standard Deviation,SD)。信息熵IE反映图像经过融合之后的信息量,IE的值越大表明融合图像得到的信息越全面,融合图像质量越好;平均梯度AG通过定量分析融合图像的像素灰度的变换情况来反映融合图像对微小细节反差的表达能力,客观的反映了融合图像的清晰度,AG的值越大,表明融合图像越清晰,细节表达能力越强,融合图像质量越可靠;SD也称为均方差,SD代表图像像素灰度值与平均灰度值的差距大小,SD越大,说明融合图像中的像素值反差越大,可看到的信息越多,图像质量越好。表1为融合图像的客观评价指标。

表1　融合图像客观评价参数

通过对比表1中的评价参数,本文算法评估得到的信息熵、平均梯度和标准差均高于其他两种方法。客观评价指标与主观视觉分析结果一致,可见本文算法在彩色图像融合中不仅充分利用了待融合图像的灰度信息,且较好地保留了源图像的颜色信息,得到的融合图像更符合人眼视觉特性。

5结束语

本文在分析非采样轮廓波变换和模糊逻辑的基础上,结合IHS模型中亮度分量的独立性,提出一种基于模糊逻辑和NSCT的彩色图像融合算法。在彩色图像融合过程中采用IHS变换不仅降低了融合过程的复杂度,减小计算量,且能更好地保留颜色信息,提高融合图像的可视化效果。同时,NSCT变换优秀的各向异性以及平移不变性可在融合过程中更多地捕捉到图像的细节信息,对融合图像整体清晰度晰度有明显的改善。通过仿真实验并通过与小波变换、轮廓波进行对比分析,本文改进算法得到的融合图像色彩鲜明,边缘细节清晰,更加符合人眼视觉。

参考文献

[1]叶传奇.基于多尺度分解的多传感器图像融合算法研究[D].西安:西安电子科技大学,2009.

[2]邢雅琼,王晓丹,毕凯,等.基于NSCT和ICA的红外和可见光图像融合方法[J].系统工程与电子技术,2013,35(11):2251-2257.

[3]Da Cunha A L,Zhou J,Do M N.The nonsubsampled contourlet transform:theory,design,and applications[J].IEEE Transaction on Image Processing,2006,15(10):3089-3010.

[4]郑义军,任仙怡,刘秀坚,等.基于NSCT与模糊逻辑的图像融合方法[J].计算机工程与应用,2011,47(11):171-174,218.

[5]Do M N,Vetterli M.The contourlet transform:an efficient directional multiresolution image representation[J].IEEE Transactions on Image Processing,2005,14(12):2091-2106.

[6]王奎,李卫华,李小春.非采样轮廓变换下的红外与可见光图像融合[J].空军工程大学学报:自然科学版,2015,16(5):50-54.

[7]张强,郭宝龙.基于非采样Contourlet变换多传感器图像融合算法[J].自动化学报,2008,34(2):135-141.

[8]黄晓青.基于模糊逻辑的红外与可见光图像融合技术[D].重庆:重庆大学,2012.

[9]徐月美,张虹.非下采样Contourlet变换的彩色图像融合[J].计算机工程与设计,2012,33(8):3130-3133,3175.

[10]徐月美,张虹,贾丽.基于亮度分量的多聚焦彩色图像融合[J].微电子学与计算机,2012,29(4):173-176.

Color Image Fusion Algorithm Based on NSCT and Fuzzy Logic

WANG Kui,LI Weihua,LI Xiaochun

(College of Information and Navigation,Air Force Engineering University,Xi’an 710077,China)

AbstractAiming at the problems of single color and poor visual effect,a multi focus color image fusion algorithm based on NSCT and fuzzy logic is presented.Firstly,the color image is transformed by IHS,after which the intensity component is composed by NSCT.The Gauss membership function is used to determine the adaptive weighting coefficient of the low frequency coefficient,and the high frequency coefficients are fused by rule of "absolute value maximum selectivity".Then,the fused intensity component can be obtained by the inverse nonsubsampled Contourlet transform.Finally,the hue component and saturation component of the fusion image are computed using the fused intensity component.Experimental results show that the proposed method offers distinctive color fusion images with clear edge details that are more consistent with the human vision.

Keywordsfuzzy logic;nonsubsampled contourlet transform;color image;image fusion

中图分类号TP391.41

文献标识码A

文章编号1007-7820(2016)04-107-04

doi:10.16180/j.cnki.issn1007-7820.2016.04.028

作者简介:王奎(1990—),男,硕士研究生。研究方向:图像融合。

收稿日期:2015- 09- 14