基于区域分割与提升小波变换的图像融合算法

高颖, 王阿敏, 支朋飞, 葛飞

(1.西北工业大学 航海学院, 陕西 西安 710072; 2.中航金属材料理化检测科技有限公司, 陕西 西安 710018)

近几年，随着图像传感器技术的不断发展，图像融合已成为图形分析领域研究的一个热点话题[1]。红外与可见光传感器在成像原理及波谱上的差异性，使其在军事侦查、电子产品检测、资源探测等众多领域备受重视并得到快速的发展。红外传感器“主动”地获取场景中的目标信息，尤其是显示隐藏的热目标，不受白天或黑夜的影响，实现全天候的工作，但却因景物自身辐射、传输距离及大气衰减等因素的影响，使得所成像对比度低，目标细节的反映能力较差；而CCD传感器恰恰弥补了红外传感器输出图像对比度低，目标细节反映能力差等缺点，并能提供很好的光谱特性，由于是"被动"地获取场景中的目标信息，使得在黑夜或者恶劣的天气情况下，所获得的图像质量会很差。因此利用红外与CCD呈现的互补特性对伪装及夜视目标进行识别是一项非常有意义的工作。

图像融合算法可分为3个层次：像素级、特征级和决策级。由于像素级融合处理过程简单，融合准确性高，因此国内外大多数研究都集中在这一层面。目前，像素级融合算法主要分2大类：一类是基于空间域的，另一类是基于变换域的图像融合。前者主要针对图像的像素灰度值进行融合处理，如简单的加权平均法、主成分分析(PCA)、颜色空间法以及基于HVS(human vision system)的图像融合方法等。文献[2]提出改进的加权法对图像进行融合，此法过程简单，融合速度快，但要求原图像的对比度小，否则会使融合结果出现“方块效应”；文献[3]采用一种自适应权值的PCA方法对夜视图像进行处理，此法有效改善了图像的信噪比并可突出显示原图像特征，但要求原图关联性强，另外，处理过程复杂，实时性差，对于弱边缘检测效果有待优化；文献[4]提出了一种基于颜色空间变换的方法，它可有效保持源图像的边缘信息，并能突显目标特性，但易导致光谱失真现象，且融合精度不高；目前比较偏向于后一种方法。这种算法可以将图像在不同尺度下分解为不同分辨率的图像，能够取得较好的融合效果。常用的有金字塔变换法(拉普拉斯金字塔、形态学金字塔、梯度金字塔等)和小波变换法(曲波变换、轮廓波变换，提升小波变换等)。金字塔变换实质是一种基于分层分解与合成的处理方法，它能够逐层处理图像信息，解决对比度信息较大的图像，但随着分辨率的改变导致目标定位误差增大，图像边界模糊，另外由于是一种冗余分解且缺乏方向性，导致难以提取融合图像的结构信息，使得融合结果不够理想[5-7]。小波变换因其良好的时频局部特征、尺度变化特征及方向性特征，克服了上述缺点，在保证视觉特性的前提下，还能突出显示目标信息与背景色彩，几乎包含了所有的融合应用场合，并且大都能取得较好的融合效果[8-10]。目前被认为是最有效的研究方法。本文在上述基础上提出了一种基于区域分割和提升小波变换相结合的红外与可见光图像融合算法。区域分割最大的优点是能够从背景复杂的区域中“摘除”目标区域，Canny边缘算子的“非极大值抑制”特性与区域生长法“独特生长准则”的完美结合，达到了最优的提取目标区域的目的；接着采用基于像素区域能量最大准则法，合理地将红外目标映射到可见光背景中，获得兼具2幅原图像互补特性的融合图像；为了保证更全面、准确的融合效果，提出了基于提升小波变换的二次融合方法，采用低频加权、高频平均梯度的测度机制，充分防止了由分割出现的“拼接痕迹”而导致的重要信息丢失，在保证融合效果的前提下，改善了传统小波算法的复杂性，增强了整个算法的鲁棒性，通过实验比较证实了此方法的高效性。

1 图像分割

图像分割是一种重要的图像处理技术，利用它可以将图像划分成具有多个不同特性的区域(纹理、颜色、灰度、边缘等)[11]。由于灰度图像更利于计算机的实时处理，目前针对灰度图像的分割方法有边缘检测法、直方图阈值法、基于区域的方法及数学形态学法等。在进行图像分割时，一般假设待分割图像中的某一部分的特征是相同或相近的。分割结果的优劣是由具体的场合及要求衡量的，目前还没有唯一标准的分割方法。本文在充分分析了红外图像特征的基础上提出了基于Canny边缘检测和区域生长相结合的红外图像分割方法。

1.1 边缘检测

图像边缘是图像特征的一个重要属性，边缘常意味着一个区域的终结和另一个区域的开始[12]。由于2个具有不同灰度值的相邻区域之间总存在着边缘，因此首先利用检测算子缩小判断范围进行初次图像分割非常必要。一种较好的边缘检测算子应该不仅具有抑制噪声边缘的能力，同时还能保持目标边缘完备与连通的特性。Canny边缘检测算子又称高斯算子，以其独特最优检测准则、定位准则及单边缘响应准则，在众多算子中脱颖而出。整个处理流程如图1所示，由于对噪声有一定的抑制能力，在检测弱边界时性能最好，能准确对阶跃型边缘定位，目前被认为是一种最优的边缘检测算子。

图1 Canny算子边缘检测流程图

1.2 区域生长法

1.3 基于区域生长的红外图像分割

区域生长法一次仅对一个目标区域进行生长,若图像中有多个目标区域,可采用循环的方法,每分割完一个目标区域就进行剔除,重新选择可靠种子点,直至所有目标区域都被分割出来。本文仅对图像中只有一个目标区域的情况进行讨论,整个红外图像分割流程如图2所示。

图2 红外图像分割算法流程图

2 基于互补的红外与可见光图像一次融合

为了将1.2节分割出来的重要的红外目标信息映射到可见光图像中,本文提出了一种像素级的融合方法,以第一步的分割结果为融合决策依据,对红外目标区域和背景区域分别采用不同的融合策略。由于像素区域能量的大小反映了图像中的亮暗部分,对目标区域可采用基于像素区域能量比较的法则,即比较红外与可见光图像对应目标区域内像素点的区域能量;而对于非目标区域,为了尽可能地保留可见光图像中丰富的光谱信息,可以直接将可见光图像各像素点作为一次融合图像中对应位置的像素值。这样既突出了红外图像中的目标区域,同时又能体现可见光图像中的丰富光谱信息。具体算法如下:

1) 关于像素区域能量的计算

通过滑动邻域操作对图像中每个像素点计算其区域能量。像素点的邻域是与中心像素点相关的一系列像素点,它是一个矩形块,当图像矩阵上从一个元素移到下一个时,邻域块在同一方向上滑动[14]。基于像素区域的能量定义为:

(1)

(2)

式中：(x,y)为对应中心像素的位置;W为以点(x,y)为中心的i×j大小的区域窗口;DI(x+i,y+j)为(x+i,y+j)位置处的局部能量;ωI(i,j)为窗口加权系数矩阵;下标I代表了红外或可见光图像。

2) 融合准则

若待融合的红外源图像为IR,可见光图像为V,一次融合得到的融合结果为F1,根据1.3节所述的分割方法将红外图像分割为红外热目标区域X和非目标区域Y,则采用像素区域能量取大法得到的目标区域为:

(3)

式中:(x,y)为遍历整个红外与可见光目标区域对应的像素;F1(x,y)、IR(x,y)、V(x,y)分别表示一次融合图像、红外图像、可见光图像在位置(x,y)处对应的灰度值。

对于非目标区域,其融合过程可描述为:

F1(x,y)=V(x,y)

(4)

式中:(x,y)∈Y,(x,y)遍历整个非目标区域,其它各字母表示含义与(3)式相同。该方法的最大优点是过程简单,计算量小,易于实现。

3 基于提升小波变换的二次融合

一次融合利用“整体法”对图像的目标与非目标区域进行融合,计算简单,实时性好,在分割无误时能够体现很好的融合效果;实际情况中若由于噪声等不必要干扰而造成分割错误时,将使得一次融合的效果出现“拼接痕迹”,因此,这里提出了基于多分辨率分析的提升小波变换。

3.1 提升小波变换的基本原理

传统小波变换过程对傅里叶变换的依赖性大,导致构造出合适的小波基非常困难[15]。1995 年W. Swelden等学者依据多项式内插的思想,提出了提升小波变换,在不依赖傅里叶变换的基础上,可在空间域上直接计算小波系数,使得计算量和复杂度降低,满足实时系统的处理,有着更广泛的应用前景。提升小波变换可分为4个步骤:分裂→预测→更新→重构,图3给出某型飞机的3层提升小波变换分解图:

图3 某型飞机3层提升小波变换分解图

图4 提升小波变换原理图

3.2 融合规则的选取

基于提升小波变换多分辨思想的算法一般都能取得较好的效果,但不同融合规则的选择对融合效果有重要的影响,融合规则是图像融合技术的核心[16]。对3幅待融合源图像进行提升小波分解后,得到各自的低频分量和3个方向的高频分量。图像的低频分量代表了原图像滤除了细节之后的平滑版本,反映了原图像在该分辨率上的概貌与结构框架;图像的高频分量,则表征了图像的主要特征和边缘细节信息,对图像的清晰度起着重要作用。基于这个理论基础,分别对低频和高频部分采用如下不同的融合规则:

1) 对于低频系数而言,由于3幅图像的结构信息基本相同,因此可采用加权平均算法。即对3幅待融合图像各像素灰度值进行加权平均,得到的结果作为融合图像的低频分量,即:

LLFl(i,j)=λ1LLEl(i,j)+λ2LLRl(i,j)+λ3LLVl(i,j)

(5)

式中：F、E、R、V分别表示二次融合图像、一次融合结果、红外源图像以及可见光图像;LLml(m∈F,E,R,V)表示第l层上的低频系数,(i,j)是遍历整个低频部分的所有位置;λ1、λ2、λ3分别为加权系数λ1+λ2+λ3=1,这里认为一次融合所得到的图像包含了比2幅原始图像更重要的信息,因此λ1的取值应大于λ2与λ3,实验中取λ1=0.5,λ2=λ3=0.25。

2) 对于高频系数而言:由于高频分量反映了图像中的边缘、轮廓和纹理等细节信息,融合所采用的测度参数必须能体现出灰度突变的程度,考虑到平均梯度反映了图像中的微小细节反差与纹理变化特征,平均梯度越大,层次被划分的越细,图像就越清晰,故可采用平均梯度作为测度参数指导高频融合系数的选择。

(6)

式中：mx(i,j)、my(i,j)分别表示图像m在点(i,j)处沿x与y方向的一阶差分。

则高频系数的融合规则可表示为:

(7)

3.3 本文融合算法的整体描述

为了方便研究,以已配准的红外图像R和可见光图像V为例,对整个融合过程叙述如下:

首先,利用Canny算子与区域生长法将红外图像R分割为目标区域X与非目标区域Y。

其次,利用公式(1)分别求出目标区域X与V图像相应位置像素点的区域能量,利用(3)式的判断准则确定一次融合图像的目标区域;对于非目标区域,则直接用V图像相应的位置替换,这样就得到一次融合结果E;

图5 本文算法的整体设计框图

4 仿真实验结果与评价分析

4.1 实验结果

本文所选待融合图像为黄昏时刻摄取的、像素大小为256×256的、隐藏于云彩中的红外图像6a)与可见光图像6b)，依据这2幅图像所呈现的特性，分别采取目前主流的融合方法-主成分分析法、拉普拉斯金字塔变换法、传统小波变换法与本文所提出的方法在VC++ 6.0条件下进行仿真实验，其效果依次如图6c)至图6f)所示，本文算法以3.3节所提出的流程进行。

图6 不同算法的融合效果对比图

通过上述实验可以清楚发现，图6c)中的方法对比度明显，可以识别目标，但抑制噪声能力弱，边缘信息易丢失；图6d)色彩鲜明，目标轮廓清晰，但对比度小，不利于辨别；图6e)中目标特性显著，可准确定位，但边缘不平滑，并且常出现“色彩扭曲”现象；图6f)为本文所采用的算法，由于引进分割与区域能量比技术，使得目标轮廓清晰，细节信息明显，背景自然，色彩鲜明，能够快速识别并准确的定位目标，更利于人眼判决与机器视觉。

4.2 融合评价

目前，对于融合图像的质量评价还没有统一、全面的标准。从视觉效果方面进行了评价称为主观评价或定性评价如4.1节所示；为了使融合结果更具有说服力，这里采用一种量化的尺度准则来评价融合图像的质量——客观或定量评价。由于图像空间细节信息的增强与光谱信息的保持是图形融合研究重点[17]。针对这个问题，选取了描述空间细节信息的2个参数：信息熵和平均梯度以及反映光谱信息量的参数：光谱扭曲度和相关系数。图像信息熵值越大表示包含的信息量越大，平均梯度越高代表图像越清晰，光谱扭曲度越接近0表示光谱扭曲越小，相关系数表示与原图像的相关程度，越接近1表明在光谱色彩上越相似。借助Matlab7.0的图像处理工具箱中的相关函数，上述指标均可容易得到。表1对文中所提融合算法的图像效果做出定量评价。

表1 图5中不同算法的融合效果客观评价

从表1的客观评价指标中不难发现，本文算法包含了更高的信息量，图像清晰度指数最高，色彩与相关性跟原图像最接近，这表明本文算法能够较好地综合原图像信息。

5 结 论

结合红外与可见光图像的特点，充分考虑其显著的互补特性，本文提出了一种基于区域分割与提升小波变换相结合的图像融合方法，与常用的基于空域及变换域的融合方法对比，该算法采用整体-局部的思路，从图像的多分辨率、多尺度与多方向性入手，将图像处理中的检测与分割引入图像融合过程，采用“双步”、“异准则”融合策略，突出了目标特征，同时通过采用提升小波变换算法，加快了处理速度，增强了系统鲁棒性。实验结果表明，利用该方法得到的融合图像目标指示性强，场景细节丰富，图像亮度适中，更利于人眼判读和机器视觉，在目标识别与跟踪、遥感及医学图像等多个领域有着广泛的应用前景。

参考文献：

[1] Yu N N, Qiu T S. Fusion Technology of Infrared and Visible Images in Compressive Sensing[J]. Signal Processing, 2012, 28(5): 692-698

[2] 李勇燕. 基于加权平均的红外图像增强算法研究[J]. 长沙大学学报，2011, 5(3): 50-52

Li Yongyan. Research on Enhance Algorithm Based on Weighted Average about Infrared Image[J]. Journal of Changsha University, 2011, 25(2): 50-52 (in Chinese)

[3] 杨开睿. 一种自适应权值的PCA算法[J]. 计算机工程与应用, 2012, 48(3): 189-191

Yang Kairui. Adaptively Weighted PCA Algorithm[J]. Computer Engineering and Applications, 2012, 48(3):189-191 (in Chinese)

[4] 王加, 蒋晓瑜. 基于感知颜色空间的灰度可见光与红外图像融合算法[J]. 光电子·激光, 2008, 19(9): 1261-1264

Wang Jia, Jiang Xiaoyu. An Algorithm to Fuse Gray-Scale Infrared and Visible Light Image Based on Perceptual Color Space[J]. Journal of Optoelectronics, 2008, 19(9):1261-1264 (in Chinese)

[5] Wang W C, Chang F L. A Multi-Focus Image Fusion Method Based on Laplacian Pyramid[J]. Journal of Computers, 2011, 6(12): 2559-2566

[6] 陈浩, 王延杰. 基于拉普拉斯金字塔变换的图像融合算法研究[J]. 激光与红外, 2009, 39(4):439-442

Chen Hao, Wang Yanjie. Research on Image Fusion Algorithm Based on Laplacian Pyramid Transform[J]. Laser & Infrared, 2009, 39(4):439-442 (in Chinese)

[7] Zhao J, Feng H, Xu Z, et al., Detail Enhanced Multi-Source Fusion Using Visual Weight Map Extraction Based on Multi Scale Edge Preserving Decomposition[]∥Optics Communications, 2012

[8] Saeedi J, Faez K. A New Pan-Sharpening Method Using Multiobjective Particle Swarm Optimization and the Shiftable Contourlet Transform[J]. Photogrammetry & Remote Sensing, 2011(66) :365-381

[9] Pajares G, Cruz J. A Wavelet-Based Image Fusion Tutorial[J]. Pattern Recognition, 2004, 37(9): 1855-1872

[10] Lewis J J, Ocallaghan R J, Nikolov S G. Pixel-and Region-Based Image Fusion with Complex Wavelets[J]. Information Fusion, 2007, 8(2):119-130

[11] Liu Kun, Guo Lei, Li Huihui, et al. Fusion of Infrared and Visible Light Images Based on Region Segmentation[J]. Chinese Journal of Aeronautics, 2009(22): 75-80

[12] 高颖, 王阿敏, 郭淑霞等. 改进的小波变换算法在图像融合中的应用[J]. 激光技术,2013,37(5):690-695

Gao Ying, Wang Amin, Guo Shuxia, et al. The Application of Improved Wavelet Transform Algorithm in Image Fusion[J]. Laser Technology,2013,37(5):690-695 (in Chinese)

[13] 叶传奇, 王宝树. 一种基于区域特性的红外与可见光图像融合算法[J]. 光子学报, 2009, 38(6):1498-1502

Ye Chuanqi, Wang Baoshu. Fusion Algorithm of Infrared and Visible Images Based on Region Feature[J]. Acta Photonica Sinica, 2009, 38(6): 1498-1502 (in Chinese)

[14] 龚昌来. 一种改进的基于局部能量图像融合算法[J]. 光电工程, 2008, 35(11):106-110

Gong Changlai. Improved Image Fusion Algorithm Based on Local Energy[J]. Opto-Electronic Engineering, 2008, 35(11):106-110 (in Chinese)

[15] Lewis J, O’Callaghan R. Pixel and Region Based Image Fusion with Complex Wavelets[J]. Information Fusion, 2007, 8(2):119-130

[16] Petrovic V S, Xydeas C S. Gradient-Based Multi-Resolution Image Fusion[J]. IEEE Trans on Image Processing 2004, 13 (2):228-237

[17] Yin Chen. Theoretical Analysis of an Information-Based Quality Measure for Image Fusion[J]. Information Fusion, 2008, 9(2): 161-175