基于DCT与PSO的可见光与红外图像融合方法∗

朱平哲

(三门峡职业技术学院信息传媒学院，河南三门峡472000)

0 引言

图像融合作为信息融合的重要分支，业已成为数字图像处理领域的热点问题，其目的是将特定场景中所需的多幅图像中的数据加以融合，从而获得一幅信息更为丰富的融合图像．通常情况下，单个传感器数据并不足以传输与目标场景相关的所有必要的数据，而由多个图像传感器提供的针对同一场景的多幅图像能够产生互补数据或不同的视觉信息，这种互补可以提供更精确的数据．目前，图像融合已经成为军事侦察[1]、医学成像[2]、隐蔽武器探测与导航[3]等多个领域中必不可少的技术．

可见光与红外图像融合在军用和民用领域均具有十分广阔的应用前景，其中可见光图像[4−6]依靠光照条件可以提供比红外图像更为清晰的背景信息，而红外图像由于对热量信息具有很好的响应性能，因此能够精确地捕捉热源信息．由于可见光和红外图像对场景描述具有很好的互补性，因而很有必要提出一种有效的融合方法将二者的优势加以结合．

文献[7]将多尺度变换与稀疏表达相结合，提出了一种图像融合方法，其中低频融合信息采用稀疏表达加以获得，高频融合信息采用绝对值法；Vijayarajan等[8]提出基于离散小波变换与主成分分析的图像融合方法；文献[9]从源图像中提取特征信息以获得显著特征图，最终完成图像融合；Kumar[10]构造了离散余弦谐波小波模型，并将其成功用于图像融合领域；Bhatnagar等[11]在非下采样轮廓波变换域内，提出了基于分形维数与相位一致特征的图像融合方法；文献[12]提出一种基于改进型量子理论模型的图像融合方法；文献[13]基于多尺度分解理论，将红外源图像中的重要信息加以提取并注入到相应的可见光图像中，获得了较好的图像融合效果．

综上所述，目前主流的可见光与红外图像融合方法主要是基于多尺度分解理论模型而展开的．该类方法在获得较好图像融合效果的同时需要消耗大量的计算资源，难以满足实时性要求较高的应用领域．在此背景下，本文提出一种基于DCT与PSO[14]的可见光与红外图像融合方法．首先，针对源图像进行DCT变换；再次，采用PSO算法获得优化权值因子，并用于完成源图像DCT系数的融合；再次，进行DCT逆变换得到初始融合图像；最后，采用对比度自适应直方图均衡化(contrast limited adaptive histogram equalization,CLAHE)模型对初始融合图像进行优化得到最终融合图像．仿真实验结果表明，该方法与现有的代表性融合方法相比具有显著的优势．

1 图像融合框架

1.1 初始融合图像获取

源图像I(a,b)的二维DCT变换公式如下：

其中，j,k=0,1,···,N-1,且C(j)满足：

DCT逆变换公式为：

其中，a,b=0,1,···,N-1．

粒子群优化算法是一种基于群体的随机优化模型．本文中的粒子涉及到最大通用质量指数(universal quality index,UQI)适应度函数的权值，其数学表达式如式(1)∼(6)所示．

粒子位置基于数据共享与经验而确定，即可以通过实现最佳邻域粒子状态来获得最优解．每次迭代需要计算全局最优解，且整个粒子群加以更新．与其他优化算法相比，粒子群优化算法非常简单，收敛速度快，无需对参数进行大量调整，且计算时间和消耗内存也较少．

针对粒子群中的每个粒子，可以使用式(7)计算其速度：

利用式(8)对粒子的位置进行更新：

其中k1与k2均为正加速系数，为了确保粒子个体与群体行为的平衡，本文设定k1=k2=2；ω为惯性权重，为第t次迭代中粒子i的位置和速度；rand1和rand2为0至1区间内的随机生成数．

采用式(9)对分解后的DCT系数加以融合，融合规则为：

其中，I(a,b),V(a,b),F(a,b)分别为红外图像、可见光图像和融合后图像；采用PSO模型求取满足UQI指标最大化的权值ω1和ω2．大量仿真实验表明，与诸如信息熵、标准差等评价指标相比，具有较大UQI指标值的融合图像拥有更为丰富的信息．

1.2 最终融合图像获取

直方图均衡化是一种很常用的直方图类方法，基本思想是通过图像的灰度分布直方图确定一条映射曲线，用来对图像进行灰度变换，以达到提高图像对比度的目的．该映射曲线其实就是图像的累计分布直方图（严格来说是呈正比例关系）．然而直方图均衡化是对图像全局进行调整的方法，不能有效地提高局部对比度，而且某些场合效果会非常差．因此，将其作用于原图像会导致直方图被整体右移，无法充分利用整个灰度动态范围．

图1 可见光与红外图像融合框架图

为了提高图像的局部对比度水平，人们提出将图像分成若干子块，对子块进行直方图均衡化处理，即自适应直方图均衡化，该方法得到的图像局部对比度水平得到提高，视觉效果也优于直方图均衡化．然而，自适应直方图均衡化方法使得图像的局部对比度提高过大，容易导致图像失真．为了克服该问题，需要对局部对比度加以限制．为此，本文采用对比度自适应直方图均衡化(contrast limited adaptive histogram equalization,CLAHE)作为解决方法．该方法将图像划分为若干尺寸一致、不重叠的图像区域，且对每一区域的对比度水平加以改进．均衡化过程完成后，采用双线性插值法将相邻细小区域加以联合以消除边界，均匀区域内的对比度水平被加以限制以避免图像中噪声的增强．

作为一种优良的对比度增强方法，CLAHE不仅能够清晰地辨别出目标信息，而且还能有效提升场景信息的描述能力．因此，本文采用CLAHE对初始融合图像进行融合效果提升，从而得到最终融合图像．本文的图像融合框架如图1所示．

1.3 图像融合算法

输入：两幅关于同一场景的源图像V与I，其中V为可见光图像，I为红外图像；

输出：最终融合图像F；

初始条件：两幅源图像已完成精确配准．

步骤1：使用式(1)对源图像V与I作DCT变换，得到两幅图像的DCT系数；

步骤2：初始化PSO的粒子数NP=20、维度、速度以及最大后代数，权值ω1为一个0至1区间内的随机生成数，且ω2=1−ω1；

步骤3：采用CLAHE对初始融合图像的对比度水平加以提升；

步骤4：使用式(7)、(8)对每个粒子的速度和位置进行迭代更新；

步骤5：使用式(2)基于权值完成融合过程，并进行DCT逆变换获得初始融合图像；

步骤6：使用式(1)∼(6)的适应度函数对图像质量进行衡量，并存储到临时变量中；

步骤7：若当前迭代的适应度数值大于前一次的数值，则将当前迭代PBest和GBest存储到临时变量中；

步骤8：继续上述过程直到迭代完毕；

步骤9：优化相关权值，并利用DCT逆变换和CLAHE获得最终融合图像．

2 实验仿真

为了验证文中提出的融合方法的有效性，本节将从主观和客观两个方面对所提融合方法进行评价和分析．文中所涉及的两组可见光与红外源图像均含256级灰度，尺寸为256×256，如图2所示．本文的实验平台为一台PC，其基本配置为2.4GHz CPU、8G内存，采用的仿真软件为Matlab 2012a．

图2 待融合源图像

2.1 融合方法及量化评价指标

为了验证本文方法的优越性，本文选取具有代表性的七种融合方法与文中方法(记为M8)进行融合效果比较．分别为：基于脉冲耦合神经网络的图像融合方法[15](M1)、基于非下采样轮廓波变换与脉冲耦合神经网络的图像融合方法[16](M2)、基于脉冲皮层模型的图像融合方法[17](M3)、基于非下采样轮廓波变换的图像融合方法[18](M4)、基于框架变换耦合SUSAN的图像融合方法[19](M5)、基于小波变换的图像融合方法[20](M6)、基于非下采样Contourlet变换耦合区域特性的图像融合方法[21](M7)．为了保证方法对比过程中的客观性，M1∼M7七种对比方法中的参数设置仍然沿用原文献中的数值．

除了直观视觉效果外，本文还采用了四种客观评价指标对八种方法的性能进行了量化比较，分别为平均梯度(mean gradient,MG)、标准差(standard deviation,SD)、空间频率(spatial frequency,SF)和信息熵(information entropy,IE)．

平均梯度用于计算梯度图像中保存的边缘信息量．图像的边缘信息保存的越丰富，平均梯度数值越大，其数学表达式为：

其中，M×N为图像的尺寸，(i,j)为像素点的坐标．

标准差指标用于衡量图像的对比度水平，图像的标准差数值越大，图像的视觉效果越好，其表达式为：

其中，n为图像中像素点的数量．

空间频率用于衡量图像的清晰度、反差度等主体信息，其表达式为：

其中，RF和CF分别表示行空间频率和列空间频率．

信息熵用于衡量图像的整体信息量，其表达式为：

其中，p(i)为灰度级i出现的概率，L为灰度级数．

2.2 融合结果分析

图3、图4分别给出了八种融合方法关于两组待融合源图像的融合结果．

图3 第一组源图像融合结果

由以上仿真实验结果不难看出：M1和M2侧重于红外图像信息的捕获与表达，在光照条件尚可的情况下融合效果较好，若可见光源图像的光照条件较差，则很容易导致最终融合图像亮度水平较差；M3虽然整体的融合效果较好，但对细节信息的表述能力不强；基于M4的最终融合图像引入了较多的虚假信息，严重影响了图像的直观视觉效果；同其他几种方法相比，M6和M7的融合效果不佳，造成最终融合图像较为模糊；M5与M8的融合效果较为接近，但仔细比较后可以发现，M8无论在图像整体对比度水平、细节信息保留与表达方面均具有突出的优势．

图4 第二组源图像融合结果

除了直观视觉效果对比之外，表1、表2还给出了两组仿真融合实验的客观评价测度值．

表1 第I组图像融合效果性能比较

表2 第II组图像融合效果性能比较

显然，与其他几种方法相比，本文方法在客观评价测度方面也具有较好的表现．

3 结论

本文针对可见光与红外图像融合问题，提出了一种基于离散余弦变换与粒子群优化的图像融合方法．首先，针对源图像进行DCT变换；其次，采用PSO算法获得优化权值因子，并用于完成源图像DCT系数的融合；再次，进行DCT逆变换得到初始融合图像；最后，利用直方图均衡化模型对初始融合图像进行优化得到最终融合图像．为了验证本文方法的合理有效性，本文针对两组待融合源图像，引入了七种代表性融合方法与本文方法进行了主观视觉效果与客观评价测量两方面的比较．仿真实验结果表明，与现有的代表性融合方法相比，该方法在主观视觉效果、客观评价结果、细节信息表达以及计算时间等多个方面均具有显著的优势．