基于LP和LBP的红外与可见光图像融合算法

陈芯蕊,郭立强,2

(1.淮阴师范学院 计算机科学与技术学院,江苏 淮安 223300;2.淮阴师范学院 淮安市大数据智能计算与分析重点实验室,江苏 淮安 223300)

0 引言

图像融合技术是多传感器信息数据融合的重要分支,随着计算机技术和传感器技术的高速发展,此项技术的使用范围也越来越广泛.当前,图像融合技术在遥感、医学、军事等领域以及计算机视觉、目标识别和情报获取等方面发挥着十分重要的作用.图像融合是指对多个传感器获得的同一个目标背景的图像进行合并,获得一副更易观察与理解的图像[1].红外传感器获得的红外图像可以不受到光线的影响,但具有对比度低、视觉效果模糊、信息量少的缺点.而可见光图像蕴含相当多的细节、较高的空间分辨率和明暗对比,其很符合人的视觉感知.但可见光图像也容易受到光线的影响,导致目标信息很难分辨和提取.红外与可见光的图像具有互补的特性,从而融合出了信息丰富、目标准确的融合图像[2].

红外与可见光图像的经典融合方法主要可以分为:基于多尺度的变换域融合方法、基于像素的空间域融合方法、基于模型的融合方法等[3].其中,基于像素的空间域融合方法一般是直接对图像的像素值进行处理,以获得融合图像.Zhang等人[4]根据在源图像中找到的散焦区域和聚焦区域之间的边界,将图像分为不同的聚焦区域,然后选择每组区域中较大聚焦度量的像素点组合成最终的融合图像.基于模型的融合方法是使用数学模型来自适应提取源图像中的特征信息,再根据特征信息来融合图像.张洲宇等人[5]提出了一种前馈式的基于多层卷积稀疏表示的图像融合网络.该方法有效解决了稀疏表示应用于图像融合时出现的信息缺失和对错误匹配容忍度低等问题.多尺度融合方法因融合效果更符合视觉感知[6]而被广泛使用,而金字塔变换是最早应用于图像融合中的多尺度变换方法.金字塔变换可以分析图像中的不同尺度的特征,其顶层是低分辨率的图像,其余各层是每个尺度的高分辨率图像.根据金字塔变换的构造原理,其方法有:拉普拉斯金字塔[7]、梯度金字塔[8]、对比度金字塔[9]、比率低通金字塔[10]和形态学金字塔[11]等.金字塔变换可以突出图像的特征信息,但是融合后图像的细节信息会受到噪声的影响而丢失.

为了得到更优的融合效果,本文提出了一种基于拉普拉斯金字塔和局部二值模式的红外与可见光图像融合算法.首先,对两幅待融合图像进行拉普拉斯金字塔分解,然后利用LBP对每层高斯滤波后的图像提取细节特征,将提取到的信息加到对应层的金字塔上,加强图像的细节信息.然后,使用取最大值和基于区域特性量测的融合规则分别对两幅图像的高频系数和低频系数进行融合.最后,对融合好的拉普拉斯金字塔进行重构,得到融合图像.经过实验的验证,本文的算法丰富融合了图像的信息,提升了融合效果.

1 背景知识

1.1 拉普拉斯金字塔

拉普拉斯金字塔的基础是高斯金字塔.高斯金字塔在运算的时候,图像做卷积操作会导致一些高频信息的丢失.为了描述这些丢失的高频细节信息,便产生了拉普拉斯金字塔.拉普拉斯金字塔变换的主要步骤如下.将原始图像G0进行高斯低通滤波并隔行隔列的下采样得到中间结果图像G1,再将G1插入一个合适的值并进行上采样得到E1,E1与原始图像的大小相同.然后用原始图像减去E1得到第一层的拉普拉斯金字塔图像.接下来,针对G1重复上述步骤,多次迭代后就得到了整个拉普拉斯金字塔[12].

1.2 多分辨率的LBP特征提取

LBP(Local Binary Pattern)算子是由Ojala提出的一种纹理描述方法,在计算机视觉中有着广泛的应用[13],可以对图像中的任意一点及其周围的灰度值来表示图像的局部特征.基本LBP算子是用一个3*3的矩阵为模板,以中间点为阈值,与周围八个值进行比较,获得邻域的二进制编码.将此编码转为十进制数便为中间点的LBP值.为了解决此原始方法无法满足不同频率和尺寸纹理的需求,提出了多分辨率的LBP算子[14].其将方形邻域变为圆形邻域,从3*3领域拓展到任意邻域,可以在半径为R(R>0)的圆形邻域中包含P个采样点.用相同的方法求出中心点的LBP值,得出LBP图像.此方法对光照的变化具有鲁棒性,能较好地提取图像细节纹理特征.

YIN 等人[15]提出了基于LBP度量的多聚焦图像融合算法.该算法是应用LBP来构建聚焦测度,从而评估原始图像中对应像素点的清晰度并构造初始权重图,对初始权重图采用连通区域分析法来减少图像中的噪声,然后通过权重图加权融合得到最终图像.而本文的红外与可见光图像融合算法则直接应用LBP提取拉普拉斯金字塔中每层高斯低通滤波子图像的细节信息并叠加到当前层,这样一来能够有效解决传统图像融合算法存在的细节信息丢失,对比度低等问题.本文算法和Yin等人算法虽然都使用了LBP,但在应用的角度以及融合机理方面则是完全不同.

1.3 基于LP和LBP的图像融合算法

1) 图像融合算法流程

本文的图像融合具体步骤如下:

① 对红外和可见光图像分别进行四层拉普拉斯金字塔变换,并使用LBP对每一层的高斯低通滤波图提取细节特征信息,将提取到的细节信息加到对应层的拉普拉斯金字塔上.

② 将源图像分解出的金字塔的各层分别进行融合.金字塔的高频信息中包含大量的细节信息,因此对高频信息采用基于区域特性量测的方法进行融合,而低频信息融合采用绝对值取大的方法.

③ 将融合后的拉普拉斯金字塔进行反变换,得到融合后的图像.

2) 图像融合规则

假设红外和可见光图像分别为A、B,融合的结果为LFk(0≤k≤4)使用拉普拉斯金字塔进行分解并叠加LBP细节特征信息后得到的图像为LAk、LBk(0≤k≤4).最高层图像LA4、LB4和高斯金字塔的一致,是图像低频信息.此层图像使用绝对值取大的方法进行融合,其公式如下:

(1)

当0≤k<4时,LAk、LBk为图像的高频信息,采用区域特性量测的融合规则[16].其融合步骤如下:

① 计算LAk、LBk(0≤k<4)的局部区域能量,其表达式如下:

(2)

(3)

(4)

上式中,p和q定义了区域的大小,这里选取p=1,q=1,LAk、LBk表示金字塔的第k层,ω(m,n)低通滤波器.

② 计算LAk、LBk(0≤k<4)的局部区域匹配度,其表达式如下:

(5)

③ 定义匹配阈值T=0.8.当局部区域匹配度大于阈值时,表明两幅图像的局部能量比较相近,因此采用加权的方式融合.否则,选用区域能量较大的中心像素当作此区域融合后的中心像素,其公式如下:

当Mk(i,j)≥T时,

(6)

当Mk(i,j)

(7)

其中加权算子的公式为

(8)

经过以上步骤得到融合后的四层金字塔后,再应用拉普拉斯金字塔逆变换获得最终的融合图像.

2 实验与结果分析

为了验证本文算法的有效性,从TNO图像数据集[17]中选用了三组不同的红外与可见光图像进行测试.同时选取传统拉普拉斯金字塔融合算法(LP)[18]、比率低通金字塔算法(RLP)、基于轮廓波变换算法(Curvelet)[19]、基于非下采样轮廓波变换算法(NSCT)[20]和基于潜在低秩表示的算法(LatLRR)[21]与本文算法进行对比.具体的实验对比结果如图1-3所示.

图1 第一组图像

图2 第二组图像

图3 第三组图像

第一组图像为夜晚街景图像.由于光线不足,可见光图像只有灯周围的图像清晰.本文算法的融合图像与其他5种融合图像相比,图像亮度较为均衡,车辆、人、广告牌的细节信息清晰,更利于辨别目标对象.第二组图像为房子外的一角,红外图像灌木细节模糊,可见光图像人的位置不清晰.本文算法的融合图像人像及灌木细节清晰,房子上方的天空的亮度更符合人类的视觉认知.第三组图像为户外图像.红外图像云、车的细节信息比较丰富,但树木不够清晰,可见光图像树木和房屋的细节信息较多.本文算法合成的图像在亮度和细节信息的清晰度都有良好的视觉效果.

综合以上所述的三组图像融合结果来看,本文的算法在亮度、细节信息和目标识别度都要优于其他的融合算法,视觉效果有了较大提升.为了进一步验证本算法的有效性,本文采用了一些客观评价指标来与其他4种算法的融合图像进行比较.选取的客观评价指标为:信息熵(IE)[22]、视觉信息保真度(VIFF)[23]、基于结构相似性(Qy)[24]、互信息(MI)[24]、灰度标准差(SD)[25].信息熵用于计算图像中信息的丰富程度,指标值越大,表明融合图像中的信息越丰富.视觉信息保真度主要计算融合图像中提取了源图像中多少的有效视觉信息,值越大表明提取的有效信息越多.基于结构的相似性测量了融合图像与源图像的结构相似性,值越大表明其与源图像的结构越相似.互信息计算了源图像提取了多少信息到融合图像中,互信息越大表明转移的信息越多.灰度标准差表明了图像灰度相对于平均灰度的离散情况,标准差的值越大表明灰度级越分散,图像的反差越大,其中可利用的信息越多,图像融合的效果越好.

由表1-3可知,本文算法的信息熵(IE)、视觉信息保真度(VIFF)、互信息(MI)、基于结构相似性(Qy)和灰度标准差(SD)这五个指标均优于其他五个算法,说明融合后的图像保留了源图像更多的细节信息、辨识度高.综合以上主客观的评价结果,本文提出的算法是有效的,在图像细节信息保留及人类视觉感知上均有提升.

表1 第一组图客观指标

表2 第二组图客观指标

表3 第三组图客观指标

3 结语

提出了一种基于LP和LBP的图像融合算法.在图像分解时(四层分解),对每一层高斯滤波后的子图像进行LBP特征提取,将提取到的细节特征信息加到对应层的拉普拉斯金字塔上.此外,本文采用区域特性量测的方法融合高频信息,而低频信息融合采用绝对值取大方法进行融合.最后对融合后的金字塔进行逆变换得到融合图像.实验结果表明,本文提出的算法与其他5种经典的算法相比,在主观视觉感知和客观指标上均有明显的提升.