基于多尺度变换和VGG网络的红外与可见光图像融合

付涵，严华

(四川大学电子信息学院，成都 610065)

1 介绍

图像融合的目的是将不同源图像中的重要信息整合到同一张融合图像。近年来，红外与可见光图像的融合问题已经成为图像融合领域一个重要的分支。红外图像由红外传感器获得，反映了图像中物体的温度差异，但细节信息较少、对比度低；可见光图像由可见光传感器获得，保存了目标的颜色、亮度等信息。将红外与可见光图像进行融合，可以提高图像的分辨率，并获得更为丰富、全面的信息。

基于多尺度变换的融合方法是解决红外与可见光图像融合问题的经典方法，如拉普拉斯金字塔(LP)[1]、低通金字塔(RP)[2]、梯度金字塔(GP)[3]、离散小波变换(DWT)[4]、平稳小波变换(SWT)[5]、双树复小波变换(DTCWT)[6]和非下采样轮廓波变换(NSCT)[7]等。这些方法一般是先将源图像进行多尺度分解，然后执行特定的融合规则处理变换后的系数，最后再进行多尺度逆变换。上述经典方法虽然很好地保留了红外与可见光图像的细节，但是却存在颜色失真、对比度损失等潜在问题。基于优化的融合方法在很大程度上解决了多尺度变换的局限性，如基于广义随机行走[8]和马尔可夫随机场[9]的方法。这些方法大多先求解能量函数，进而估计空间平滑和边缘对齐的权重，再将像素值进行加权平均，以获得融合图像，但是由于多次迭代，效率十分低下。Li Shutao等人[10]提出了一种基于引导滤波的融合方法，该方法使用了快速的两尺度分解，引导滤波的方法被用于图像的局部滤波。……