基于GAN的红外与可见光图像融合算法

周祎楠，杨晓敏

(四川大学电子信息学院，成都610065)

0 引言

图像融合是利用多个传感器的信息，对采集到的图像进行融合，得到最终融合结果的后处理过程。红外图像的融合通常是在可见光和可见光两个领域进行的。红外图像是由红外传感器捕获的图像。它们的特点是全天候条件下的热信息强度不同。与红外相比，可见光图像(VIS)是由光学相机拍摄的图像，对光照条件的依赖性很强。它们携带着不同传感器捕捉到的不同信息，因此融合它们试图在融合结果中保持尽可能多的信息特征。

近几十年来，红外与可见光图像融合已经从传统的方法发展到基于学习的方法。最常用的方法可归纳为以下步骤。首先，他们使用特定的滤波器/变换来分解源图像。其次，采用相应的融合规则对不同层次的特征进行融合。最后对图像进行重建，得到融合结果。交叉双边滤波器(CBF)[1]和加权最小二乘(WLS)[2]滤波器是图像融合中处理边缘和细节的主要方法。他们应用一定的滤波器来分解源图像。然后，分别使用平均融合规则和最大绝对融合规则从不同的尺度生成融合结果。然而，红外与可见光图像融合的一个关键问题是融合规则的设计。也就是说，如何处理不同来源图像的信息，对融合结果有着重要的影响。例如，平均规则认为IR和VIS的信息同样重要。它广泛应用于背景信息的融合。最大绝对规则选择最重要的信息作为融合结果。它通常用于融合细节和纹理。……