一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法

罗 迪，王从庆，周勇军

一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法

罗 迪1,2，王从庆1,2，周勇军2

（1. 南京航空航天大学 自动化学院，江苏 南京 210016；2. 近地面探测技术重点实验室，江苏 无锡 214000）

针对低照度可见光图像中目标难以识别的问题，提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法，该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合。在生成对抗网络中，生成器采用具有编码层和解码层的U-Net结构，判别器采用马尔科夫判别器，并引入注意力机制模块，使得融合图像可以更关注红外图像上的高强度信息。实验结果表明，该方法在维持可见光图像细节纹理信息的同时，引入红外图像的主要目标信息，生成视觉效果良好、目标辨识度高的融合图像，并在信息熵、结构相似性等多项客观指标上表现良好。

图像融合；可见光/红外图像；低照度图像；生成对抗网络；注意力机制

0 引言

可见光图像具有丰富的纹理细节和空间分辨率，符合人类视觉感知方式。但在低照度条件下，图像质量会显著下降，尤其是图像中的有效目标（比如人员目标）将会缺失，变得难以识别。而红外图像是通过目标的热辐射信息成像，可以较为鲜明地区分目标与背景，在全天候条件下都能良好地工作，但图像本身缺乏细节，无法反映场景信息。

图像融合作为一种图像增强技术，可以将由不同传感器在同一场景下采集的不同图像进行组合，生成鲁棒性更强和信息更为丰富的图像，有助于后续处理和决策。……