王建中, 徐浩楠, 王洪枫, 于子博
(北京理工大学 机电学院,北京100081)
红外图像是红外探测器通过捕捉物体的热辐射信息生成的一种图像,可在黑夜、烟雾、低照度、逆光、伪装等复杂环境下使用,但红外对目标的轮廓和纹理信息不敏感,其图像分辨率低、对比度低、噪声高. 可见光图像能够很好地保留轮廓和纹理信息,具有较高的清晰度和对比度,但容易受到环境因素的影响,不能全天候使用. 将二者进行融合是在复杂环境下获得高质量图像的一种有效手段,融合后的图像鲁棒性强,在目标检测、目标跟踪、图像增强、遥感、医疗等领域有着广泛的应用[1].
图像融合经过了多年的发展,目前主要有多尺度变换[2]、稀疏表示[3]、神经网络[4]、子空间[5]、混合模型[6]等融合方法. 近年来,随着深度学习技术及其在目标检测[7-8]、目标跟踪、图像分割等领域中的快速发展,基于深度学习的红外与可见光图像融合方法不断被提出,因此有学者将现有方法分为传统方法和基于深度学习的方法两种类型[9]. 基于深度学习的端到端方法避免了传统方法中需要手工设计融合算法和特征提取方法的问题,且在融合图像的质量上相较于传统算法也有所提升. 目前基于深度学习的红外与可见光图像融合方法主要包括基于生成对抗网络的方法和基于自编码网络的方法,基于生成对抗网络的方法利用生成器和鉴别器之间的不断对抗来生成尽可能保留有更多原图……