基于多尺度细节的孪生卷积神经网络图像融合算法

刘 博， 韩广良， 罗惠元

(1. 中国科学院 长春光学精密机械与物理研究所， 吉林 长春 130033；2. 中国科学院大学， 北京 100049)

1 引 言

图像融合将同一场景下两幅或多幅源图像的相关联有效信息整合成一幅综合图像，实现了不同模态图像的信息互补。经融合处理得到的图像能够弥补单一图像信息量不足问题，更符合人眼视觉感知和工业视觉领域需求，因此图像融合在许多领域都有广泛的应用。

近些年，图像融合技术发展迅速，相关学者针对像素级图像融合进行了深入研究。其中基于多尺度的融合方法因有着鲁棒性强、具有局部时频特性等特点，一直是一个热门的研究课题。经典融合方法包括基于塔形分解的变化融合方法、基于小波变换的融合方法、基于轮廓波变换方法[1]等。基于塔形分解的变换方法包括：基于拉普拉斯金字塔变换(LP)[2]、基于对比度金字塔变换[3]以及基于梯度金字塔变换[4]等。基于小波变换方法包括：基于方向小波变换[5]以及双树复小波变换(DTCWT)[6]等。然而以上方法在方向性上存在较大限制，且不具备平移不变性，融合结果中易出现边缘特征捕获不足和边缘圆晕效应问题。而非下采样轮廓波(NSCT)[7]和非下采样剪切波(NSST)[8]具有较好的方向性和平移性，能够在一定程度上解决上述问题，但融合过程中没有充分考虑空间一致性，对全局结构的边缘轮廓特征提取能力不强。边缘保留滤波具有平移不变性和边缘保留性，能够在平滑图像的同时保持边缘清晰。……