多传感器图像融合技术

刘雪峰+孙巧巧+赵文仓

摘 要： 信息融合技术作为一门新兴学科，近年来已取得突飞猛进的发展，已在军事和民事方面获得了广泛的应用，对人类的生产生活方式产生了重大的影响。主要介绍了多传感器图像融合的3个融合层次及在每个融合层次典型的融合方法。单一的融合方法有各自的优势和不足，为了克服单一融合方法存在的问题，可以将单一的融合方法进行结合，通过从灰度标准差、平均灰度梯度和熵等方面对融合后图像效果比较可以发现，将两种单一的融合方法结合，可以很好地实现优势互补，获得更理想的融合效果并对多种不同的融合方法进行分析总结，可以为融合算法的应用提供一定的参考。

关键词： 多传感器； 信息融合； 融合层次； 融合算法； 效果评价

中图分类号： TN911.73?34 文献标识码： A 文章编号： 1004?373X（2016）22?0158?05

0 引 言

多源信息融合又称为多传感器数据融合（Multi?Sensor Data Fusion，MSDF），其基本原理是模拟人大脑综合处理各种信息的过程，利用计算机对获得的多源数据按照一定的规则算法进行综合、过滤、相关、识别和融合等处理，从而得到对被测对象的一致性评价及看法[1]。

近年来，图像融合的理论研究迅速发展，图像融合技术也被广泛地应用于各个领域，例如模式识别、医学影像、遥感探测、工业过程控制、安全导航、反恐检查、环境保护、交通监测等[2]。国外对图像融合技术的研究较早，目前已将图像融合技术用于卫星获得的遥感图像[3]，从而获得对被测目标的进一步了解；在军事和医学领域，图像融合技术也慢慢崭露头角，如英国的CONDOR2系统、美国的MANTIS系统以及GE公司于2001年6月推出的Discovery LS[4]，都将图像融合技术成功应用其中，并因此产生了巨大的经济和社会效益。我国对图像融合技术的研究相较于国外虽然起步略晚，但随着国家和社会各界对图像融合技术越来越重视，近年来不论是在理论研究还是应用上都取得了的一定的进展。如由四川大学研究的多航管雷达数据融合系统[5]，性能已达世界领先水平，而且已成功运行于多家航空港。单个传感器获得的信息通常不完整也不够精确，有时还会出现对立、模糊的情况，带有很大的不确定性，而多传感器信息融合可以有效提高所获得信息的准确性和可信性[1]。同时，图像信息相比于其他一般信号具有更高的特殊性和复杂性，研究的深度和完善程度也远不如对一般数据融合的研究，因此本文主要介绍了多传感器图像融合算法，对目前常用的融合算法及其优缺点作了分析归纳。随着小波变换被成功应用于图像处理领域，融合的效果在一定程度上也获得了很大的提升[6]，但是，小波融合算法仍然存在一些问题和不足。为了使融合效果达到更优，可以将小波变换（Wavelet Transform， WT）分别与Hue?Saturation?Intensity（HSI）变换和主成分分析（Principal Component Analysis，PCA）变换相结合并从灰度标准差、平均灰度梯度和熵等三个方面对多种融合方法获得的图像处理结果进行了对比评估，进而又对多传感器图像融合技术做了深入阐述，并给出了总结和展望。

1 多传感器图像融合的一般处理过程

多传感器图像融合可分为图像预处理、图像配准、图像融合三个主要过程[7]。

1.1 图像预处理

图像预处理包括图像归一化（如灰度插值、灰度均衡）、图像滤波、图像色彩增强、图像边缘增强等。图像归一化的目的是为了实现图像、分辨率、灰度等的归一化；图像滤波技术主要针对于高分辨率图像，其目的是获取高分辨率图像的纹理信息；图像色彩增强主要针对低分辨率图像，其目的是增加图像的色彩反差，在保持图像原有光谱信息的基础上使得图像色彩比较明亮，把低分辨率图像的光谱信息反映到图像上；图像边缘增强主要是针对高分辨率图像，其目的是在尽可能地降低图像噪声的同时使图像层次分明、边缘清晰[8]。

1.2 图像配准

图像配准是指将参与融合的图像（可能来自不同的时间和空间）进行对应，特别是进行几何校正，最终获得的效果一般体现在像素层上。图像配准可通过坐标变换和仿射变换来实现，图像配准可分为相对配准和绝对配准，还可以分为基于区域的配准和基于特征的配准。图像配准的精度对图像融合的效果影响较大，如果出现一个像素的空间误差，融合结果就会出现重影，对融合图像的质量产生严重影响[9]。

1.3 图像融合

对传感器获得的多幅图像完成预处理和图像配准后，便可进行图像融合。图像融合是指将关于同一目标获得的多幅原始图像经过图像处理和计算机技术等，最大限度地提取原始图像中的有用信息，并将其融合成一幅新的图像，从而获得对被测目标的更可靠认识[10]。

1.3.1 多传感器图像融合的三个层次

多传感器图像融合方式按照层次由低到高可分为三个层次，像素级、特征级和决策级[11]。

（1） 像素级融合。像素级融合也常称为数据级融合，属于融合的最底层，其融合主要是在传感器采集的原始数据上进行[12]。像素级图像融合是目前常用的算法，应用也最为广泛。其优点是数据损失量最少、精度相对最高，但是处理的数据量最大，抗干扰能力比较差，而且要求传感器必须是同类的。

（2） 特征级融合。特征级融合属于融合的中间层，它与像素级融合最明显的差异是特征图像融合在信息融合之前需要先对传感器获得的图像信息进行特征提取，如提取图像的轮廓边缘、亮度较高区域等，然后再进行融合[13]。特征级融合优点是有效地实现了信息压缩，降低了通信带宽要求，缺点是在提取过程中因丢失部分数据使得出的结果正确率降低。

（3） 决策级融合。决策级融合属于融合的最顶层，它在完成特征提取后，先基于每个传感器获得的图像得出一个初步的判定结果，再对各传感器得出的初步结果进行关联和进一步的融合，得出最终结果。决策级融合可以按照一定的准则或者是各个传感器的可信度进行协调获得全局最优决策。决策级融合的优点是具有很高的灵活性和容错性而且传输带宽要求比较低，有很高的实用性，缺点是精度在空间上和时间上都比较低。

1.3.2 三种融合方式的比较

三种融合方式各有自己的特点，实际应用中可根据对精确度、计算量等的具体要求而选取融合方式[14]。表1给出了在数据级、特征级、决策级对三种融合方式的比较。

2.1 典型融合算法

上述三种融合方式各有不同的融合算法[15?16]，下面介绍其中比较常用的几种典型算法：

（1） 加权平均法：对参与融合图像的像素值选取一定的权值进行加权平均得到融合后图像的像素值。以两幅原始图像[f1（x，y）]和[f2（x，y）]融合为例， 融合后获得的图像用[g（x，y）]表示，其基本原理为：

[g（x，y）=w1f1（x，y）+w2f2（x，y）] （1）

式中，[w1]和[w2]分别为对[f1（x，y）]和[f2（x，y）]的加权值。

加权平均法的优点是方法简单、计算量小。缺点是融合后的图像视觉效果比较差而且常包含噪声[6]。

（2） 贝叶斯法。基于贝叶斯条件概率公式，把多个传感器的决策看作是样本的子空间，设将样本空间划分为[A1]，[A2]，…，[An]，则对任一事件B，[PB>0]，依据贝叶斯公式：

[PAiB=P（A，B）P（B）=PBAiP（Ai）j=1nPBAjP（Aj）] （2）

式中：[PB]表示事件B发生的概率；[P（A，B）]表示事件A，B同时发生的概率；[P（AiB）]表示在事件B已发生的条件下，事件[Ai]发生的概率。通过计算，选择可使系统具有最大后验概率的决策作为最终决策，但它要求必须要遵循概率的可加性，当出现两个相反的命题而且可信度都很小时，此法就不再适用。

（3） 证据推理法或D?S（Dempster?Shafer）理论。将传感器获取的信息作为证据，计算出各个传感器的基本可信数、可信度函数和似真函数，再按照一定的合并规则，求所有传感器的基本可信数、可信度函数和似真函数，最后遵循一定的决策规则，选择具有最大支持度的目标[17]。证据推理法的优点是不需要遵循可加性原则，满足半可加性原则即可。存在的问题是不适用于处理冲突证据，因为组合规则中的归一化过程会出现违背常理的理论。

（4） 金字塔融合法。主要利用多尺度表达，当图像在两个正交方向上的尺度均2倍变化时，图像的尺寸将会以4倍变换，这时的多尺度表达将会变成金字塔结构。其主要过程是将参与融合的图像都作金字塔分解，在各层上将分解结果按照一定的规则进行融合，最后利用金字塔生成的逆过程重构出原始图像。这种方法的缺点是在图像融合过程中容易引入噪声。

（5） HSI（Hue?Saturation?Intensity）变换融合法。借助HSI变换进行图像融合操作。基本思想是用有较高空间分辨率的灰度图像的亮度成分来代替HSI变换后得到的亮度分量，最后借助HSI反变换获得融合图像，融合后图像的空间分辨率大大提高，但它只能同时对3个波段的影像进行融合，而且存在严重的光谱畸变现象[18]。

（6） PCA（Principal Component Analysis）变换融合法。以PCA（主分量分析）为基础，选择待融合图像的多个波段进行PCA 变换，将单波段的高分辨率图像经过灰度拉伸使其与主成分变换后得到的第一主分量图像灰度均值和方差一致。最后通过PCA反变换得到融合图像。其优点是可以较好地保留原始图像的高空间分辨率和高光谱分辨率特征，融合后的图像在细节特征方面清晰度也较高，缺点是分析的输入图像必须有两个或两个以上，而且图像第一主分量中的有用信息部分损失，最终影响融合图像的光谱分辨率[19]。

（7） 小波变换融合法：利用小波分解的各子图像进行融合。小波变换的基础是序列展开、缩放函数、小波函数，最后通过小波反变换得到融合图像[15]。小波变换融合法可以比较容易地提取图像的细节信息部分和结构信息部分，其重构能力比较完善，在分解的过程中可以尽可能地减少信息损失，同时降低冗余信息。而且，对表示光谱信息的多光谱图像，小波变换融合方法可以很好地保留多光谱图像的低频信息，并把包含图像细节信息的高频部分加入全色图像当中去[20]，视觉效果较好，缺点是容易出现分块模糊现象[21]。表2给出了上述融合算法在三种融合方式中的归属。

2.2 融合方法的改进：多融合方法的结合

在单一型融合方法中，每一种融合方法有各自的优点和缺点，为了达到更好的融合效果，可以考虑将单一融合方法结合起来使用。

（1） HSI变换与小波变换相结合（HSI+WT）。利用小波变换融合的图像可以很好地保留多光谱图像的光谱信息，但因为高空间分辨率图像的低频部分被舍弃，就会出现方块效应，对视觉效果会产生一定的影响[21]。HSI变换融合图像的高频信息非常丰富，但是光谱信息损失却非常大[22]。因此，将小波变换融合方法与HSI变换融合方法结合起来可以实现优势互补，融合后的图像不仅可以很好地保留多光谱图像的光谱信息，而且视觉效果也较好。

（2） PCA变换与小波变换相结合（PCA+WT）。利用PCA变换融合法获得的融合结果中原始图像的第一主分量，一些反映光谱特性的信息量有损失，将小波变换与PCA变换相结合得到的融合图像不仅清晰度较高而且可以较好地保留图像第一主分量中的光谱信息。

2.3 融合方法性能比较

为了对图像的融合结果进行客观评价，一般要从灰度标准差、平均灰度梯度和熵等方面进行衡量[19]。灰度标准差反映了各灰度相对于灰度均值的离散情况，主要是用来比较图像反差的大小，灰度标准差越小，说明图像的反差越小，图像的整体色调也就比较单一，可以观察到的信息也较少，反之亦然；平均灰度梯度与灰度标准差类似，也反映了图像的反差，但其更多的是反映图像局部的微小细节变化和纹理特征；熵是衡量一幅图像中信息量丰富程度的指标，若融合图像的熵比原始图像的熵大，说明融合图像比原始图像的信息量有所增加，反之亦然[23]。

为了更好地对比分析，本文通过图1～图3比较了三种单一的信息融合方法与两种结合型方法的灰度标准差、平均灰度梯度和熵[8]。

从图中可以看出，小波变换的灰度标准差和平均灰度梯度最小，但是熵比较大；PCA变换的灰度标准差和平均灰度梯度较大但是熵最小；HSI变换的灰度标准差和平均灰度梯度比较大但是熵较小。HSI变换与小波变换相结合的融合方法与单一的HSI变换法相比，标准差基本上一样，但是熵明显的增加，与单一的小波变换相比，灰度标准差、平均灰度梯度和熵都有所增加，这说明采用HSI和小波变换相结合得到的融合图像信息更加丰富，融合效果也要更好一些；PCA变换与小波变换相结合的融合方法与单一的PCA变换法相比，标准差相对变小，熵有明显的增加，与单一的小波变换法相比较，平均灰度梯度和熵都有明显的增加，这说明采用PCA变换与小波变换相结合得到的融合图像中包含更加丰富的信息而且清晰度有所提高。一般而言，若对融合图像的效果要求不是特别严格，根据要求选取适合的单一融合方法即可满足需要，若要求融合后的图像反应图像细节较多，就可以考虑采用PCA变换融合法；若要求融合后的图像视觉效果较好且包含较多的信息量，就可以考虑采用小波变换融合法；若要求融合后图像不仅视觉效果要好、含有较多的信息量而且对融合后图像细节要求比较高，那么就可以考虑将小波变换与PCA变换相结合的图像融合方法。

3 结 语

多传感器图像融合技术近年来得到了迅猛的发展，本文介绍了多传感器图像融合技术中的典型算法，并进行了分析比较，由于每种算法各有自己的优缺点，对融合后图像的效果要求也不尽相同，所以要根据实际情况选取最适合的算法[24]。对于像序列图像的融合，就可以优先考虑加权平均法，其不仅融合速度较快而且可以获得较好的融合效果；可见光图像和红外图像融合时，为获得良好的融合效果，通常选用金字塔融合法[25]。近年来小波变换以其在时域、频域的良好局部化特性在图像融合中扮演者越来越重要的角色，通过选择合适的融合规则及融合算法就可以得到较理想的融合效果。尽管多传感器图像融合技术在很多领域已取得重大成果，但仍然存在很多问题，如多传感器系统的容错性和稳健性需要进一步的提高，多传感器系统的设计也存在很多实际问题，还没有形成完整的理论体系和有效的广义算法和模型等，这些将成为多传感器图像融合今后研究的热点。

参考文献

[1] 陈立伟，蒋勇.图像融合算法的综合性能评价指标[J].计算机工程，2015（2）：219?223.

[2] LUO R C. Data fusion and sensor integration： state?of?art 1990s [C]// Proceedings of 1992 International Conference on Data Fusion in Robotics and Machine Intelligence. [S.l.： s.n.]， 1992： 127?135.

[3] 陈利霞，邹宁，袁华，等.基于改进Contourlet变换的遥感图像融合算法[J].计算机应用，2015，35（7）：2015?2019.

[4] 叶传奇.基于多尺度分解的多传感器图像融合算法研究[D].西安：西安电子科技大学，2009.

[5] 李永宁，游志胜，聂建荪，等.一种分布式多雷达航迹数据融合系统[J].四川大学学报（自然科学版），2004，41（2）：305?309.

[6] 江泽涛，杨阳，郭川.基于提升小波变换的图像融合改进算法的研究[J].图像与信号处理，2015（4）：11?19.

[7] 郁文贤，雍少为，郭桂蓉.多传感器信息融合技术述评[J].国防科技大学学报，1994（3）：1?11.

[8] 王璐.月球表面多光谱图像融合及其应用研究[D].南昌：南昌航空大学，2010.

[9] MITCHELL H B. Multi?sensor data fusion： an introduction [M]. Berlin： Springer Publishing Company， 2007.

[10] 贺文飞.像素级图像融合技术研究[D].长沙：国防科技大学，2006.

[11] 章毓晋.图像工程[M].3版.北京：清华大学出版社，2013.

[12] EGFIN NIRMALA D， VAIDEHI V. Comparison of pixel?level and feature level image fusion methods [C]// Proceedings of 2015 2nd International Conference on Computing for Sustainable Global Development. New Delhi： Bharati Vidyapeeth， 2015： 743?748.

[13] 杨晋伟.多光谱融合前端图像实时降噪处理系统的研究[D].南京：南京理工大学，2009.

[14] 马静.网络化控制系统的建模与融合估计[D].哈尔滨：黑龙江大学，2012.

[15] 张毅.基于亮度归一化的人脸识别的研究及应用[D].上海：复旦大学，2010.

[16] 袁张露.基于小波分析与偏微分方程的图像去噪研究[D].杭州：浙江理工大学，2012.

[17] 杨武，尹迪，耿伯英.改进的证据组合算法编队情报信息融合技术[J].火力与指挥控制，2008（5）：110?113.

[18] 牛晓晖.基于小波变换的图像融合算法的研究与实现[D].北京：北京工业大学，2010.

[19] 王海松.图像融合技术在图像去噪中的应用研究[D].上海：上海交通大学，2009.

[20] MANGALRAJ P， AGRAWAL R A. An efficient method based on wavelet for fusion of multi?sensor satellite images [C]// Proceedings of 2015 IEEE International Conference on Electrical， Computer and Communication Technologies. [S.l.]： IEEE， 2015： 1?6.

[21] 任金顺.基于多小波变换的图像融合研究与实现[D].西安：西安电子科技大学，2009.

[22] 杨璐菁，余华.多源信息融合理论与应用[M].北京：北京邮电大学出版社，2006：1?20.

[23] 杨万海.多传感器数据融合及其应用[M].西安：西安电子科技大学出版社，2004.

[24] KONG W W. Multi?sensor image fusion based on NSST domain I2CM [J]. Electronics letters， 2013， 49（19）： 802?803.

[25] 黄小丹.基于拉普拉斯金字塔变换的小波域图像融合[J].电子科技，2014，27（6）：170?173.