多尺度边缘的轰炸光电瞄准图像融合

王昊鹏，刘泽乾，方 兴，张会勇，王晶横



多尺度边缘的轰炸光电瞄准图像融合

王昊鹏1,2a，刘泽乾2a，方 兴2b，张会勇2b，王晶横2b

( 1. 海军航空工程学院武器系统与运用工程系，山东烟台 264000；2. 空军航空大学a. 作战指挥系；b. 基础训练基地，长春 130022 )

现役主战轰炸机在夜间及复杂气象条件下无法观测目标，需要配备光电瞄准系统。为解决轰炸光电瞄准实现过程中多尺度图像融合这一关键技术问题，本文尝试通过融合多尺度边缘来达到融合图像信息的目的，在压缩被融合数据的同时，试图减小噪声对融合结果的影响。基于多尺度边缘表示理论，提出了一种针对轰炸光电瞄准的图像融合方法，并通过实验验证了该方法的有效性。结果表明，本文提出的基于多尺度边缘的图像融合方法对失配和噪声具有鲁棒性，为实现轰炸光电瞄准提供了理论基础。

轰炸瞄准；光电瞄准；多尺度边缘；图像融合；边缘相关性

0 引 言

主战轰炸机配备的纯光学目视瞄准具已经无法满足当今信息化作战要求，在夜间及复杂气象条件下无法观测目标，急需配备光电瞄准系统[1-2]。由于轰炸光电瞄准系统包含红外、可见光、激光等多波段传感系统，因而图像融合是实现轰炸光电瞄准的关键技术之一[3]。目前，大多数基于多尺度分解的图像融合方法都是对整幅图像的信息进行分析、融合，以便尽可能利用源图像中的重要信息，它们对图像配准的精度要求高，且极容易受到噪声干扰的影响。

已有的关于图像配准与图像融合的研究都是分开进行的，两个过程独立地处理大量的图像数据，再将结果送至下一级输出。由于图像数据本身的复杂性，人为地将这两个过程独立操作使得从失配的多幅图像中获得融合结果的过程非常复杂，并且计算量较大。

在研究中会发现配准与融合之间存在一些共通之处。首先，配准与融合处理的主要对象都是从图像中提取特征，通常这些特征对于配准和融合都是通用的[4]；其次，图像特征之间的相似性对于配准和融合都起到很重要的作用[5]。配准与融合的上述特性使得我们能够将两个过程结合起来，以降低整个过程的复杂程度，减少计算量并节省存储空间。

由于边缘信息既能够建立待配准图像之间的匹配关系，又常被作为待融合图像的重要保留特征，因此可以被选为图像配准与图像融合的契合点。在此基础上，本文提出了一种对失配和噪声具有鲁棒性的基于边缘的融合方法(Multiscale Edges Registration – Information Robust Image Fusion，MER – IRIF)。在实验中受到Mallat等人[6-7]提出的离散二进小波变换及基于该变换的图像多尺度边缘检测、重构方法的启发，依据离散二进小波变换具有的平移不变性，通过求解分解后高频子带之间的配准变换参数得到源图像间的配准变换参数，同时考虑到检测出的多尺度边缘能够表征图像的主要信息，在配准和融合处理过程中用多尺度边缘代替整幅源图像，并在处理结束后重构出融合图像的近似图像，既能减少数据的存储量，又能减轻算法的计算负担。

MER–IRIF方法在描述边缘信息的相似性时，引入了原本用于客观评价图像融合效果的边缘相关性(Edge Correlation，ECOR)[8-9]概念并对其进行扩展。不仅在配准过程中用全局边缘相关性衡量未配准源图像之间的匹配程度，同时在融合过程中将边缘相关性作为边缘点处的匹配度，以确定对应边缘点处的融合准则。

1 算法框架构成

为了简便起见，我们假设图像之间仅存在刚体变换的失配情况，即图像间只存在平移和(或)旋转的失配情况。设参考图像为，浮动图像为。MER – IRIF方法先通过多尺度边缘检测提取两幅失配图像和的边缘信息，再根据边缘相关性(ECOR)进行基于多尺度边缘的配准和融合，最后由融合后的多尺度边缘表示重构得到一幅融合图像。如图1所示为算法流程图。

图1 MER – IRIF 算法流程图

对图像、进行离散二进小波分解后，再经过边缘检测、边缘链接和边缘选择，提取出显著的长边缘曲线，从而获得图像、的多尺度边缘表示，这里分别记为()、()。此后的配准和融合过程都是在上述多尺度边缘表示上进行的。其中，配准过程只使用了两幅图像在尺度22上的边缘信息，并将全局边缘相关性作为配准算法的相似性度量，通过优化该参数使相似性度量达到最大，从而得到正确的变换参数并保存对应此参数的边缘相关性。利用上述正确的变换参数将()变换为与()匹配的多尺度边缘表示，记为(’)。对()与(’)进行融合，并利用配准中保存的相应边缘相关性作为匹配度来决定融合准则，得到融合后的多尺度边缘表示，可记为()。最后，融合图像可以由()经过多尺度边缘重构得到。

2 实验结果及分析

为了验证MER – IRIF方法的有效性，将其用于分析几组遥感图像和多聚焦图像，如图2所示。图2(a)是摄于Abu Dhabi地区的红光、绿光波段图像，图2(b)~(d)都是由高光谱扫描仪Daedalus scanner拍摄的某个城区或工业区[10]，而图2(e)和(f)则是两组多聚焦图像。这几组图像是已经精确配准的源图像，实验中需要对每组中的一幅图像进行平移和(或)旋转以模拟现实中的失配图像对。

依据转移瘤的位置、大小、数目及患者身体状况选取手术方式，开胸手术23例，胸腔镜手术38例。肺叶切除48次，肺楔形切除7次，肺段切除2次，肺叶连同部分胸壁切除2次，肺叶袖式切除1次，全肺切除1次。肺叶切除组中6例为同侧多肺叶切除，4例为肺叶切除加楔形切除。除7例行肺楔形切除的没有进行淋巴切除清扫以外，其余病例均常规实施淋巴结清扫切除(清扫或采样)。术后接受化疗42例。

实验中，将图2中每组的第一行图像进行平移和旋转，再选取其400×400的中心区域作为参考图像，并令图2中每组第二行图像中的400×400中心区域为浮动图像，用这种方式就可以模拟出真实情况下的自然失配图像对。

图2 几组遥感图像和多聚焦图像

2.1 融合效果的评估

（2）面向未来的培训合同。这一措施于2012年10月实施，其目的是帮助处于危险境地的年轻人重新进入社会，并帮助他们取得资格证书。因此，该方案主要针对16至25岁（有特殊需要的人最高可达30岁）的未完成基本教育、没有工作或缺乏职业培训、生活在贫穷的城市或农村地区的年轻人。他们的薪酬由国家补贴，补贴与其培训的情况挂钩。

在配准过程中，利用优化算法实现相似性度量的最大化，从而得到失配图像之间的正确变换参数。这里，平移、旋转的变换参数表示为[ΔΔΔ]，其中Δ，Δ分别表示沿，方向的位移，Δ则表示绕图像中心的旋转角度。为了简化搜索过程，实验中仅设置失配图像之间存在较小的平移和旋转差异。为了不失一般性，我们将优化算法中的初始变换参数设置在[0 0 0]处。

在得到正确配准参数和对应的最大边缘相关性后，对配准后的多尺度边缘表示进行融合，然后重构出融合结果。图3所示为正确变换参数为[-7 4 -3]时，MER–IRIF方法得到的融合结果。图3中前两行分别显示了参考图像和相应的浮动图像，第三行则是由融合后的多尺度边缘表示重构得到的最终融合结果。以图2(e)为例，如图4所示，分别展示了正确变换参数为[-7 4 -3]时参考图像在尺度22上的边缘图(图4(a))、浮动图像在尺度22上的边缘图(图4(b))，以及配准后的边缘图(图4(c))、融合后的边缘图(图4(d))。从图3可以看出，由融合后的多尺度边缘表示重构出的图像具有令人满意的视觉效果。

图3 正确变换参数为[-7 4 -3]时的融合结果

图4 当正确变换参数为[-7 4 -3]时图2(e)的边缘图

为了显示MER – IRIF方法的优势，将其与已有的使用多尺度融合准则的方法进行比较，包括文献[11]中提出的基于支持度变换和top-hat分解相结合的融合方法，以及文献[12]中提出的基于高/多光谱图像的空天一体融合方法。为了能够客观评价各个融合方法，这里采用了熵(E)、互信息(MI)、平均梯度(AG)及基于理想图像的均方差误差(RMSE)四种客观评价指标来衡量融合图像的效果，同时记录了各个融合方法融合过程的运行时间(Time)。表1所示给出了图2中几组图像经过上述三种算法融合之后得到平均客观评价指标。

表1 融合结果客观评价指标比较

Table 1 Fusion results objective evaluation index

由表1可以看出，本文提出的MER–IRIF融合算法有最大的熵值、平均梯度、互信息和最小的均方根误差，因而可以得到更好的融合效果。

2.2 计算量的评估

我们提出的MER – IRIF方法对尺度22上长边缘曲线进行了提取，大大减少了配准和融合过程中的处理数据。为了衡量数据量的减少程度，此处定义小波系数保留率为

其中：num表示MER – IRIF方法中使用的边缘点总个数；×表示源图像的尺寸大小。表2列出了在四组变换参数下处理图2中各对图像时的小波系数保留率。可见，使用多尺度边缘进行配准和融合后大大减少了处理的数据量。

室内空间设计在满足安全性、舒适性原则的基础上，还必须要满足会计估计性的原则。因此在实际的室内空间设计中还要充分重视经济型原则，设计人员还要通过采取不同的手段与方式，对室内空间的色彩、家具以及材料等机型处理，这样才能更好的满足人性化的设计理念。尤其需要设计人员对装饰材料进行慎重的选择，要求材料必须具备安全、环保以及节能的要求。但是需要注意的是在保证以上要求的同时还必须要考虑用户的实际经济状况，这也是室内空间设计中“人性化”设计理念的重要体现。

表2 图2 中各对图像的小波系数保留率

式中:t表示当前迭代的次数,XP是猎物的位置,X(t)是灰狼的位置。D表示包围步长。A和C为系数向量,分别由式(19)和式(20)计算得出:

Table 2 The wavelet coefficients retention rate of image in figure 2

此外，在融合多尺度边缘的过程中，重复使用了配准过程中得到的边缘相关性数值，无需再次寻找保留的边缘点并计算相应的相关性数值。这样计算量应可减少(×。同2.1节相同，将MER – IRIF方法与文献[13]、[14]、[15]中提出的融合方法相比较，如表3所示，本文提出的MER – IRIF算法在最短的时间内得到的融合结果有最大的熵值、平均梯度和较小的均方根误差，表明本方法可以在较短的时间内得到较好的融合效果。

表3 融合结果客观评价指标比较

Table 3 Fusion results objective evaluation index

3 结 论

本文利用轰炸光电瞄准图像的显著长边缘信息，提出了一种基于多尺度边缘的对失配/噪声鲁棒的图像融合方法，并通过大量实验验证了该算法的有效性。结果表明，本文提出的图像融合方法包含有比源图像更丰富的信息和细节，且大大减少了处理的数据量和计算量。由于轰炸瞄准过程中，对夜间及复杂气象条件下对目标的探测精度和速度要求较高，因此本文提出的方法显然能够为轰炸光电瞄准的实现提供有力的理论基础。

[1] 王昊鹏，刘泽乾，张会勇，等. 轰炸光电瞄准模型建立 [J]. 激光与红外，2015，45(4)：406-411.

WANG Haopeng，LIU Zeqian，ZHANG Huiyong，. Study of electro-optical bombing targeting model [J]. Laser & Infrared，2015，45(4)：406-411.

[2] 王昊鹏，刘泽乾. 轰炸光电瞄准载机系统交联改造 [J]. 兵工自动化，2015，34(2)：23-30.

WANG Haopeng，LIU Zeqian. Cross-Linking Improvement Containing Place on Bombing Electro-Optic Targeting System [J]. Ordnace Industry Automation，2015，34(2)：23-30.

[3] 王昊鹏，刘泽乾，张会勇，等. 轰炸光电瞄准主控计算机系统硬件设计 [J]. 计算机测量与控制，2015，23(3)：824-827.

WANG Haopeng，LIU Zeqian，ZHANG Huiyong，. Hardware Design of Master Control Computer on Bombing Targeting System [J]. Computer Measurement & Control，2015，23(3)：824-827.

[4] LIU Yan，YU Feihong. An automatic image fusion algorithm for unregistered multiply multi-focus images [J]. Optics Communications(S0030-4018)，2015，341(4)：101-113.

[5] LI Yinghao，HE Zhongshi，ZHU Hao，. Jointly registering and fusing images from multiple sensors [J]. Information Fusion(S1566-2535)，2015，27(5)：85-94.

[6] Mallat S，Zhong S F. Characterization of Signals from Multiscale Edges [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence(S0162-8828)，1992，14(7)：710-732.

[7] Xydeas C S，Petrovic V. Objective image fusion performance measure [J]. Electronics Letters(S0013-5194)，2000，36(4)：308-309.

[8] Petrovic V，Xydeas C S. Objective evaluation of signal – level image fusion performance [J]. Optical Engineering(S0091-3286)，2005，44(8)：087003.

[9] ZHANG Wenxing，HAN Deren，JIANG Suoliang. A modified alternating projection based prediction–correction method for structured variational inequalities [J]. Applied Numerical Mathematics(S0168-9274)，2014，83(2)：12-21.

[10] 2-D IMAGE COLLECTIONS [EB/OL]. http：//www. imagefusion. org，2006.

[11] 蔺素珍，杨风暴，陈磊. 基于支持度变换和top-hat分解的双色中波红外图像融合 [J]. 光谱学与光谱分析，2014，34(4)：1144-1150.

LIN Suzhen，YANG Fengbao，CHEN Lei. Fusion of Dual Color MWIR Images Based on Support Value Transform and top-hat Decomposition [J]. Spectroscopy and Spectral Analysis，2014，34(4)：1144-1150.

[12] 陈善静，胡以华，孙杜鹃，等. 基于高/多光谱图像空天一体融合仿真方法 [J]. 物理学报，2013，62(20)：204201.

CHEN Shanjing，HU Yihua，SUN Dujuan，. A simulation method by air and space integrated fusion based on hyper-/multispectral imagery [J]. Acta Physica Sinica，2013，62(20)：204201.

[13] WANG Xiangyang，SUN Weiwei，WU Zhifang，. Color image segmentation using PDTDFB domain hidden Markov tree model [J]. Applied Soft Computing(S1568-4946)，2015，29：138-152.

[14] LIU Tao，ZHAO Depeng，PAN Mingyang，. Fusing Multiscale Charts into 3D ENC Systems Based on Underwater Topography and Remote Sensing Image [J]. Mathematical Problems in Engineering(S1024-123X)，2015，2015(1)：1-7.

[15] REN Kan，XU Fuyuan. Super-resolution images fusion via compressed sensing and low-rank matrix decomposition [J]. Infrared Physics and Technology(S1350-4495)，2015，68：61-68.

Image Fusion of Bombing Electro-Optic Targeting Based on Multiscale Edge

WANG Haopeng1,2a，LIU Zeqian2a，FANG Xing2b，ZHANG Huiyong2b，WANG Jingheng2b

( 1. Weapon Systems and Utilization Engineering, Naval Aviation Engineering Institute, Yantai 264000, Shandong Province, China;2. a. Campaign and Command Department; b. Basic Training Base,Aviation University of Air Force, Changchun 130022, China )

Bombers in our army have not been equipped with the Electro-Optic Targeting Systems (EOTS), which cannot observe targets at night and as a result cannot conduct precise bombing with the all-optic targeting systems as their bombing targeting systems, so the EOTS is needed. To solve the problem of multiscale image fusion in the process of implement the EOTS, the purpose of image information fusion has been tried to achieve through the multiscale edge fusion. With the fusion data compression, the influence of noise on the fusion result has been tried to reduce at the same time. Based on the multiscale edge theory, an image fusion method for bombing EOTS is proposed, and the effectiveness of the proposed method is verified by experiment. Results show that the proposed image fusion method based on multiscale edge has robustness against mismatch and noise, and provides a theoretical basis for the realization of the bombing EOTS.

bombing targeting; EOTS; multiscale edge; image fusion; edge correlation

TP751

A

10.3969/j.issn.1003-501X.2016.04.009

2015-05-28；

2015-08-30

军队重点科研项目(KJ2011215)

王昊鹏(1987-)，男(汉族)，辽宁沈阳人。博士研究生，主要研究工作是武器系统建模与仿真。E-mail: roc_whp@sina.com。