一种基于连续跟踪的前视红外基准图制备方法研究

刘云峰，杨小冈，郑 刚，唐小佩，黄自力，彭先蓉

（1.中国科学院光电技术研究所，四川成都610209；2.中国兵器工业第209研究所，四川成都610041；3.火箭军驻成都地区军事代表室，四川成都610036；4.火箭军工程大学，陕西西安710025）

一种基于连续跟踪的前视红外基准图制备方法研究

刘云峰1，2，3，杨小冈4，郑 刚4，唐小佩4，黄自力2，彭先蓉1

（1.中国科学院光电技术研究所，四川成都610209；2.中国兵器工业第209研究所，四川成都610041；3.火箭军驻成都地区军事代表室，四川成都610036；4.火箭军工程大学，陕西西安710025）

针对飞行器前视红外连续跟踪导航任务，对一种实用的匹配区选取与基准图生成方法进行了研究。分析了连续跟踪导航基本原理，以图像方差、连续特征检测和Frieden灰度熵为分析指标，设计了一种粗选与精选结合的匹配区选取方法。以线特征作为连续跟踪匹配区选取参数之一，利用实时图大小方格逐行扫描的方式，以图像方差为指标进行粗选，选取合适的区域进行直线特征检测；用Hough变换直线检测进行二次精选，用Frieden灰度熵进行稳定性分析，以确定可用于连续跟踪匹配区，得到跟踪导引线，并给出其定义及其参数组成。对某航拍图用所提方法获得了具备连续特征的前视红外连续跟踪导航基准图，验证了该方法在连续跟踪匹配区选取中的有效性、实用性和适应性。

前视红外；视觉导航；匹配区选取；图像方差；特征检测；灰度熵；导引线；基准图生成

0 引言

现代战争可以是以信息技术为先导的高科技局部战争，精确制导武器是其重要组成部分。随着攻防对抗日益激烈、战场环境日趋复杂，要求精确制导武器能在复杂背景和强干扰下，准确地截获、跟踪和攻击目标［1］。前视红外成像制导是精确制导技术发展的一个重要方向，它具有灵敏度高、探测距离远、视场角大和对目标的识别能力强、抗干扰能力强等优点，已成为当前导弹制导技术研究的一个热点，它可在卫星导航受干扰、地形环境受限、地磁特征不明显等条件下自主导航或辅助惯性导航［2］。基准图制备是实现图像匹配制导的关键技术。文献［3］对微光条件下的景像匹配基准图生成技术进行了研究。文献［4］研究了图像可匹配性检验参数，定义了图像的自匹配性能参数，设计了该参数的计算方法，进而提出一种新的下视光学景像匹配制导技术的基准图选定准则。文献［5］研究了前视状态下基于红外图像的景像匹配制导基准图制备方法，以可见光卫星影像为数据源，分析目标与背景的辐射特征并加入大气作用效果，根据不同视点进行坐标变换，得到制导系统所需的多视点多尺度基准图。文献［6－7］针对前视红外条件下地球表面上固定目标的识别问题，由场景的3D数据建立目标三维模型，用实时观测方法进行二维投影获得目标的二维模板基准图，仿真识别试验表明此基准图生成方法在各种视角、距离、环境条件及复杂背景中均具备较强的稳健性。目前，国内研究多集中于精确制导层面的基准图制备技术，主要围绕下视光学景像匹配制导技术以及前视红外自动目标识别技术，对前视红外导航基准图制备的研究较少［3－7］。国外则鲜有相关技术细节的公开报道或论述。

结合飞行器各阶段的机动飞行任务需求，本文借鉴目前巡航导弹采用的任务规划模式对飞行器中制导任务进行了分析与研究，以基于连续跟踪任务的匹配区选取问题为背景，提出了一种适于前视红外制导连续跟踪的基准图生成方法，并通过理论分析及仿真试验验证该方法的可行性与有效性［8］。

1 连续跟踪导航原理

连续跟踪是利用连续的地物特征信息进行精确的飞行导引，使飞行器以确定的航向实现稳定飞行。在飞行过程中，通过对序列实时图中“跟踪导引线”的方向以及位置的检测以确定飞行器的跟踪状态、偏航位置等信息，从而进行相应的修正。飞行器实时采集前方视场的图像，然后进行连续特征检测得到跟踪导引线，通过计算跟踪导引线与飞行器摄像头光轴的夹角ψ（顺时针为正）以及跟踪导引线在视场中的位置，得到飞行器偏航角度ψ和位置偏移a（左偏为负，右偏为正）。理想情况下，飞行过程中跟踪导引线在实时图中主要有四种情况，如图1所示。

a）正常跟踪时，跟踪导引线位于视场中央ψ＝0°，a＝0；

b）飞行器航向偏斜时，左偏时ψ＜0°，右偏时ψ＞0°；

c）飞行器位置偏移时，左偏时a＜0，右偏时a＞0；

d）飞行器航向和位置都偏离时，ψ＜0°，a＜0。

2 连续跟踪匹配区选取方法

由连续跟踪导航原理可知：该任务基准图制备的核心是分析保障图像数据中是否有可用于连续跟踪的“跟踪导引线”，并获取其相关参数。为使选取的基准图能满足连续跟踪任务的需求，本文将连续特征的检测、识别、分析作为连续跟踪匹配区选取的重要环节。

2.1 基于图像方差的匹配区粗选

选作匹配区的图像必须具备一些必要条件，即选取过程中通过这些条件的筛选可快速对图像进行分类，提高选取效率。图像信息量是常用的一种衡量指标，指所含具有类间差异的灰度、结构等信息的多少。对图像的信息量，常见的描述参数有图像方差、能量、信噪比等［9］。因图像方差相对其它描述参数来说，方法简单，且计算量较小，能在粗选中体现快速性，故选用图像方差以衡量匹配区信息量的多少，进行匹配区图像的粗选。

定义图像方差

2.2 Hough变换直线检测

直线变换是二维空间中的一点映射到参数空间中的一条曲线，由数学对偶性原理可知二维空间中点的共线性对应于参数空间中曲线的共点性，以此为依据提取直线的相关参数［10］。其原理如图2所示，其映射关系表达式为

直线检测算法的流程如图3所示。为利用Hough变换检测图像中的直线，需先对图像进行边缘检测以获得二值边缘图像。大量对比实验分析发现：Sobel算子的计算量较小且对后续的直线检测效果较好，因此本文采用Sobel边缘检测算子。

对二维图像，定义二维坐标函数f（x，y）为图像在点（x，y）处的灰度值，则图像f（x，y）在点（x，y）处的一阶导数即梯度可表示为一个矢量［11］。有

Sobel算子的原理为

根据检测结果可确定该图像是否具有基本的可用于连续跟踪的连续特征。对红外图像来说，虽然灰度分布较低，但其边缘特征仍较明显，依然可对红外实时图进行可靠的连续特征检测。

2.3 基于Frieden灰度熵的图像稳定性分析

图像的稳定性是指图像灰度、结构等信息的连续、稳定程度。实际上，由保障数据制成的基准图与飞行器实时图一般是在不同时间、不同拍摄条件下获得的，因此匹配区图像的特征还须具有一定的稳定性。一般用于衡量图像稳定性的参数有稳定强度、累加梯度、边缘连续度和灰度熵等。其中：Frieden灰度熵的定义为

f为大小M×N的图像［12］。由于红外图像的边缘一般较模糊，特征不明显，而Frieden灰度熵在图像模糊时的稳定性度量效果更好，因此选取灰度熵分析匹配区的稳定性。

3 匹配区选取算法流程设计

分析卫星和航拍图像等可发现：飞行器上常见的可分辨、具连续特征的地物主要有公路、河流、铁路等，这些地物的线特征非常明显，且有连续性，因此这些区域适合用作连续跟踪匹配区。本文选取线特征作为连续跟踪匹配区选取参数之一，设计了以图像方差为指标进行粗选，结合Hough变换直线检测进行二次精选，并通过Frieden灰度熵进行稳定性分析的连续跟踪匹配区选取方法。

本文连续跟踪匹配区选取方法为：输入为待分析保障图像数据，输出为可用于连续跟踪任务的匹配区域。步骤如下。

步骤1）根据实时图大小确定匹配区分析的子图大小及搜索步长。

步骤2）根据任务需求及待分析图像的条件设置粗选分析参数、精选分析参数，以及稳定性分析的相应门限值。

步骤3）按确定的搜索策略、子图大小计算整幅图像的各项参数，获取粗选参数。

步骤4）判断计算得到的分析参数是否满足相应门限要求，并对满足要求的区域进行标记，若不满足粗选要求则更换下一幅分析图像并转至步骤3。

步骤5）按搜索策略对步骤4得到的满足要求的区域进行连续特征检测，并记录检测指标参数。

步骤6）判断检测所得指标参数是否满足精选门限值要求，并标记满足要求区域，若不满足则更换下一幅分析图像并转至步骤3。

步骤7）按搜索策略对步骤6所得满足要求的区域进行匹配区稳定性分析，并记录检测指标参数。

步骤8）判断检测所得指标参数是否满足匹配区稳定性门限值要求，并标记满足要求区域，若不满足则更换下一幅分析图像并转至步骤3。

步骤9）选取结束，得到选取结果。

针对前视红外视觉导航连续跟踪匹配区选取，本文的选取方法简要流程如图4所示。

4 基准图生成

一般来说，基准图的制备与导航定位原理关系密切。根据连续跟踪导航原理，连续跟踪依靠的是跟踪导引线实现航向和位置修正，无需利用红外实时图与可见光基准图的匹配实现定位。因此，连续跟踪基准图制备的重点是匹配区选取。匹配区分析完成后，可获取检测所得的跟踪导引线的各项参数，得到连续跟踪匹配区的知识基准图。

由于制备基准图的保障图像数据的分辨率、比例尺、位置信息等可预先得到，利用这些数据能计算基准图中跟踪导引线的各项参数。由前文的匹配区分析可知：匹配区分析结果有三种：一是无跟踪导引线，二是只有一条跟踪导引线，三是有多条跟踪导引线，如图5所示。

根据连续跟踪导航任务原理，综合连续跟踪及误差修正实际需求，定义跟踪导引线参数为

如图6所示。此处：M为基准图编号；（x0，y0）表示基准图像素大小为x0×y0；k为基准图中跟踪导引线的序号；为第k条跟踪导引线起点的像素坐标；为第k条跟踪导引线终点的像素坐标；ω为实际景物距离与图像像素大小的对应换算系数；lk为第k条跟踪导引线像素长度；Lk为第k条跟踪导引线在实际场景中的长度；θk为第k条跟踪导引线的角度，正北方向为0°，顺时针为正。此处：

当存在多条跟踪导引线时，用上述方法对每条导引线进行参数统计。在规划飞行器导航任务时，根据飞行器飞行路线的实际需要，可设置一个或多个连续跟踪导航任务，结合连续跟踪导航基准图，选取合适的跟踪导引线，对飞行器的航向和位置偏差作相应的修正，使飞行器更准确、稳定地飞行。

5 仿真实验与分析

为验证本文方法的有效性，设计了连续跟踪匹配区选取实验。某区域的航拍图像如图7（a）所示，大小为320×256，子图大小为32×32，搜索步长为8像素。按本文的选取流程，先进行基于图像方差的匹配区粗选，再通过连续跟踪线特征指标对匹配区进行精选，然后对满足条件的区域进行图像稳定性分析，最终得到可用于连续跟踪的匹配区域。匹配区选择图像如图7（b）所示。其中：红色部分为同时满足3个分类指标的适合作为基准图选择的区域；蓝色部分为满足其中两个指标的区域；其它区域则不适合作为基准图。

连续特征检测时，为选取最优的跟踪导引线，去除较短的跟踪导引线，取Hough变换线段合并距离阈值为0.02×lmin，线段保留阈值为0.8×lmin。此处：lmin为待分析图像最短边的像素大小。连续跟踪基准图制备结果如图7（c）所示。图7（c）中：AB，CD为检测得到的两条跟踪导引线，其参数分别为

图7（c）为对图像进行连续跟踪线特征检测精选后的结果。比较图7（b）、（c）可知：虽然粗选结果有三块区域满足方差条件，但精选后排除了其中两块不具备连续线特征的区域。虽然图7（c）中CD段线特征也较明显，但不满足方差指标要求，不适合作为匹配区，故选取AB段区域作为连续跟踪匹配区。仿真结果表明用本文方法可有效检测跟踪导引线检测并获取其参数，为连续跟踪任务寻找合适的基准图区域，制备可靠的知识基准图。验证了本文方法的可行性。

6 结束语

本文以飞行器前视红外视觉导航为研究背景，根据飞行器实际飞行导航原理，针对匹配景像中的连续特征，研究了连续跟踪匹配区基准图制备方法。通过将连续跟踪导航原理与图像方差、连续特征检测、稳定性分析等方法结合，对待选基准图进行匹配区分析，设计了一种有效的选取方法，定义了跟踪导引线的概念及其特征参数，实现对其定量描述，并给出了连续跟踪匹配区知识基准图的制备方法，为特定条件下飞行器前视红外视觉导航的基准图制备探索了一条新思路。仿真实验表明：本文方法能有效进行连续跟踪匹配区分析和知识基准图制备。但由于红外图像较可见光图像更模糊，灰度信息阶梯变化较小，对特征检测有一定影响。后续，将采用识别率更高的特征检测方法，并在对连续特征的研究基础上，结合固定点位特征识别提取方法，研究针对飞行器定点修正基准图的制备方法。

［1］ GONG J，FAN G，YU L，et al.Joint view——identity manifold for infrared target tracking and recognition［J］.Computer Vision and Image Understanding，2014，118：211－224.

［2］ RATCHES J A.Review of current aided／automatic target acquisition technology for military target acquisition tasks［J］.Optical Engineering，2011，50（7）：072001－8.

［3］ 祝永坚.微光景像匹配基准图生成技术研究［D］.南京：南京理工大学，2007.

［4］ 曹菲，杨小冈，缪栋，等.景象匹配制导基准图选定准则研究［J］.计算机应用研究，2005（5）：137－139.

［5］ 刘婧，孙继银，朱俊林.前视红外景象匹配制导基准图生成研究［J］.微计算机信息，2007，23（10）：279－281.

［6］ 郭文普，孙继银，王鹏.基于3D可视化GIS的前视参考图生成方法［J］.计算机测量与控制，2009，17（9）：1802－1803.

［7］ 熊斌，丁晓青，王生进.基于三维模型的前视红外目标匹配识别方法［J］.激光与红外，2011，41（3）：344－347.

［8］ 任敏，吴昊，沈林成.巡航导弹的任务模式和规划需求［J］.飞航导弹，2009（1）：29－33.

［9］ 刘中华，王晖，陈宝国.景象匹配区选取方法研究［J］.计算机技术与发展，2013，23（12）：128－133.

［10］ 朱芳芳，顾宏斌，孙瑾.一种改进的Hough变换直线检测算法［J］.计算机技术与发展，2009，19（5）：19－23.

［11］ 杨小冈.导弹多源图像匹配定位方法与仿真技术研究［D］.西安：第二炮兵工程学院，2006.

［12］ 张晓晨，付梦印.基于信息熵的景象匹配区选取方法［J］.系统工程与电子技术，2011，33（5）：1089－1093.

An Approach for Reference Image Preparation Based on Continuous Tracking of Forward Looking Infrared

LIU Yun－feng1，2，3，YANG Xiao－gang4，ZHENG Gang4，TANG Xiao－pei4，HUANG Zi－li2，PENG Xian－rong1
（1.Institute of Optics and Electronics，Chinese Academy of Sciences，Chengdu 610209，Sichuan，China；2.No.209Institute of China North Industries Group Corporation，Chengdu 610041，Sichuan，China；3.Military Representatives Office of Rocket Force in Chengdu，Chengdu 610036，Sichuan，China；4.The Rocket Force Engineering University，Xi’an 710025，Shaanxi，China）

A practical matching area selection and reference image preparation approach was proposed aiming at continuous tracking navigation task for forward looking infrared（FLIR）aircraft in this paper.The basic principle of continuous tracking navigation was analyzed.Based on the analysis of image variance，continuous feature detection and frieden gray level entropy，a matching area selection approach was designed by combining rough selection and fine selection.The line characteristic was used as one of selected parameters of continuous tracking matching area.The region was selected first by variance using real－time map grid size progressive scan mode.The appropriate region was determined for line detection.The region was selected finely by linear detection of Hough transform.The region stability was analyzed by Frieden gray level entropy.So the matching area for continuous tracking was determined.The track guide line was obtained and the definition and parameters were given.The reference image for FLIR continuous tracking guidance for some picture was obtained by the designed approach.The practicability，efficiency and adaptability of the approach were proved.

forward looking infrared；visual navigation；matching area selection；image variance；continuous straight feature detection；gray level entropy；track guide line；reference image preparation

TP317.4

A

10.19328／j.cnki.1006－1630.2017.01.006

1006－1630（2017）01－0037－06

2016－09－24；

2017－01－12

国家自然科学基金资助（61203189）

刘云峰（1974—），男，博士后，主要研究方向为精确制导与图像识别技术。