基于多尺度多方向Gabor模板的光学/SAR景象匹配

蒋运辉

(中国西南电子技术研究所,成都 610036)

基于多尺度多方向Gabor模板的光学/SAR景象匹配

蒋运辉

(中国西南电子技术研究所,成都 610036)

合成孔径雷达(SAR)成像制导通常采用光学基准图和SAR实时图进行特征提取和景象匹配。提出了一种光学/SAR异类影像匹配方法,利用多尺度多方向Gabor模板提取图像的Gabor特征后进行特征匹配,首先对SAR图像进行方向Frost滤波预处理,然后分别计算光学图像和SAR图像的高斯梯度图像,再利用多尺度多方向二维Gabor滤波器模板分别对两幅高斯梯度图像进行特征提取,最后对两组特征矩阵进行归一化互相关匹配。该方法直接利用光学图像和SAR实时图进行景象匹配,实验表明,该异类影像匹配方法较其他传统方法具有较高的鲁棒性和准确性。

光学图像;SAR图像;景象匹配;Gabor滤波模板;归一化互相关匹配

1 引 言

合成孔径雷达(SAR)成像制导以其全天候、全天时、抗干扰能力强等优点,已经成为精确制导的研究热点[1]。基于SAR实时图的景象匹配是SAR成像制导的关键技术之一。由于我国高分辨SAR影像资源较少,SAR影像资源保障比较困难,因此景象匹配所需基准图通常采用光学图像制备,提取光学基准图和SAR实时图的共性特征进行匹配。

异类影像匹配方法有很多,一些学者在这方面进行了较为深入的研究,也提出了许多有效的算法,包括基于边缘匹配、区域匹配、相关匹配等。边缘匹配[2]通常采用Hausdorff距离作为匹配相似性度量,缺点是运算量大,而且对实时图信噪比以及边缘提取准确性有较高要求。区域匹配[3]是对基准图和实时图进行区域分割和灰度填充后进行匹配,适宜于机场、港口等SAR图像灰度对比明显的场景,但是区域匹配依赖于区域分割的准确程度,过分割或者欠分割都影响匹配精度甚至出现失配的情况。

归一化互相关匹配(NCC)[4]算法以其匹配精度高、易于工程实现的优点被广泛应用于成像匹配末制导,但该算法也有一定局限性。首先要预先制备光学基准图,将光学图像仿真成SAR图像,或制备成区域灰度分布与SAR图像类似的二值或多值基准图,然后将其与SAR实时图进行归一化互相关匹配,因此光学基准图的制备是决定匹配性能好坏的关键性因素之一,由于需要人工参与制备,因此受人员的专业素质和制备经验影响较大,给景象匹配带来不确定因素,同时增加了战斗保障的难度。其次,基于灰度的归一化互相关匹配受图像畸变影响较大,如果基准图和实时图之间存在几何上的旋转、缩放、畸变,将对相关匹配的准确性带来较大影响。

本文提出了一种新的光学/SAR异类影像匹配方法,综合利用Gabor滤波器抗畸变干扰能力强和归一化互相关算法匹配精度高的优点,直接利用光学图像和SAR实时图进行基于多尺度多方向Gabor模板的相关匹配,无需预先对光学图像进行基准图制备。首先对SAR图像进行方向Frost滤波,在保持边缘细节的同时抑制相干斑噪声;然后分别计算光学图像和SAR图像的高斯梯度图像,再利用多尺度多方向二维Gabor滤波器组分别对两幅高斯梯度图像进行特征提取;最后对两组特征矩阵进行归一化互相关匹配。

2 SAR图像相干斑抑制

SAR图像存在着严重的相干斑噪声,计算其高斯梯度图像之前必须先进行相干斑的抑制。首先利用比率平均算子检测出边缘方向,然后进行方向Frost滤波[5],在保持边缘的同时大大抑制了相干斑噪声。

Frost滤波器[6]对每个脉冲的响应为

式中,K1是滤波器的归一化参数;CI(t0)是从以 t0为中心的窗口计算得到图象中局部区域的变化系数(计算式CI=σI/ I); t =(x,y)是空间坐标的模,即以当前像素为中心的局部区域内像素到中心点的距离。

Frost滤波实际上是一种自适应权值的加权均值滤波器,能较好地去除图像噪声,但该方法不能很好地保持图像的边缘。为了尽最大可能滤除图像噪声的同时保持图像中的边缘细节,可采用方向滤波的方法。利用比率-平均边缘检测器[7]判断当前像素处是否存在边缘,若存在边缘,则给出边缘方向,在边缘方向上进行一维Frost滤波;若当前像素处不存在边缘,则进行二维Frost滤波。

3 高斯梯度图像

3.1 光学/SAR图像边缘及梯度模型

众所周知,光学或SAR图像的边缘横截面类似于阶跃函数(如图1所示),其一阶导数与脉冲函数相似(如图2所示),但是光学图像和SAR图像边缘的一阶导数往往呈现形状相同、符号不同的情况,但其绝对值形状和符号都相同,因而具有相同的梯度模型。

图1 边缘横截面函数模型Fig.1 Functionmodel of edge cross section

图2 边缘函数梯度模型Fig.2 Gradient model of edge function

3.2 高斯梯度图像

高斯函数具有很好的边缘提取的性能,利用二维高斯函数的梯度模板对光学/SAR图像进行滤波可以计算图像的高斯梯度图像。二维高斯滤波器[8]方程及其一阶偏导数方程为

二维高斯滤波器的梯度函数为

将光学图像和SAR图像分别与二维高斯梯度模板卷积就得到了光学梯度图像和SAR梯度图像。

4 多尺度多方向二维Gabor滤波

4.1 二维 Gabor滤波

二维Gabor函数[9]就是一个被高斯函数调制的正弦或余弦函数,其数学形式为

式中,σx和σy是尺度参数,ω是频率参数,θ确定了Gabor函数的朝向,gi(x,y)是复数形式,由奇偶两部分组成,奇部分表示高斯函数调制正弦函数,偶部分表示高斯函数调制余弦函数。图3为一组Gabor模板,θ每隔 20°一个模板,上面18个是奇模板,下面18个是偶模板。

图3 一种尺度18个方向的Gabor模板Fig.3 Gabor templates with one scale and 18 directions

4.2 多尺度多方向Gabor滤波器特征矩阵

每个Gabor模板和光学/SAR图像中与Gabor模板大小相同的局部图像卷积就得到了一个特征值,每个尺度若构建36个Gabor模板,就可以用这36个Gabor模板分别与光学/SAR局部图像卷积就得到了36个特征值组成的一个特征矩阵,这个特征矩阵就可以表征在该尺度下光学/SAR局部图像的特征。本文采用多种尺度下的特征矩阵组成一个更大的特征矩阵,就可以将光学图像和SAR图像的相关运算转化为利用各自像的局部图像分别计算得到的特征矩阵进行相关运算,即图像的匹配转化为对特征矩阵的匹配问题。

图4是2种尺度 18个方向的Gabor模板,上面36个Gabor模板是一组大尺度模板,下面36个模板是一组小尺度模板,可以将这72个Gabor模板分别与光学和SAR局部图像相卷积得到一个8×9的特征矩阵,然后分别对光学局部图像特征矩阵与SAR图像局部特征矩阵利用归一化互相关算法计算这两个特征矩阵的相关性度量。

图4 两种尺度18个方向的Gabor模板Fig.4 Gabor templateswith two scales and 18 directions

基于多尺度多方向Gabor滤波器组的特征矩阵相关运算的运算量较传统的归一化互相关运算的运算量大大降低了。以Gabor模板大小为33×33为例,传统的灰度归一化互相关运算需要计算两个33×33=1 089像素的图像矩阵相关运算,现在只需计算8×9=72个元素的特征矩阵的相关运算,运算量呈数量级减少了。

5 基于Gabor特征矩阵的归一化互相关匹配

5.1 归一化互相关匹配原理

传统的基于灰度的归一化互相关匹配直接对基准图和实时图进行相关匹配运算。当实时图在基准图中可能范围内遍历的时候,保留实时图在基准图各个可能位置上的去均值归一化互相关度量值,所有的互相关值的集合形成相关曲面,相关曲面的相关峰中的最大值记做最高峰。通常最高峰所对应的位置即为实时图在基准图中的匹配位置。而最高峰邻域之外的相关峰极大值为次高峰,次高峰与最高峰之间的比值可以作为匹配置信度的衡量。

已知基准图X尺寸为M×N,实时图Y尺寸为m×n,则归一化互相关的相关性度量值为

式中,xij为基准图子图X中第i行、第j列像元的灰度值;yij为实时图Y中第i行、第j列像元的灰度值。相关系数极大值对应子图在基准图上的位置即为最佳匹配位置。

传统的归一化互相关匹配算法适用于对同源图像的景象匹配,而且对图像的旋转、缩放等几何畸变十分敏感,因此研究新的鲁棒性算法十分必要。

5.2 基于Gabor特征矩阵的归一化互相关匹配

本文将多尺度多方向Gabor特征提取与归一化互相关匹配相结合,提出对光/SAR图像的Gabor特征矩阵进行相关匹配,兼顾了Gabor滤波器对图像畸变不敏感的特点,同时具有归一化互相关算法匹配准确性高的特点,而且大大提高了实时性,因此具有较强的实用价值。

对于大基准图和小实时图的景象匹配,基准图X尺寸为M×N,实时图Y尺寸为m×n,则小实时图在大基准图中遍历搜索区域的大小为(M-m)×(N-n),实时图在基准图中每移动一个像素的位置都需要将实时图与基准图中当前像素位置处的基准图子图重新匹配一下,即将实时图特征矩阵与基准图子图特征矩阵进行相关匹配。

由于实时图和基准图子图往往要远大于Gabor模板,若Gabor模板大小为k×k,则将实时图和基准图子图划分成(m/k)×(n/k)个Gabor卷积区域,而每个卷积区域都能计算得到一个小Gabor特征矩阵,因此(m/k)×(n/k)个小Gabor特征矩阵将组成一个大Gabor特征矩阵。

以实时图大小为480×320、Gabor模板大小为33×33为例,小Gabor特征矩阵大小 9×8,而大Gabor矩阵由14×9个小Gabor特征矩阵组成,即大Gabor特征矩阵的大小为126×72。因此两个480×320的图像匹配转化为两个126×72大小的特征矩阵进行匹配,相关匹配运算量大大减少了。

5.3 实时匹配优化

为了提高景象匹配的实时性,需要从以下几个方面对算法进行优化。

(1)搜索策略优化

可以对基准图和实时图进行金字塔分解,逐级缩小图像,进行多级匹配[10]计算,一般分两三层就可。先在底层图像中,通过隔行隔列搜索和Gabor特征匹配,计算相关面,得到塔式分解底层搜索粗匹配位置,然后返回上一级塔式分解的实时图和基准图,在粗匹配点的邻域内进行精匹配。

(2)Gabor特征计算优化

基准图各子图的Gabor特征矩阵不需要实时计算,可以在实时处理前预先计算或加载;实时图的Gabor特征矩阵需要实时计算,但可以在遍历搜索循环前预先计算出来,循环遍历搜索时只需对预先计算好的Gabor特征矩阵进行归一化互相关处理。

(3)归一化互相关算法优化[11]

计算rk的值可以转化为计算下式:

6 实验结果

实验中采用背景复杂的某机场场景图像,图5为星载可见光遥感影像基准图,图6为SAR实时图,图7为经过方向Frost滤波后的SAR实时图,图8为光学基准图的高斯梯度图,图9为SAR实时图(图7)的高斯梯度图。

图5 光学基准图Fig.5 Optical reference iamge

图6 SAR实时图Fig.6 real-time SAR image

图7 SAR方向Frost滤波图Fig.7 SAR Frost direction filtering image

图8 光学高斯梯度图Fig.8 OpticalGaussian gradient image

图9 SAR高斯梯度图Fig.9 SAR Gaussian gradient image

为了验证算法的匹配可靠性和精度,对存在各种旋转、缩放畸变的SAR实时图与光学基准图进行匹配验证。实验采用了大量SAR图像进行了算法验证,对机场机库、典型建筑、港口舰船等3类场景进行匹配试验,每类场景选取5幅SAR实时图,同时对每副SAR图像单独或同时施加旋转和缩放畸变进行匹配试验,并对试验结果进行了分析,得到如表1所示结果。

表1 匹配实验结果Table 1 Results of matching experiment

7 结束语

从匹配试验结果来看,本文所述的基于多尺度多方向二维Gabor模板的光学/SAR景象匹配算法综合利用了Gabor特征提取和归一化互相关算法,较传统的景象匹配算法而言具有非常大的优势,不仅不需要在地面上预先对光学图像进行复杂的基准图制备,而且采用了Gabor滤波器特征提取能克服SAR实时图的多种畸变,同时对Gabor特征矩阵进行归一化互相关运算使之具有较高的匹配精度。另外,本文所述方法与传统归一化互相关匹配算法相比大大提高了算法的实时性。

实验表明,本文所述的光学/SAR异类影像匹配方法具备优良的算法适应性、实时性和较高的匹配精度,具有较强的工程实用价值,有望在SAR成像制导领域得到进一步应用。下一步工作应利用特定应用平台采集大量试验数据对其进行充分实验验证,对算法的工程实现性进行进一步研究。

[1]夏思宇.精确制导技术及其现状与发展[J].航空科学技术,2003(1):11-13.

XIA Si-yu.Precision Guidance Technique and Its Status and Development[J].Aeronautical Science and Technology,2003(1):11-13.(in Chinese)

[2]臧铁飞,沈庭芝,陈建军,等.改进的Hausdorff距离和遗传算法在图像匹配中的应用[J].北京理工大学学报,2000,20(6):733-737.

ZANG Tie-fei,SHEN Ting-zhi,CHEN Jian-jun,et al.The Application of Improved Hausdorff Distance and Genetic Algorithm in Image Matching[J].Journal of Beijing Institute of Technology,2000,20(6):733-737.(in Chinese)

[3]Gonzalez R C,Woods R E.Digital Image Processing[M].2nd ed.Cranbury,NJ:Pearson Education Inc.,2002.

[4]Tsai S X.Introduction to the Scene Matching Missile Guidance Technologies[R]//AD-A315 439/0/XAB.Fort Belvoir,V A:DTIC,1996:1-11.

[5]蒋运辉,陈怀新.基于小波方向滤波的有云层遥感图像舰船检测方法[J].电讯技术,2008,48(1):90-93.

JIANG Yun-hui,CHEN Huai-xin.Ship DetectionMethod Based on Wavelet DirectionalFilter in Cloudy Remote Sensing Images[J].Telecommunication Engineering,2008,48(1):90-93.(in Chinese)

[6]Frost V S,Stiles JA.A model for radar images andits application to adaptive digital filtering of multiplicative noise[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1982(4):157-166.

[7]Bovik A C.On detecting edges in speckle imagery[J].IEEE Transactions on Acoust,Speech,Signal Processing,1988,36(10):1618-1627.

[8]蒋运辉,皮亦鸣.基于Hough变换和遗传算法的SAR图像道路检测[J].雷达科学与技术,2005(3):156-162.

JIANG Yun-hui,PI Yi-ming.RoadDetection inSAR Image Based on Hough Transformation and Genetic Algorithm[J].Radar Science and Technology,2005(3):156-162.(in Chinese)

[8]Liu Cheng-jun,Wechsler H.Gabor feature based classification using the enhanced Fisher linear discriminant model for face recognition[J].IEEETransactions on Image Processing,2002,11(4):467-476.

[10]何芳芳,孙继银,刘小雷,等.分层搜索在景象匹配中的应用研究[J].现代防御技术,2005,33(4):36-38.

HE Fang-fang,SUN Ji-yin,LIU Xiao-lei,et al.Layered-searching for scene matching[J].Modern Defense Technology,2005,33(4):36-38.(in Chinese)

[11]蒋运辉.光学/SAR图像的多DSP实时匹配系统的设计与实现[J].电子测量与仪器学报,2011,25(5):449-454.

JIANG Yun-hui.Design and implementation of a multi-DSPs′real-time matching system based onoptical andSAR images[J].Journal of Electronic Measurement and Instrument,2011,25(5):449-454.(in Chinese)

JINAG Yun-hui was born in Wugang,Hunan Province,in 1977.He received the B.S.degree from University of Electronic Science and Technology of China in 2005.He is now an engineer.His research interests include image processing,target recognition,precision guidance.

Email:jiangyh@swiet.com.cn

Optical/SAR Scene Matching Based on Two-dimensional Multi-scale and Multi-direction Gabor Templates

JIANG Yun-hui
(Southwest China Institute of Electronic Technology,Chengdu 610036,China)

Generally optical reference image and SARreal-time image are used for feature extraction and scene matching in SAR(Synthetic Aperture Radar)imaging guidance.The heterogenous optical/SAR image matching method proposed in this paper extracts and matches image Gabor features using two-dimensional multi-scale andmulti-direction Gabor templates.Firstly,directional Frost filtering preprocessing on SAR image is performed.Secondly,the Gaussian gradient image of the optical and SAR image are calculated respectively.Then,features are extracted from the two Gaussian gradient images using multi-scale and multi-direction two-dimensional Gabor filter group respectively.Finally,NCC(normalized cross-correlation)matching on the two characteristic matrixes is performed.The proposed method implements scene matching using optical image and real-time SAR image directly.The experiment result shows that the heterogenous image matching method is more robust and accurate than other traditional methods.

optical image;SAR image;scene matching;Gabor filtering templates;normalized cross-correlation matching

TN957.52

A

10.3969/j.issn.1001-893x.2012.06.018

1001-893X(2012)06-0922-06

2012-03-05;

2012-05-09

蒋运辉(1977—),男,湖南武冈人,2005年于电子科技大学获通信与信息系统专业硕士学位,现为工程师,主要研究方向为图像处理、目标识别、精确制导。