基于SIFT的特征融合倾斜影像匹配方法

张亮格，吴兆福，余 敏，李齐键

(1.合肥工业大学 土木与水利工程学院，安徽 合肥 230009;2.安徽省基础设施安全检测与监测工程实验室,安徽 合肥 230009)

倾斜摄影测量可为建筑物提供顶面和立面信息，因此常被用于三维建模。然而倾斜影像存在局部仿射变形比较大、镜头方向不一致带来的色差，建筑物遮挡导致的纹理缺失等问题，因此相较于普通影像匹配，倾斜影像匹配存在匹配点数量少，匹配效率低的问题[1]。

目前针对倾斜影像的匹配方法可大致分为三类:(1)基于仿射不变性的点特征匹配方法。对原始影像提取具有仿射不变性的特征点，生成描述子，匹配。如仿射-尺度不变特征变换(affine scale-invariant feature transform，ASIFT)[2]、Harris-Affine[3]、Hessian-Affine[4]和最大稳定极值区域(maximally stable extremal regions，MSER)[5]。其中,ASIFT具有完全仿射不变性，对图像旋转、尺度、光照变化具有更强的鲁棒性[6-7]。(2)基于影像纠正的匹配方法。将各个倾斜相机拍摄的影像纠正到以某一基准面为参考面的“虚拟水平像片”上，再用常规影像匹配方法进行匹配[8-9]。(3)基于线特征的匹配方法。根据一些几何关系，以及一些强度或对比差异等一些强度约束关系来建立线段之间潜在的对应关系，然后在局部间进行匹配，如MSLD(mean-standard deviation line descriptor)[10]算法。但对比上述两种方法，近几年线提取算法发展缓慢。文献[11]指出目前具有最佳仿射不变性的区域特征提取算子为MSER特征提取算子，MSER对于含有相似区域并有明显边界的影像效果较好。Hessian-Affine算子和Harris-Affine算子相对其他算子,可以检测出更多的特征区域,这一特性有利于有遮挡或紊乱情况的影像匹配。Hessian-Laplace提取尺度不变特征点的时候通过二阶梯度微分算子，因此Hessian-Affine在稳定性和匹配性能优于Harris-Affine。 文献[12]指出目前最佳的特征描述符是尺度不变特征变换(scale-invariant feature transform，SIFT),SIFT对图像缩放、旋转甚至仿射变换保持不变。文献[13]利用MSER和Harris-Affine算法获取初始匹配，在此基础上进行最小二乘匹配(Least Squares Matchings，LSM)并自适应迭代求取LSM最大收敛区域，再利用一定的方法进行匹配扩散(匹配传播)。此方法具有较强的仿射不变性，能够解决从不同视角获取的较简单立面纹理的匹配问题。由于基于拉普拉斯的尺度选择与Hessian算子相结合可以获得更准确的结果。文献[14]针对城市建筑物的特点，提出融合Hessian-Affine和MSER的仿射协变区域检测方法，用于城市遥感的建筑物检测中。文献[15]应用SIFT和Harris-A两种具有互补特性的局部不变特征, 实现大失配图像的自动配准。

本文融合Hessian-Affine和MSER算子提取具有仿射不变性的特征区域，将其应用至具有较大视角变化的倾斜影像匹配过程。用SIFT描述子进行描述，利用欧式距离进行初始匹配，采用比值提纯法、归一化相关系数法和左右一致性检验,再将粗匹配得到的匹配点对用随机抽样一致性算法(random sample consensus ,RANSAC)进行提纯。

1 MSER和Hessian Affine

1.1 MSER

MSER是Matas等针对宽基线立体匹配提出的一种局部特征检测算子。该算法基于分水岭的概念，通过分析影像局部区域内像素点间的灰度值关系,构造出四连通的影像区域,即为最大稳定极值区域,该区域内部像素点的灰度值都大于或小于区域边界像素点的灰度值。MSER常用于图像的斑点区域检测，具备可区分、 仿射不变性、稳定等特性。下面给出了MSER的数学定义为

q(i)=|Qi+Δ-Qi-Δ|/|Qi|

(1)

式中，Qi为阈值是i时的某一连通区域；Δ为灰度阈值的微小变化量；q(i)为阈值是i时的区域Qi的变化率。当q(i)为局部极小值时，则Qi为最大稳定极值区域。在完成图像中MSER的区域检测后,形成的图像不利于进行归一化和提取特征描述, 必须进行椭圆拟合。

1.2 Hessian-Affine

Hessian-Affine检测算子是基于某点上的Hessian矩阵进行兴趣点计算,选择在多尺度下具有局部最大的兴趣点,得到一系列对旋转、尺度、平移、亮度改变稳定的点,然后运用多尺度迭代算法进行空间定位和筛选尺度、仿射不变特征。Hessian-Affine检测算子首先在高斯尺度空间由Hessian矩阵H(L)及其行列式HDo检测初始特征点，然后搜索HDo局部极值来选择特征点的位置和特征尺度，最后使用迭代算法不断调整特征点的位置、尺度和邻域形状，找到收敛后的仿射协变区域。通过上述迭代过程，一个初始点将会自动地迭代以调整规范化图像域、初始点的尺度以及空间位置，最终收敛到一个具有仿射不变性的特征点。Hessian-Affine检测算子时HDo检测算子的仿射自适应改进，用高斯尺度空间的HDo检测算子估计特征点的初始位置和尺度。

2 特征融合

Hessian-Affine能够大量地检测出灰度变化强烈的局部区域，适用于具有明显拐角和边缘的建筑物类型，而 MSER 算法能够提取图像中灰度一致的目标区域，对于灰度分布均匀的建筑物具有较好的检测效果，且对于图像的旋转等仿射变换具有较好的适应性。由于没有任何一种检测子在任何场景或变换下表现最优，因此本文提出对 Hessian-Affine、MSER 进行互补融合进行倾斜影像特征点提取。对每一个初始特征点，使用稳定和收敛的迭代过程来同步调整特征点的尺度、位置和邻域形状。Hessian-Affine检测子对于明显尺度变化和视角变化等变换具有较强适应性，降低了特征的误配率，从而更准确地识别出不同仿射变换和不同光照变化图像中对应的相似特征区域。

融合具体流程如下：

(1)特征提取。对原始影像分别用MSER和Hessian-Affine计算关键点主方向，生成特征区域。

(2)特征组合。对分别用MSER和Hessian-Affine检测出来的特征进行组合提取，删除相同特征区域。

(3)特征归一化。Hessian-Affine和MSER特征区域呈椭圆形，特征描述需在规则区域中(如圆形或矩形)进行，因此，首先需要对特征实施归一化处理，之后再进行特征描述。设f=(x,W)和f′=(x′,W′)分别为左侧影像和右侧影像中任意同名特征，x和x′表示特征点坐标，W和W′表示协方差矩阵。同名特征点的椭圆特征区域E和E′的长短轴和长轴倾角值可由W和W′求出。仿射归一化计算公式为：

(2)

(3)

(4)

(5)

(4)特征描述。用SIFT描述子生成128维特征向量。

3 匹配策略

(1)对于生成的128维特征向量采用双向最近邻(nearest neighbor ,NN)匹配和最邻近距离与次邻近距离的比值(nearest/next distance ratios，NNDR)获得初始匹配结果，阈值取值ρT=0.8。

(2)采用随机采样一致性(random sample consensus，RANSAC)算法剔除外点并估计基础矩阵F和单应矩阵H，F代表了对应点应该满足的极限约束，H代表左侧影像和右侧影像间的变换关系。在初始匹配结果中任选四对不共线的点，计算出单应矩阵估计值Hg，然后在F的约束下，将左右影像特征进行归一化，并作为相关窗口，根据公式(6)计算相关系数ρ：

ρ=

(6)

(7)

(3)用均方根误差(root mean squared error，RMSE)对最终结果进行约束，若RMSE大于2.0个像素，剔除误差最大的同名点对，然后重新计算基础矩阵F和单应矩阵H，直至满足要求。

4 匹配评价标准

(8)

(9)

若d小于阈值2.0像素，则认为点对匹配正确，否则认为点对匹配错误。

5 试验结果与分析

本次试验运行环境为：运行内存8.00 GB，处理器Intel®CoreTMi7-8750H CPU@2.20 GHz 2.21 GHz，基于Visual Studio2015的OpenCV2.4.13视觉库。

试验数据：安徽合肥地区某印刷厂附近的一组倾斜影像数据，影像大小为1 200像素×800像素，侧视影像的倾角约为45°，飞行高度约为122 m。因篇幅有限，仅选择其中5个像对介绍，如图1～图5所示。前3组为侧视影像组成的影像对，视角变化在2°～5°，后2组为侧视影像和下视影像组成的影像对，视角变化约为45°。

分别使用本文提出的方法与SIFT、ASIFT对5组典型试验影像对进行匹配。匹配结果如表1～表3所示。其中，t1为特征提取时间，t2为匹配时间，N1为初始匹配点对数，N2为最终正确匹配点对数，RMSE为均方根误差。进行ASIFT特征提取时将图片缩放为800像素×600像素。

图1 下视影像对

图2 右视影像对

图3 后视影像对

图4 左视影像和下视影像对

图5 前视影像和下视影像对

前三组匹配结果显示，对于同一相机获取的部分重叠影像，在正确匹配点对数上，ASIFT最多，约为SIFT方法的20倍，MSER+Hessian-Affine约为SIFT的两倍， MSER+Hessian-Affine方法的10倍。在耗时上，ASIFT耗时最长，MSER+Hessian-Affine次之，SIFT耗时最短。

后两组匹配结果显示，对于侧视影像和下视影像组成的影像对，在正确匹配点对数上，SIFT仅为个位数，MSER+Hessian-Affine和ASIFT方法得到的结果比较一致，在耗时上，ASIFT耗时最长，MSER+Hessian-Affine次之，SIFT耗时最短。因采取相同的匹配策略，三者精度相近。

试验结果表明，对于视角变化约为45°的倾斜影像对，本文方法能提取到与ASIFT近乎同等数量的特征点，但耗时仅为ASIFT的1/10。

表1 本文方法匹配结果

表2 SIFT方法匹配结果

表3 ASIFT方法匹配结果

6 结 语

本文融合Hessian-Affine和MSER提取具有仿射不变性的特征区域进行匹配，提高了特征点的数量和分布均匀性。试验表明，对于视角变化约为45°的倾斜影像对，本文方法仍能提取到较多的正确特征点，且耗时仅为ASIFT算法的1/10，为存在较大仿射(透视)变形的低空倾斜立体影像匹配探索一种新的可行思路。直接利用SIFT描述子对具有仿射不变性的特征区域进行描述,计算过程繁琐、计算量较大、程序运行时间长,下一步研究可对该算法进一步优化并提高速度。