结合尺度空间FAST角点检测器和SURF描绘器的图像特征

王飞宇，邸 男，贾 平

(1.中国科学院 长春光学精密机械与物理研究所 中国科学院航空光学成像与测量重点实验室，吉林 长春 130033；2.中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033；3.中国科学院大学，北京 100049)

1 引 言

特征匹配是计算机视觉应用的一个基本步骤。很多计算机视觉应用，包括图像匹配、目标识别、运动跟踪、3D结构重建、同步定位等等，都依赖于对图像中的具有代表性特征的利用[1-5]。因此，对于稳定、独特、鲁棒的图像特征的研究成为近年来计算机视觉领域研究的重要方向[6]。

目前，应用最为广泛的特征是Lowe[7]的SIFT，该特征具有良好的独特性，并且对各种图像变换具有一定程度的不变性，但代价是庞大的计算量。此后的一系列研究以SIFT的性能为参照标准，致力于在理想的性能和较低的计算复杂度之间寻求一个令人满意的折衷。Bay等人[8-9]的SURF是一个典型的例子。SURF的匹配率与SIFT接近，其运算速度提高至大约SIFT的3倍。文献[9]从理论上证明了SURF特征具有比SIFT特征更强的噪声鲁棒性。

另一方面，基于二值化描绘器的特征因为其较低的计算复杂度而更加适合如移动电话、PDA等低级终端平台上的应用，从而成为最近几年新兴的研究热点。Leutenegger等人[10]提出的BRISK特征能够抵抗尺度变化和平面旋转，其计算比SURF更加快速。

本文的研究工作集中于适用于远距离目标识别的特征。这类目标的一个共同特点是目标区域内特征数量少且位置相互接近，因而对这些目标的识别需要所使用方法的关键点检测器能够检测到大量的准确且稳定的关键点。所以，本文研究所希望得到的特征，应当能够在图像中的细节密集的区域高效地获取稳定的关键点，减少对图像中平滑区域的关键点提取；更重要地，关键点算法应当能够进行精确的尺度空间检测。特征描绘器应当能够为关键点指定方向，具有平面旋转不变性、尺度不变性和一定范围的三维视角不变性，并提供噪声鲁棒性。

SURF的基于快速海森矩阵关键点检测方法对图像的高斯模糊及二阶偏微商进行了近似的计算，其平滑作用在过滤噪声的同时，使得图像损失很多高频细节信息，这对于远距离目标的识别尤其不利。同时，SURF检测器容易在平滑区域的边缘提取出大量的关键点，在这些关键点位置生成的特征其自身独特性较差，容易造成误匹配。FAST角点检测器避免了这些问题，但它在获取高频信息区域关键点的同时，也容易受到高频噪声的干扰。

与SURF等网格描绘器相比，二值特征描绘器的描绘力较弱。快速海森矩阵检测器和BRISK描绘器的性能上的不足将在第3节中得到论证。

根据这些设计需求和方法因素，本文提出将尺度空间FAST角点检测方法与SURF描绘器结合的特征方法。

2 相关研究

2.1 关键点检测器

Mikolajczyk在文献[11]中的研究指出，高斯-拉普拉斯算子(LoG)响应的极值点比灰度梯度、海森矩阵、Harris等方法所获取的关键点更加稳定。为了提高计算速度，SIFT利用高斯差分算子(DoG)近似LoG。

根据文献[12]，基于海森矩阵的关键点检测器比Harris角点检测器具有更好的稳定性和重复性。SURF的快速海森矩阵检测器利用高斯滤波后的图像像素的海森矩阵行列式值作为显著性依据；同时采用积分图像与箱式滤波器结合的方法近似海森矩阵，从而提高了运算速度。

Rosten和Drummond[13]提出的FAST是一种最新的角点检测器，其显著性判据很好地结合了相应的机器学习方法，这使得角点检测的时间消耗达到毫秒级别，运算速度超过快速海森矩阵数十倍。因此，FAST在具有比较高的实时要求的应用中得到越来越多的使用。Leutenegger等人在BRISK方法中使用了尺度空间FAST检测器，该方法在图像空间和尺度空间中利用FAST分数作显著性衡量标准来检测局部极值。本文研究采用这种角点检器。

2.2 特征描绘器

SIFT描绘器通过计算并统计采样区域内16×16采样点的灰度梯度的方法获得128维特征向量，其计算消耗很高。SURF的设计理念与SIFT类似，它使用Haar小波响应代替了SIFT中的相邻4像素梯度。Alahi等人[14]的研究表明，相比于单像素点匹配，利用类似于SIFT或SURF的网格描绘器进行图像匹配能够获得更高的准确率。Mikolajczyk和Schmid[12]提出的GLOH描绘器将SIFT的特征图像块改用极坐标表示，GLOH有更高的独特性但计算更为复杂。除此之外，文献[12]中的大量实验工作表明，在GLOH、PCA-SIFT、矩不变量等10种描绘器中，SIFT具有最好的召回率—准确率特性。

二值化描绘器BRIEF[15]在关键点邻域内按照预先随机决定的像素位置选取像素对，比较这些像素对的灰度值大小并用二进制数表示比较结果，然后将比较结果编入二值字符串描绘器。这种法方通过计算二值描绘器之间的汉明距离、并据此判定特征的相似度来进行特征匹配，相比于计算描绘向量的马氏距离或欧氏距离的方法计算消耗降低了很多。BRISK提供了一种固定的像素对采样模式，由该模式下长距离像素对的位置和灰度值来计算关键点方向和特征描绘器，实现了二值特征对于平面旋转、尺度变化和视角变化的不变性。BRISK描绘器在一般场景下的特征匹配率与SURF接近，但在存在大量相似特征的场景下其误匹配率高于SURF。

3 结合尺度空间FAST角点检测器和SURF描绘器的特征

3.1 尺度空间FAST角点检测器

虽然文献[9]通过在一组带有平面旋转的图像下的实验证明了快速海森关键点的重复性略优于海森-拉普拉斯关键点，但海森矩阵及快速海森矩阵在非水平且非竖直方向的图像边缘上具有较高的响应值，通过非极大值抑制后仍然能够在图像边缘及附近区域提取大量关键点，如图1所示。一部分边缘关键点的邻域图像块因为其区域内除边缘以外的部分较为平滑而不具有独特性。从而，大量的边缘关键点容易造成误匹配。

FAST提取的关键点如图2所示。FAST避免了在图像边缘区域提取大量关键点的问题，同时能够在细节区域提取更多的关键点。FAST仅在单一尺度的图像上进行角点检测，且未提供角点方向。

图1 720×540图像中的840个快速海森矩阵关键点Fig.1 840 Fast-Hessian key-points in a 720×540 pixel image

图2 同一图像中的1 106个尺度空间FAST角点Fig.2 1 106 scale-space FAST corners in the same image

与SIFT和SURF所使用的尺度空间关键点检测器相似地，尺度空间FAST角点检测器首先通过一系列的降采样获得图像尺度空间金字塔，并在各图像层中利用FAST获得角点的粗略位置和尺度；然后利用文献[16]提出的尺度空间插值方法，根据FAST显著度和对数尺度值计算角点的亚像素级精确位置和精确尺度，并采用局部非极大值抑制。

3.2 SURF描绘器

BRISK描绘器的采样模式包括60个经过高斯滤波的采样点及512个灰度比较点对。同一采样点参与多次比较，导致二值描绘器的部分位因信息相关而冗余。

SURF描绘器的采样模式包括400个均匀分布于方向标准化的正方形采样区域中的采样点。在采样区域中划分出4×4子区域，计算各子区域内的5×5采样点的水平、竖直方向的Haar小波响应之和，再将各子区域的响应统计信息依次序编入64维描绘向量。这种描绘方式包含的信息比二值描绘器所采用的采样点灰度值比较结果所包含的信息更加丰富，因此SURF描绘器具有比二值描绘器更强的独特性。

3.3 本文方法

根据前文对关键点检测器和描绘器的叙述及其性能上的论证和比较，本文结合尺度空间FmmmAST角点检测器和SURF描绘器，提出新的特征方法。概括本文方法如下：

(1)尺度空间关键点检测：利用FAST从图像空间和尺度空间上获取角点作为关键点。在图像金字塔的每一层和每一内层中进行角点检测，然后通过连续域上的插值来确定每个角点的精确位置和尺度。

(2)关键点描绘器：对关键点描绘器的采样点计算Haar小波响应，根据水平和竖直两个方向的响应的统计信息决定关键点方向；然后，在与关键点方向一致的采样模式上重新计算各采样点的Haar响应，这些响应值的局部统计信息被依次编入描绘向量。

4 实验结果

尺度空间FAST角点检测器的重复性及SURF描绘器对各种图像变换的不变性已经在文献[8-10]中得到实验证明。

为了检验本文提出的特征的在远距离目标识别中的性能，本节针对低分辨率、带有视角变化和光照变化的图像进行了大量的目标识别实验，其中使用的图像数据组来自ALOI和COIL-100网络数据库。ALOI图像为384×288像素的png图像，COIL-100图像为128×128像素的png图像。这些图像能够有效地验证本文方法对于远距离目标识别的适用性，其低分辨率以及其不同对象之间的高相似度给识别带来了难度。实验环境为Intel i5 2.67 GHz CPU，Windows系统，MATLAB、VC++平台。

识别方法为，通过特征匹配将检测图与所有基准图进行比较，以匹配数最多的基准图的对象的类别作为测试图像目标的所属类别。实验还将这些识别结果与利用SIFT、SURF、BRISK算法获得的识别结果进行了比较。

4.1 特征匹配策略

常用的匹配策略包括基于阈值的匹配、基于最近邻准则的匹配(NN，nearest neighbor matching)以及基于最近邻距离比例的匹配(NNDR，matching based on the nearest neighbor distance ratio)。这3种匹配策略都要求将基准图的每个特征描绘器与测试图的所有特征描绘器逐一比较。文献[12]中的实验表明，特征匹配策略的不同对所有10种描绘器的性能的相对水平几乎没有影响。除此之外，Lowe还提出了一种近似k-d树算法[17]的最优节点优先算法(BBF)，这种方法在提高匹配速度的同时对正确匹配数目造成损失。

本文所有实验采用基于欧氏距离的NNDR匹配，设定距离比例阈值为0.7；同时，对于以下情况，基准图像中的多个位置的特征与变换图像中同一关键位置上的一个或多个尺度下的特征匹配，本文实验中仅保留其中描绘器间距离最小的匹配。

4.2 视角变化实验

视角变化图像按照不同的图像对象分为8组，各组包含36幅COIL-100图像，图像对象的视角依次相差10°。再从各组中分别选取对象视角为0°、90°、180°、270°的图像作为基准图，如图3所示；各组其余32幅作为测试图。识别结果如表1所示。

图3 视角变化实验的基准图Fig.3 Reference images used in tests against view-point change

Tab.1 Recognition results of the test images with change in view-point

基准图关键点数识别正确率/%组平均识别时间/msSIFT201869．927224SURF172465．633301BRISK635350．00472．3本文方法240370．703149

表1所示识别结果表明，与快速海森矩阵算法相比，尺度空间FAST算法在图像中提取出更多的关键点，但因此带来的匹配时间的增加被FAST的高速计算抵消。

4.3 光照变化实验

FAST角点检测器依赖检测阈值，因此易受光照变化影响。为了验证SURF描绘器能够使特征获得对光照变化的不变性，本文利用带有光照变化的图像组进行了识别实验。

图4 光照变化实验的基准图Fig.4 Reference images used in tests against illumination change

基准图关键点数识别正确率/%组平均识别时间/msSIFT366998．9115989SURF188994．025227BRISK403293．48890．3本文方法250995．314854

光照变化图像按照不同的图像对象分为8组，图像对象受到不同强度和角度的光照，各组包含24幅ALOI图像。选取各组中对象受到正面中等强度光照的1幅图像作为基准图，如图4所示；各组其余23幅作为测试图。识别结果如表2所示。

4.4 尺度变化实验

尺度变化图像按照不同的图像对象分为8组，各组均为带有视角变化的ALOI图像。从各组中分别选取视角为0°、90°、180°、270°的图像作为基准图，如图5所示；再按照20°的视角间隔从各组分别选取视角为0 ～ 340°的18幅图像，对这些图像进行一系列的降采样，以模拟带有不同的尺度变化的目标，得到测试图。识别结果如图6所示。

图5 尺度变化实验的基准图Fig.5 Reference images used in tests against scale change

图6 尺度变化测试图的识别结果Fig.6 Recognition results of the test images with change in scale

图7 尺度变化测试图的识别结果Fig.7 Recognition results of the test images with change in scale

为了进一步验证本文特征在远距离目标识别应用中的优势，实验还对更低分辨率的测试图进行了识别，结果如图7所示。当测试图的尺度被缩小到ALOI原图像的1/4以下时，BRISK算法在部分测试图中得到的匹配特征数目为零，而实验未将此类情况归类为误匹配；缩小到1/7以下时SIFT算法出现相同的情况。因此，本文特征相比于其他几种特征更适用于远距离目标识别。

4.5 特征匹配示例

在基于标准图像库的检验性识别实验之后，本文还给出了提出的方法在实际景物图像匹配中的应用示例，如图8所示，设定FAST阈值为60。该组图像具有尺度变化、不同程度的景物视角变化以及复杂背景。

图8 本文方法的特征匹配示例，角点检测阈值设定为60Fig.8 Matching example of the proposed method，a corner detection threshold of 60 is used

5 结 论

提出了将尺度空间FAST角点检测器与SURF描绘器结合的特征方法，这种方法能够精确地估计关键点的尺度，保留了FAST角点的快速性、稳定性以及SURF描绘器的描绘力，对光照变化、视角变化和尺度变化具有鲁棒性。相比于目前广泛使用的特征，本文提出的特征在目标识别实验中的性能优于SIFT、SURF和BRISK，且计算速度与SURF接近，适用于远距离目标识别应用。

[1] 贾平，徐宁，张叶.基于局部特征提取的目标自动识别[J].光学 精密工程，2013，21(7)：1898-1905.

Jia P，Xu N，Zhang Y. Automatic target recognition based on local feature extraction [J].Opt.PrecisionEng.，2013，21(7)：1898-1905. (in Chinese)

[2] 丘文涛，赵建，刘杰.结合区域分割的SIFT图像匹配方法[J].液晶与显示，2012，27(6)：827-831.

Qiu W T，Zhao J，Liu J. Image matching algorithm combining SIFT with region segmentation [J].ChineseJournalofLiquidCrystalsandDisplays，2012，27(6)：827-831. (in Chinese)

[3] 杨云，岳柱.基于融合图像轮廓矩和Harris角点方法的遮挡人体目标识别研究[J].液晶与显示，2013，28(2)：273-277.

Yang Y，Yue Z.Human body target recognition under occlusion based on fusion of image contour moment and harris angular points [J].ChineseJournalofLiquidCrystalsandDisplays，2013，28(2)：273-277. (in Chinese)

[4] 赵建川，王弟男，陈长青，等.红外激光主动成像和识别[J] .中国光学，2013，6(5)：795-802.

Zhao J C，Wang D N，Chen C C，etal. Infrared laser active imaging and recognition technology [J].ChineseOptics，2013，6(5)：795-802. (in Chinese)

[5] 闫辉，许廷发，吴青青，等.多特征融合匹配的多目标跟踪[J].中国光学，2013，6(2)：163-170.

Yan H，Xu T F，Wu Q Q，etal. Multi-object tracking based on multi-feature joint matching [J].ChineseOptics，2013，6(2)：163-170. (in Chinese)

[6] 唐永鹤，卢焕章.基于灰度差分不变量的快速局部特征描述算法[J].光学 精密工程，2012，20(2)：447-454.

Tang Y H，Lu H Z. Fast local featuredescription algorithm based on greyvalue differential invariants [J].Opt.PrecisionEng.，2012，20(2)：447-454. (in Chinese)

[7] Lowe D. Distinctive image features from scale-invariant keypoints [J].InternationalJournalofComputerVision，2004，60(2)：91-110.

[8] Bay H，Tuytelaars T，Van Gool L.SURF：Speeded up robust features [C]//ProceedingsoftheEuropeanConferenceonComputerVision，2006：404-417.

[9] Bay H，Ess A，Tuytelaars T，etal. Speeded-up robust features(SURF) [J].InternationalJournalonComputerVisionandImageUnderstanding，2008，110(3)：346-359.

[10] Leutenegger S，Chli M，Siegwart R. BRISK：Binary robust invariant scalable keypoints [C].IEEEInternationalConferenceonComputerVision，2011：2548-2555.

[11] Mikolajczyk K. Scale and Affine Invariant Interest Point Detectors [D]. INRIA Grenoble，2002.

[12] Mikolajczyk K，Schmid C. A performance evaluation of local descriptors [J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2005，10(27)：1615-1630.

[13] Rosten E，Drummond T. Machine learning for high-speed corner detection [C].ProceedingsoftheEuropeanConferenceonComputerVision，2006：430-443.

[14] Alahi A，Vandergheynst P，Bierlaire M，etal. Cascade of descriptors to detect and track objects across any network of cameras [J].InternationalJournalonComputerVisionandImageUnderstanding，2010，114(6)：624-640.

[15] Calonder M，Lepetit V，Strecha C，etal. BRIEF：Binary robust independent elementary features [C].ProceedingsoftheEuropeanConferenceonComputerVision，2010：778-792.

[16] Brown M，Lowe D. Invariant features from interest point groups [C].British Machine Vision Conference，2002：656-665.

[17] Friedman J H，Bentley J L，Finkel R A. An algorithm for finding best matches in logarithmic expected time [J].ACMTransactionsonMathematicalSoftware，1977，3(3)：209-226.