图像拼接中Surf 配准算法的研究

夏岩，刘智，王俊然

（长春理工大学 电子信息学院，长春 130022）

图像拼接中Surf 配准算法的研究

夏岩，刘智，王俊然

（长春理工大学 电子信息学院，长春 130022）

图像拼接技术作为获取全景图像的工具，已经受到越来越多学者的关注。为了得到良好的拼接图像，减少图像空间几何畸变，便要对图像进行严格的配准。Surf（Speed-Up Robust Feature）算法是近年来图像配准的研究热点之一。对传统surf配准算法进行理论分析并在此基础上提出改进算法，特征点检测时，利用设立阈值来去除多余的特征点，并用MATLAB软件对改进算法进行仿真分析。实验结果表明，改进后的算法虽然减少了特征点个数，但增加了配准的成功率，前后性能相当且速度更快。

图像拼接；图像配准；surf算法

随着科学技术的不断进步，图像融合［1］技术的研究也越来越深入，全景图像的需求愈加迫切。图像拼接［2］（image mosaic）是一种新兴技术，随着对大视角全景图像的需求而产生，逐渐得到了许多学者的关注。作为图像拼接过程中的重要一环——图像配准，也备受关注。

图像配准［11］（image fusion），简单的说就是对两幅以上图像进行空间几何位置的矫正。其目的是将源于同一场景的不同时刻、不同视角、不同传感器的多幅图像进行几何变换，使后续的图像融合能更好的进行。图像配准可以分为基于灰度和特征两大类的配准方式。基于灰度的图像配准方法一般不需要对图像进行复杂的预处理，而是利用两幅图像的某种统计信息作为相似性判别的标准。这种方法比较简单，但应用范围较窄，同时伴随巨大的运算量。基于特征的配准方法是目前比较流行的，也是研究较多的。首先要将待配准图像的特征提取出来，再将该特征进行特征之间的匹配，利用这种匹配关系建立图像之间的映射变换。经常用到的图像特征有：特征点、边缘、轮廓等。一般来讲，利用图像的特征点进行匹配是比较容易也是比较常用的，它能保证图像的分辨率、旋转、平移等。

Sift［3-4］的图像配准方法是由David G.Lowe在2004年提出的，其全称是Scale Invariant Feature Transform，即尺度不变特征变换。这种算法的匹配能力较强，可以很好的解决待配准图像之间的几何畸变和光照变换等问题。Surf算法［5］是Bay等人在Sift算法的基础上提出的。这种算法利用积分图像来加速匹配的时间，因此它被称之为快速鲁棒特征（Speed Up Robust Feature）算法。文献［6］-［8］中已经做了几种实验，可以看出Surf算法是具有很好的鲁棒性与配准速度的。随着研究的深入可以发现，Surf配准算法中有大量的特征点没有被匹配成功。这些特征点有一个共性，其所含有的熵信息较低。如果可以在特征点检测时去掉这些熵信息较低的特征点，在特征点匹配时就可以减少很多的计算，提高配准时间。

1 Surf算法特征点检测

1.1 特征点检测

Surf算法［9］的特征点检测是建立在尺度空间的基础上的。

（1）利用方框滤波近似替代二阶高斯滤波，通过求取积分图像来加速卷积，这样做的目的是为了提高计算速度。

图1 9×9方框滤波模板

一般情况下在每一阶中选4层的尺度图像，4阶16层的尺度构造参数图2所示。图中方框代表滤波器模板的大小，如果要进行配准的图像远远大于模板，那么可以增加阶数，增加原则与其他阶相同。假设模板的大小为M×N，则其对应的尺度空间为s=1.2×N/9。

图2 4阶方框滤波模板大小

（2）利用Hessian矩阵来求取极值。待配准图像上点x=(x,y)处在σ尺度下的Hessian矩阵定义如下：

方框滤波模板与图像进行卷积的值分别为Dxx、Dxy和Dxy，因而可以得到Hessian矩阵的行列式：

最后将尺度空间中的采样点与其同层邻点和邻层邻点相比较，共计26个像素值。只有这26个像素值中的极大值或者极小值点才能作为Surf算法所取得的特征点。

1.2 去除多余特征点

在数字图像处理当中，图像熵往往是衡量图像信息丰富程度的重要指标。其计算公式如下：

式中，pi代表每个灰度级出现的概率（第i级）。从上面的公式可知如果想要达到很高的信息熵每个灰度级就要等概率的出现，如果某个灰度级出现的概率为1（单色）则信息熵最小。

本实验设定阈值T=6.5，计算已经检测到的所有特征点的熵，当其熵值小于6.5的时候，去除该点；反之，当其熵值大于6.5时，保留其为带配准的特征点。一般情况下可以根据不同的应用场合和要求反复试验设定阈值。

2 主方向的确定

为了保证旋转不变性，以特征点为中心，利用半径为6s（s为特征点所在的尺度）的Harr小波在x、y方向上计算相应的响应。这些响应需要被赋予高斯权重系数，这样做使得靠近特征点的响应贡献大，更符合客观事实。然后用一个60o的扇形窗口遍历所选取的6s窗口，将所有的向量累加可以得到一个最长的矢量，这个矢量便是该特征点的主方向，如图3所示。对得到的所有特征点重复以上过程，便可以得到所有特征点的主方向。

图3 确定主方向

3 描述子的生成

4 特征匹配

特征匹配常用的方法有：相关系数法、不变矩和距离度量值等等。本文采用欧式距离进行特征点的匹配，它是一种距离度量值。根据之前步骤，每个特征点都会生成一个64维的向量，利用欧式距离对两幅图像进行特征点匹配。假设N1和N2分别为图像I1和I2的特征点集合，当N1中的一个特征点n1i与N2中的特征点n2i的欧式距离小于某一个设定的阈值（一般设定在0.6～0.8）时，则认为两者为匹配的特征点。遍历N1中的所有特征点，就可以找到所有匹配对。欧式距离的计算公式如下：

5 实验结果分析

算法实验的整个流程如图4所示。

（1）对本文提出的算法进行仿真，图片为256×189大小的JPG图像。仿真环境：Windows 7操作系统，仿真软件为Matlab2014b。如图5所示为利用本文提出的算法检测的特征点个数。

图5 改进算法的特征点检测

表1 特征点检测算法比较

从上表可以发现，利用本文设置的熵阈值进行特征点的筛选，最终特征点集个数减少，时间较长。

（2）对本文提出的算法进行仿真，图片为256×200大小的JPG图像。仿真环境：Windows 7操作系统，仿真软件为Matlab2014b。如图6所示为利用本文提出的算法配准结果。

图6 改进算法的配准结果

表2 配准算法比较

（3）从表1和表2可以发现，利用本文设置的熵阈值进行特征点的筛选，最终特征点集个数减少，时间较长。但是配准成功的特征点个数并未减少过多，同时配准时间有所加速。因此是有效的配准算法。能够保证配准鲁棒性的同时加速配准时间。

图4 改进算法流程

（4）由于Surf配准算法配准时是通过欧式距离进行配对的，计算式利用的是64维的向量。在特征点检测时，利用新的算法减少了配准率不高的特征点个数，从而在计算欧式距离时的基础数据减少。虽然在特征点检测时增加了一个过程增加了时间，但计算欧式距离时，计算量明显减少。因而是可以缩短真个配准时间的。

6 结论

本文提出了一种改进的Surf图像配准算法，在原有算法检测到的特征点中，利用熵阈值来减少匹配时可能并不会配对成功的特征点。通过实验可以发现，该算法在保证原有鲁棒性的同时又缩短了配准时间，适用于实时性要求高的图像拼接中。除此之外也可以展开对其他信息量的阈值分析，综合多种数据量来进行特征点检测。图像拼接中的配准技术仍有许多难点，例如实现自动配准、快速配准、异源图像配准等，这些难点还有待深入研究。

［1]敬宗良，肖刚，李振华.图像融合——理论与应用［M］.北京：高等教育出版社，2007：3-8.

［2]王伟，陆佩忠.数字图像拼接技术［M］.北京：清华大学出版社，2006.

［3]陈志雄.基于图像配准的sift算法研究与实现［D］.武汉：武汉理工大学，2008.

［4]张锐娟.图像配准理论及算法研究［D］.西安：西安电子科技大学，2009.

［5]张锐娟，张建奇，杨翠.基于SURF的图像配准方法研究［J］.红外与激光工程，2009，38（1）：160-165.

［6]Mikolajczyk K，Tuytelaars T，Schmid C，et al.A com⁃parison of affine region detectors［J］.International Jour⁃nal of Computer Vision，2005，65（1/2）：43-72.

［7]Mikolajczyk K，Schmid C.A Performance evaluation of local descriptors［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）：1615-1630.

［8]Valgren Christoffer，Lilienthal Achim.SIFT，SURF and seasons：long-term outdoor localization using local features［EB/OL］.［2010-08-10］.

［9]Bay H，THUVTELLARS T，GOOL L Van.SURF：speed up robust features［C］.Proceedings of European Conference on computer Vision，2006：404-417.

［10]黄威.基于视频图像拼接关键技术的研究［D］.长春：长春理工大学，2014.

［11]秦雪，王欢，严晔，等.基于图像边缘检测的图像识别算法［J］.长春理工大学学报：自然科学版，2015，38（4）：128-131.

［12]陈俊强，黄丹飞.一种基于NSCT和自适应PCNN医学图像融合的改进算法［J］.长春理工大学学报：自然科学版，2015，38（3）：152-159.

［13]夏岩.无人机电力巡线系统中图像融合技术的研究［D］.长春：长春理工大学，2017.

Research on Surf Registration Algorithm in Image Mosaic

XIA Yan，LIU Zhi，WANG Junran
（School of Electronics and Information Engineering，Changchun University of Science and Technology，Changchun 130022）

As a tool of getting the panoramic image，Image mosaic technology technology has received more and more attention from scholars.In order to get a good mosaic image and reduce the geometric distortion of image space，the registering image is needed.Surf image registration algorithm is one of the hot topics in recent years.Based on the theoretical analysis of the traditional surf registration algorithm，an improved algorithm is proposed.When the feature points are detected，the use of threshold to re⁃move redundant feature points and the MATLAB software is used to simulate the improved algorithm.The experimental results show that the number of feature points is reduced and the success rate of registration is increased in the improved algorithm.The matching performance of the improved algorithms is the same as the before one，but less time is used.

image mosaic；image registration；surf algorithm

TP751

A

1672-9870（2017）02-0098-04

2016-12-19

夏岩（1989-），女，硕士研究生，E-mali：2822853062@qq.com

刘智（1971-），男，教授，博士生导师，E-mail：liuzhi@cust.edu.cn