基于改进SIFT 的室内全景图像配准算法研究

王 博，管永红，刘 洋

（1.中国工程物理研究院流体物理研究所，四川绵阳 621900；2.中国工程物理研究院研究生院，四川绵阳 621900）

图像配准作为图像处理中的一项基本问题，用于求解在不同时间、不同探测器、不同角度等所获取的多幅图像的最佳的几何变换，主要应用于图像拼接、图像检索、图像融合等领域[1-3]。在图像配准中，图像特征点提取与匹配又是关键的步骤。2004 年Lowe 提出了的SIFT 算法，因其尺度、旋转等的不变性而被广泛应用于图像配准领域[4-5]。但SIFT 算法仍存在一些缺点，研究人员也提出了诸多改进。Bay提出的SUFT 算法通过引入Hessian 矩阵和对积分图像进行操作来提高速度，但对于边缘光滑的特征点提取能力较弱[6-7]。韩宇等人提出简化的SIFT 特征描述子，将矩形区域改为圆形区域来降低描述子的维度[8]。陈抒瑢等人提出Contourlet-SIFT 算法，该算法对尺度不变的特征进行Contourlet 变换，并建立全局纹理描述子，适用于尺度和方向等变换比较明显的场景[9]。李钦等提出PCA-SIFT 特征匹配算法，对SIFT 特征描述子进行主成分分析,降低了SIFT 特征描述子的维度，从而提高配准速度，但是PCA 算法的引入也增加了计算量[10]。许佳佳等提出基于Harris的SIFT 算法，该算法通过构建尺度空间使得Harris角点具有尺度不变性，并借鉴Forsnters 算子的思想进行角点的精确定位[11]。目前室内全景图像在室内设计、全景建模等领域有重要应用，而构建室内全景图像需要对采集到的图像进行配准。在采集过程中相邻两帧图像较为连续，旋转角较小，但SIFT 算法的特征点检测和描述过程较为复杂，计算量较大[12]。为了提高配准效率，文中提出了一种改进的SIFT 算法，通过优化尺度空间的构建过程，引入BRIEF 特征描述子[13]，替换SIFT 特征描述子完成特征点的检测和描述。实验证明，改进的SIFT 算法在运算速度和准确率上较原始SIFT 算法都有提高。

1 改进SIFT算法流程

1.1 特征点检测

图像的特征点检测主要包括：尺度空间生成、DOG 图像生成、尺度空间极值点检测和定位等步骤[14]。

特征点的检测需要构建高斯金字塔，SIFT 算法中的高斯金字塔区别于多分辨金字塔。为了体现尺度的连续性，在SIFT 算法中，高斯金字塔不仅需要简单的下采样，高斯滤波也用于生成多尺度图像。最后，一幅图像可以产生若干组图像，而一组图像包括多层图像。

高斯拉普拉斯(LOG) 算子是一种二阶导数算子，在特征检测中有广泛的应用[15]。LOG 算子首先计算图像的二阶微分，后通过检测二阶微分的零点来识别目标边缘。LOG 算子的表达式如式（1）所示：

通过在相邻的高斯空间中对一定尺度的图像进行特征相减，可以获得DOG 响应值图像D(x,y,σ)，DOG 的表达式计算公式如式（2）所示：为了在尺度空间中完成极值点的搜索，需要将每个采样点与周围的8 个点、上下尺度的9 个点，一共是26 个点进行比较[16]。

上述极值点的检测过程是在离散空间中完成的，因此检测到的有可能并不是真正的极值点，为了使得到的极值点更加精确，通常会使用子像元插值法得到连续空间的极值点[17]。

因DOG 对图像的边缘有很强的响应，如果特征点落在了边缘点上就会变成一个不稳定的点，为了获得稳定的点，需要对落在边缘上的特征点进行剔除。边缘点的剔除需要计算局部极值点所在位置和尺度的Hessian 矩阵。Hessian 矩阵可表示为：

计算得到Hessian 矩阵的两个特征值λ1和λ2(假设λ1＞λ2)，如果λ1≫λ2，则说明该特征点为边缘点。Hessian 矩阵的迹和行列式表达式如式（4）～（5）所示：

因为计算特征值的过程比较耗时，为了规避该过程，根据Hessian 矩阵的迹等于Hessian 矩阵的两个特征值的和，Hessian 矩阵的行列式等于两个特征值的乘积这两个结论，令r=λ1/λ2，则有：

由式（6）可知，结果只与两个特征值的比值r有关系，当式（6）的比值比较大的时候，说明该点为边缘点。因此，只需要设置阈值与式（6）的结果进行比较即可筛选出边缘点。

在SIFT 算法中，构造了4 层Octave 来进行特征点的检测以适应更大的尺度变化。虽然4 层Octave可以适应更大的尺度变换，但在提高算法鲁棒性的同时也增加了构建尺度空间和检测特征点的时间。在室内全景图像配准的场景中，相邻帧图像的尺度变化、旋转、缩放等较小，为了提高配准效率，文中统计了室内图像不同尺度的特征点数目和提取这些特征点需要的时间，统计结果如表1、表2 所示。

其中，测试的数据来自用于评估图像对齐方法的PASSTA 数据集。通过表1 和表2 可知，在室内图像构建的第3、4 个Octave 中仅仅提取出少量特征点，但是却造成了极大的时间损耗。为了提高室内全景图像配准效率，文中抛弃提取特征点较少的最后两个Octave，仅利用提取特征点较多的前两个Octave 完成特征点的检测，改进的图像Octave 如图1所示。

表1 不同Octave提取特征点个数统计

表2 不同Octave提取特征点和计算描述子时间统计

图1 改进的图像Octave

1.2 特征点描述

在原始SIFT 算法中得到特征点之后，应当对特征点进行描述。首先，需要对特征点的邻域做直方图统计[18]，直方图的横坐标将0°到360°以10°为间隔平均分成36 份，直方图的列代表梯度方向的累加值。为了使特征点具有旋转不变性，计算SIFT 特征描述子时需要将区域旋转至主方向，而主方向即直方图峰值对应的角度。将区域划分成4 × 4 个子区域，在每个子区域内使用8 方向的梯度直方图进行统计[16,19]，图2 所示为特征点描述的示意图。因此，形成了128 个的描述子，这128 个特征描述子就是SIFT 描述子。最后，再进行归一化以消除光照的影响，得到了最终的SIFT 特征描述子。

SIFT 特征描述子具有较高的抽象特征能力，因此，对图像旋转有很强的适应性，但这也提高了特征点描述子的计算复杂度和匹配的复杂度。在室内全景图像的配准中，由于图像拍摄较连续，旋转角度较小，不需要用较为复杂的特征描述子描述，因此，采用较为简洁的BRIEF 特征描述子来代替SIFT 的特征描述子。

图2 SIFT特征描述子

BRIEF 特征描述子提供了一种计算二值化特征描述子的方法，如图3 所示。BRIEF 特征描述子在特征点周围选择一个区域，在区域中挑选出来n个点对，对于每一个点对(p,q)，比较这两个点的亮度值，如果I(p)＞I(q)，则这个点对生成的描述符中的值为1，否则为0。完成n个点对的计算之后，就会生成一个二进制串的特征描述子。BRIEF 特征描述子相对于SIFT 特征描述子而言，只有0 和1 两个值，不仅简化了特征描述子的计算过程，同时也简化了后续特征点的匹配计算流程。

图3 BRIEF特征描述子

为了证明改进特征描述子的有效性，文中针对3 幅室内图像的前两个Octave，统计SIFT 特征描述子和BRIEF 特征描述子所耗费的时间，统计结果如表3 所示。

表3 SIFT和BRIEF计算耗时统计

1.3 特征点匹配

完成了对室内图像的特征点检测和描述之后，首先，需要对两幅室内图像生成的特征点进行匹配，从左室内图像中循环获取特征点，针对左图中的每一个特征点，在右图中匹配与之对应的特征点。匹配过程使用KNN 算法，为每个特征点返回匹配的两个点，在这两个特征点中，当最近的距离与次近的距离的比率小于0.75 时，认为这两个点是一对匹配点。

2 实验结果分析

为了证明改进SIFT 算法的有效性，文中进行了必要的对比实验。实验均在MacBook Pro (13-inch,2018,Four Thunderbolt 3 Ports)上进行。处理器为2.3 GHz Intel Core i5,内 存8 GB。编 程 环 境 为Python3.6。采用PASSTA 数据集作为原始数据来检验图像配准效果。通过实验，对比改进SIFT 算法与原始SIFT 算法在配准准确率、配准点对个数和配准时间上区别。其中，配准精度计算公式如式（7）所示：

其中，TP表示正确配准的点对数，FP表示错误被匹配到的点对数，P表示配准精度。配准时间是两幅图像从特征点检测到完成最终的图像配准所消耗的总时间。

图4 为从数据集中挑选的待配准的两幅室内图像，图像大小为456*684。图5 为使用原始SIFT 算法后得到的配准图像，图6 为使用改进的SIFT 算法得到的配准图像。

图4 待配准图像

图5 SIFT算法配准结果

图6 改进SIFT算法配准结果

统计配准精度、配准点个数以及配准时间如表4所示。

表4 实验结果对比

3 结论

文中提出了一种改进SIFT 的室内全景图像配准算法，提取特征点的过程中通过改变高斯金字塔的结构进行快速特征点提取。此外，在特征点描述时使用了BRIEF 特征描述子来代替SIFT 特征描述子，并使用KNN 算法完成特征点的匹配，最终高效的完成了室内全景图像配准工作。实验结果表明，在室内全景图像的配准任务中，该算法较原始SIFT算法，大大缩短了配准时间，并提高了配准准确率，可以高效的完成室内全景图像的配准任务。