基于初匹配的视频图像拼接技术

刘志刚+王立松

【摘要】 对视频全景图像拼接技术进行了研究，给出了一套视频全景图像拼接方案。该方案通过多尺度角点描述特征对拼接图像进行初匹配，从而避免了通常全景拼接中需要进行的ROI的选取过程；然后，运用局部特征匹配方法，对图像特征进行匹配；在此基础上，采用平面投影方法，进行图像配准，渐入渐出方法进行图像的融合。文中实验，说明本文方法能较好地适用于大面积静态场景观测以及高分辨率图像获取的应用。

【关键词】 图像匹配 多尺度Harris特征 全景图拼接

视频图像拼接技术是一种利用了视频序列中相邻各帧图像间存在较大重叠的特点，通过图像处理方法去除视频帧间冗余，将一部或多部摄像机拍摄的视频信息通过图像几何变换进行重采样转化为一幅包含该序列所有信息的大面积全景图像的技术。本文采用图像匹配特征集初匹配方法，对待匹配特征解集进行限定，在此基础上再运用上述图像特征匹配方法对精确的匹配解集进行求解，并考虑运用平面投影法对图像进行拼接，基本算法流程如下。

一、基于多尺度角点描述特征的初匹配算法

由于Harris角点检测方法只能得到特征点的位置，只根据空间坐标进行匹配则使特征匹配问题成为一个典型的NP问题。通过多尺度方法对Harris角点进行检测，不但可以得到角点的位置信息，而且可以获得角点的尺度信息。本文使用的角点描述方法：首先对图像中多尺度Harris角点进行提取，并借鉴了SIFT特征描述方法获得角点的在图像尺度空间的不变特征描述。这种特征描述方法最大的优点是在旋转、尺度等因素变化下仍能保持对特征较稳定的不变描述，这使得图像对中运用该方法进行描述的特征具有很高的相似性，为此，可直接利用这一特性对图像进行初匹配，从而限定特征匹配解集。对待拼接图像L，任意多尺度角点ai特征描述向量为ui，图像R，任意多尺度角点bj特征向量为vj，根据特征描述向量可以定义它们的正匹配。

由于实际图像噪声、角度、光照等因素，同一特征的特征描述向量可能会出现一定甚至较大变化，通过上述方法进行匹配很难得到精确的匹配结果，且γτ的设置对于匹配结果具有较大的影响，较大的γτ会出现较多的错误匹配，较小的γτ则会出现较多的漏匹配，最主要的是该方法不能完全保证匹配的正确性。但该方法可较好地用于图像拼接中的匹配解集限定，这样则可省去ROI区域标定步骤。

此外，鉴于γτ在不同匹配图像对中选择是不固定的，为解决该问题我们给出一种迭代阈值选择与初匹配的方法。阈值γτ选择主要根据匹配特征对数目来决定。假设图像中提取的特征数分别为m，n，所给方法如下.

二、平面投影法的全景图像拼接

本节采取平面投影法形成拼接的全景图。

1）投影矩阵计算

由上可知，选取第一帧图像为参考帧，就可得到每帧图像与全景图的投影关系。

2）全景图大小估计

確定各帧与全景图坐标系之间的投影关系后，按照计算机对图片存储格式的要求，计算出全景图的大小。

三、渐入渐出图像融合算法

由于图像噪声、模型误差、相机晃动等因素，图像重叠区域内分别处于相邻两幅图像的两个对应点并不一定能很好地重合在真实的场景点，所以图像融合算法的好坏直接关系到合成图像的清晰度。本文采用较为常用的融合算法，渐入渐出融合算法，即在图像重叠区域内使用两幅图像共同的贡献值作为混合图像的灰度值，使用线性加权过渡函数以实现在靠近重叠区边界的地方做平滑过渡处理。对于彩色图像，我们需要分为 R、G、B 三个通道分别进行插值融合。渐入渐出的融合算法简单易实施，多数情况下都具有良好的效果。

小结：本文主要对视频图像拼接技术进行了研究，给出了一套视频全景图像拼接方案。该方案通过多尺度角点描述特征对拼接图像进行初匹配，从而避免了通常全景拼接中需要进行的ROI的选取过程；然后，运用第四章中局部特征匹配方法，对图像特征进行匹配；在此基础上，采用平面投影方法，进行图像配准，渐入渐出方法进行图像的融合。文中实验，说明本文方法能较好地适用于大面积静态场景观测以及高分辨率图像获取的应用。