基于SURF的连续帧图像配准及高光去除

卓武汉，严京旗

0 引言

工业检测、模式识别和计算机视觉等应用领域中，高光是普遍存在着的，当我们对图像进行处理时，图像中的高光就经常成为图像检测识别的一大障碍，严重影响着对图像的后续处理。例如，高光的存在会极大地影响条形码、二维码、关键字符等的识别；并对图像分割、边缘检测、目标跟踪等算法的精度和鲁棒性也有很大的影响。如图1所示的是工业生产线上所拍的9张连续的饮料瓶图像，我们可以很明显看出每张图像中均存在着较大范围的高光区域。

图1 具有高光的饮料瓶连续图像

现在已有的去高光处理方法主要是针对单幅图像的，但是单幅图像的处理比较困难，去除高光的结果很难到达预期。例如，针对单幅图像去高光的处理，Lee[1]曾经提出了一个在色度空间估计光源色度的方法，但是由于图像噪声的影响，直接利用该方法估计光源色度，往往得不到理想的结果。Novak 和Shafer[2]曾经从 RGB空间中的像素分布估计表面的粗糙程度和物体的几何形状，并以此估计高光像素簇的扭曲程度，以便获得一个更精确的光源颜色估计，但是由于图像噪声等的影响，仅仅从像素的分布形状往往很难可靠地估计出这些信息。对于单张图像去高光而言，并且由于图像中经常有其他颜色的物体存在，完全自动检测高光区域是一个非常困难的问题。基于单幅图像的去高光算法并不适用于本课题。连续图像在工业流水线上是较容易获得的，并且由于高光区域在每个连续帧图像中的位置是不同的，从而我们可以利用连续帧图像的信息融合去除或削弱高光的影响，进一步提高图像检测的识别性能、目标检测和跟踪精度和鲁棒性等。在此，提出了一种基于SURF特征点匹配的去除高光方法，该方法的研究内容主要包括两个模块：图像配准和图像融合。大致分为以下两个步骤：首先，利用SURF算法提取连续帧图像稳定的特征点，生成特征向量描述符，而后采用最近邻向量匹配法进行特征匹配。其次，对配准后的连续帧图像进行融合。该方法对去除工业流水线上产生的高光有良好的效果。

1 SURF算法的简介

图像配准技术是将不同时间、不同传感器或不同视角下获取的同一场景的两幅或多幅图像进行匹配的图像处理过程,是图像处理的一个基本问题。图像配准的方法大致可以分为基于灰度和基于特征两类，其中基于特征的图像配准方法是目前图像配准最常用的方法之一,基于特征的图像配准方法有两个重要环节：特征提取和特征匹配。可以选取的特征包括点、线与区域。基于特征的图像配准方法主要有两方面优点：图像的特征点比图像的像素点要少很多，大大减少了匹配过程的计算量；特征点的提取过程可以减少噪声的影响，对灰度变化、图像形变以及遮挡等都有较好的适应能力。并且其最大的优点在于能够将对整个图像进行的各种分析转化为对图像特征(特征点、特征曲线等)的分析,从而大大减小了图像处理过程的运算量，并具有执行速度快、精度高等优点。SIFT是基于特征的图像配准方法之一，并成为近年来研究的一大热点，但SIFT方法数据量较大、计算处理耗时较长，而SURF算法可以说是SIFT算法的加速版，相比于SIFT算法，SURF具有计算量小、速度快等优点，近年来得到广泛应用，在本课题的图像配准这一环节，我们就是采用基于SURF的算法来进行处理。

基于SURF特征的图像配准主要由如下3个步骤组成：

(1)SURF局部特征的检测。SURF特征点的检测仍然是基于Hessian矩阵，并且Hessian矩阵H(x,σ)在尺度为σ的x点是被定义为：

(2)SURF局部特征的描述。首先，根据围绕感兴趣点的圆形区域提供的信息，我们可以确定一个可复写的方向。然后，我们根据被选定的方向特性构造一个正方形区域，并从中提取出SURF描述子。图2所示的是饮料瓶其中两张图像的SURF特征点及特征区域，我们用红色小圆圈标出。

图2 SURF特征点及特征区域

(3)基于SURF局部特征的图像匹配。用SURF方法获得参考图像和待配准图像的特征点后，进行特征匹配，常用的方法有：相关系数法、各种相似性度量法、不变距、Hausdofff距离、各种距离度量值等。图3所示的是利用SURF算法对上图2的两张图像进行特征匹配的结果图。

图3 SURF特征匹配结果图

2 改进方法：

图像融合的主要目的是通过对多幅图像间的冗余数据进行处理，进而提高图像的可靠性，通过对多幅图像间互补信息的处理提高图像的清晰度。近年来，图像融合已经成为图像理解和计算机视觉领域中一项重要而又非常有用的新技术。在本文应用中，我们处理的对象是连续帧图像，而不是针对单幅图像的去高光处理。在工业应用上，首先，监控设备所拍到的图像高光区域的亮度级普遍高于非高光区域的亮度级。其次，高光区域在连续图像中的位置也是连续出现的。基于以上两点特性，我们在对配准后的图像进行融合时，主要采用选取最小灰度值的方法对图像进行融合。实验设计上，我们也对采用基于灰度平均值，基于 DOG[8]（Difference of Gaussians）和平均值的经典融合方法进行比较。

图4 最终融合结果

上图4所示的3张图像依次是采用取最小灰度值,取灰度平均值，基于DOG[8]（Difference of Gaussians）和平均值的方法对图1所示的饮料瓶图像进行配准和融合处理的结果图像，图像配准这一步骤采用的是第二部分所介绍的SURF算法。

本实验设计的核心思想是对移动物体的连续帧图像进行配准（在此实验中，我们选取了中间图像作为基准图像），然后对有用信息（没有高光的区域）进行融合，最后输出图像的合成结果。该实验主要包括两个模块：图像配准和图像融合，以下分别对这两个模块进行介绍。图像配准这一模块主要包括以下4个主要步骤：

（1）特征检测（采用fast Hessian-Laplace[3]算子来进行SURF局部特征检测）。

（2）特征描述（采用简单Harr[3]变换对SURF局部特征进行描述）。

（3）特征匹配（采用1st和2nd最近邻距离比进行特征匹配）。

（4）计算变换矩阵（计算图像配准的变换矩阵参数，以便传入图像融合模块进行图像融合处理）。

图像融合模块主要有以下几个步骤：

（1）图像配准后，图像变换矩阵被传入图像融合模块。

（2）根据图像变换矩阵结果，对齐所有图像。

（3）采用取最小像素灰度值，取灰度平均值，DOG[8]和中值结合的方法对图像进行融合，并输出最终图像融合结果。

3 结果与分析

下图5所示的分别是锂电池和啤酒瓶盖原始连续图像，接下来我们将对这两组连续图像进行实验，并给出最终合成结果图像。

图5 两组原始实验数据(连续的几帧图像)

图6是两组原始图像配准后采用3种不同融合方法的融合结果，它们分别是基于取最小灰度值，取灰度平均值，DOG和中值结合的方法。通过多组实验对比，我们发现基于SURF特征的图像配准返回了正确的匹配结果，且取最小灰度值的融合方法效果比另外两种方法好，且较为简单，融合结果令人满意，基本达到了去除高光的目的，字迹都较为清晰，对于去除图像高光而言，达到了理想的效果，有一定的理论和应用价值。

图6 最终融合结果

4 结论

本文提出了一种基于 SURF的连续帧图像配准及高光去除的方法，相比较于基于单张图像去除高光的处理方法，该方法尤其适用于局部纹理比较多的物体，但对于那些纹理比较少或者结构比较简单的物体的高光去除表现不佳。经过反复实验验证，最小灰度值选取的方法尤其适用于连续帧图像的高光去除，且该方法相比较于其他经典的融合算法，它数据分析简单，执行速度快，达到了理想的效果。

[1]Lee H-C.Method for computing the scene-illuminant chromaticity from specular highlights.Journal of the Optical Society of America A,1986,1(10).

[2]Noak C L,Shafer S A.Anatomy of a color histogram.In:Proc.Of the IEEE Computer Vision and Pattern Recognition.1992.599～605.

[3]Herbert Bay,Tinne Tuytelaars,and Luc Van Gool,SURF:Speeded Up Robust Features,ECCV,2006.

[4]Chipman L J,Orr T M and Lewis L N.Wavelets and image fusion,IEEE Transactions on Image Processing,3,pp.248-251,1995.

[5]张锐娟,张建奇,杨翠.基于SURF的图像配准方法研究[J].红外与激光工程,2009,Vol.38 No.1.

[6]Barbara Zitova,Jan Flusser,Image registr-ation methods:a survey,Image and Vision Computing 21 (2003)977–1000.