基于角点分层匹配的织物图像拼接

郑海珍,陆 蓓

(杭州电子科技大学计算机应用研究所,浙江杭州310018)

0 引 言

图像拼接是把同一场景的相互有部分重叠的一系列图像合成为一张大的宽视角图像的技术[1]。图像拼接的方法有很多,文献2提出了一种2D空间8参数投影变换模型,采用L-M迭代非线性最小化方法求出图像间的几何变换参数。文献3提出了一种基于轮廓的匹配方法,采用LOG算子提取出两幅图像的特征轮廓,这对后来基于特征的拼接技术的发展有一定的影响。此外,还有基于傅立叶变换和小波变换的拼接方法,但也有计算量大和对噪声敏感性强的缺点。在纺织工业的布料生产中,往往需要通过多幅普通相机得到的织物图像,得到一幅大型全局图像,从而应用于产品面料质量的自动检测,本文正是基于该应用提出了一种通过二次匹配和基于单应性原理的自动拼接方法。

1 harris角点提取

一个好的角点检测算子无论图像如何改变,都能检测出同样的兴趣点。Moravec算子[4]只考虑了4个方向上的灰度变化,而Harris算子定义了任意方向上的自相关值,是一种比较有效的特征点提取算子。其基本思想是:在图像中设计一个局部检测窗口,当该窗口发生微小移动时,它的平均能量发生变化,当该能量超过设定的阈值时,就认为它是一个角点。下面是求解步骤。

(1)计算矩阵自相关矩阵M 。其中,gx为x方向的梯度,gy为y方向的梯度,G()为高斯模板:

(2)求角点响应函数CRF。Det为矩阵的行列式,tr为矩阵直迹,k为默认常数:

该方法的其中一个缺点是对噪声较敏感,如果没有对图像进行预处理,拼接结果会有许多伪点,因此图像在进行特征提取之前的预处理就显得犹为重要。本文采用高斯核函数进行平滑处理,通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数。此外,为加强稳定性,本算法还对角点位置与边界距离小于3个象素的角点进行去除。

如图1(a)所示为经过高斯滤波后的检测结果,滤波模板大小设为8,角点检测阈值为300。如图1(b)所示为没有经过任何处理过的图像角点检测结果。显然,图1(a)的角点数要比图1(b)的角点数少很多,而因为本文的算法要求的角点数不多,所以采用图1(a)进行下一步处理。

图1 角点检测对比图

2 互相关粗匹配

在上述提取图像的特征点之后,需要对图像进行预匹配。典型的差异性和相似性度量主要包括:绝对差,平方差和归一化互相关。本文采用最大互相关法对特征点进行匹配。互相关是指对两组信号的相关特性进行一种定量的分析,它表明了图像之间的相似性程度。首先定义一个匹配窗口,计算一幅图像中的每个特征点与另一图像中每个特征点的匹配窗口的相关度。若某图的某个点a在另一图中具有最强相关度的点是b,反之点b对应的最强相关度的点也为点a,那么就认为此两点为匹配点。它的相关度公式为:

3 RANSAC提纯特征点

仅用互相关进行匹配难免会产生很多误配点。本文采用随机抽样一致性(RANdom SAmp le Consensus,RANSAC)方法来剔除误匹配特征点对,达到特征点提纯的效果。RANSAC方法[5]是一种鲁棒性的参数估计方法,能有效地剔除外点。它的基本思想是在进行参数估计时,能够重复地对特征数据集取样来获得基本子集,利用基本子集估算基本矩阵。

用RANSAC算法作变换估计需要建立图像之间的变换模型,通过该变换能把一幅图像上的点经平移,缩放和旋转之后得到在另一幅图像中对应的坐标位置。本文采用单应性原理来估计变换模型。单应性矩阵是两幅图像之间的一个对应矩阵,利用它可以确定两幅图像上特征点之间的一一对应关系[6]。令两幅图像的投影变换关系为:

RANSAC算法的一般步骤为:首先,随机选取N对点中的4对,求出变换矩阵H,通过H计算出余下N-4对点的位置,再与互相关得出的匹配点位置进行比较,通过一个阈值确定其为内点或外点;再根据确定的内点重复采样估计变换矩阵;重复若干次,直到取得的内点为数量最多的集合。这样一来,由粗匹配得到的许多误配就能有效地剔除。

4 拼接缝消除

求出图像间的最优变换矩阵后,图像拼接的最后一步就是将两幅待拼接图像拼接为一幅宽视角的完整图像。把输入图像按照单应性矩阵映射到参考图像中,就完成了图像的拼接。对于图像的重叠部分,采用象素值加权平均的方法进行融合。加权变换公式:

式中,d1、d2分别为重叠象素点到I1、I2边界的最小距离。

5 实验结果

如图2(a)、(b)所示分别为基准图像和待拼接图像,本文采用阈值为300,滤波模板大小为8的harris角点检测来实现,并在角点数超过300时进行限制。经过窗口大小为77的归一化互相关粗匹配后,再用阈值为0.001的RANSAC算法进行角点提纯,并在内点中选取相关性最高的4对点求变换模型,拼接结果如图2(c)所示。

图2 本文方法的织物图像拼接

再选图像tree进行拼接。如图3所示,图3(a、b)为两幅待拼接图像,图3(c)为匹配后图像,图3(d)为融合后的图像。可以看出本文方法对彩色图像的融合效果比较理想,能抵抗对光照等噪声的影响,鲁棒性强。

6 结 论

本文提出了一种分层匹配的图像拼接算法,此算法采用改进的harris角点检测算法,并对粗匹配后的角点进一步提纯,最后通过单应性的模型变换和象素值加权的融合方法进行拼接。与传统的Hu不变矩[7]的方法相比,本文方法估算出的图像变换矩阵更准确,而且对噪声的敏感度较小,速度也较快。对于静态的织物图像接拼接来说,是一种较为稳健的算法。

图3 图像tree的拼接结果

[1] 刘冬梅.图像拼接算法研究[D].西安:西安电子科技大学机电工程学院,2008:1-6.

[2] Richard S.Video mosaics for virtual environments[J].IEEE Computer Graphics and Applications,1996,16(2):22-30.

[3] LiHui,Man junath B S.A contour-based approach to multi sensor image registration[J].IEEE Transactions on Image Processing,1995,4(3):320-334.

[4] Moravec HP.Towards Automatie Visual Obstaele Avoidanee[A].In 5th International Joint Conferenee on Artifieial Intelligenee[C].Cambridge,1997:584-590.

[5] 单欣,王耀明,董建萍.基于RANSAC算法的基本矩阵估计的匹配方法[J].上海电机学院学报,2006,9(4):66-69.

[6] Jain PK,Jawahar CV.Homography Estimation from Planar Contours[J].Third International Symposium,2006,77(15):877-884.

[7] 徐学强,汪渤,贺鹏.统一Hu矩及在电视图像目标识别中的应用[J].计算机工程与应用,2006,29(1):213-215.