基于线激光和新型标定板的钢轨轮廓匹配方法

陈旭昂,韩 言,邓 恒,周建华,李 陈,余学才,

(1.电子科技大学 光电科学与工程学院,四川 成都 610054; 2.万岩铁路装备(成都)有限责任公司,四川 成都 610051)

1 引 言

精确检测钢轨断面参数是事关铁路安全的重要课题,钢轨在生产和使用过程中容易产生变形和磨损,通过检测钢轨廓形参数,可以评估钢轨是否合格和磨耗情况,对保护铁路安全至关重要[1-3]。对钢轨进行轮廓检测的方式主要有人工接触式检测和利用图像处理的非接触式自动检测。人工检测耗时长,同时无法保证精度与效率要求。而利用图像处理进行自动检测速度快,能避免主观判断引入的误差,因而成为轮廓检测的主要方式。

利用图像处理检测工件轮廓需要将待测钢轨轮廓与实际标准轮廓对比,图像标定技术和轮廓匹配是廓形检测中的重要步骤,对廓形检测结果具有决定性影响。图像标定时,将事先制作的标定板放置在激光平面位置,由标定板上的若干坐标(世界坐标)和图像坐标建立图像变换关系,校正时,按照这个关系进行图像变换。图像标定后,为了能够检测钢轨的磨损及缺陷,需要将各个部分的钢轨轮廓与标准钢轨廓形进行匹配,之后可以通过对比二者之间差异,检测钢轨伤损情况。然而,上述过程中存在两个主要问题:一是在实际图像标定过程中,很难将标定板放置在激光平面上,如图1所示。实际标定平面和待测平面不同,导致最后测量误差增大;二是钢轨轮廓匹配时,存在正确率低、匹配时间长的问题。在钢轨轮廓匹配的研究中,鞠标[4]等人采用霍夫变换计算出轨顶和轨腰处的圆中心,根据图像的平移和旋转将待测钢轨轮廓匹配到标准轮廓上,该方法对霍夫变换的检测精度要求较高。唐晓敏[5]等人提出将特征匹配和SVD-ICP算法相结合,从而完成轮廓匹配,这种方法对噪声敏感、运行时间长。占栋[6]等人通过对钢轨轮廓进行数字化建模和重采样,建立了测量轮廓与标准轮廓之间的映射关系,实现了钢轨轮廓匹配,但这种方法操作繁琐,所建立的数字化模型不具备普遍性。

图1 棋盘格标定示意图

针对上述问题,本文设计制作了一种阶梯型标定板,能够使标定平面和钢轨廓形平面重合,利用多项式变换模型和双线性插值法对标定板图像进行校正,之后采用Harris-SIFT算法对钢轨轮廓进行匹配,最后利用改进的RANSAC算法进行误匹配滤除。结果表明,采用本文设计的标定板进行图像校正时,能够有效提高校正精度。此外,相对于传统的轮廓匹配方法,本文提出的轮廓匹配算法具有明显优势。

2 图像采集系统设计

图2(a)为阶梯型标定板的标定示意图。与棋盘格标定板相比,阶梯型标定板外缘有多个顶点(控制点),当激光照射到标定板侧面时,如图中激光线所示,所标定的平面与激光平面一致,避免了棋盘格标定板端面必须调整至与激光平面重合的难题。此外,为了进一步提高标定精度,所设计的标定板与钢轨尺寸相当,各控制点位于钢轨轮廓曲线附近。图像采集系统的整体结构图如图2(b)所示,其中1为工业相机,分别用于拍摄标定板和钢轨的左上侧、右上侧、左侧和右侧四个部分,并保证相邻相机的视野存在部分重合,以得到完整钢轨廓形。此外,相机外侧装有滤光片,只能使线激光通过,防止环境光的干扰;2为线激光器;3为标定板,图像标定完毕后,需用钢轨替代标定板进行钢轨图像校正;4为系统外壳,其作用是固定线激光器和工业相机;5为PC端,其接收来自相机的图片后自动进行图像处理,并显示检测结果。

图2 标定板及系统设计结构图

系统搭建完成后,调整线激光器,只需使其射出的线激光位于标定板侧面即可,实际测量过程中保证激光器和相机位置不变,经过不同相机拍摄得到的标定板图像如图3所示。

图3 不同相机拍摄的标定板图像

3 基于Harris-SIFT算法的钢轨轮廓匹配原理

系统的整体流程如图4所示,主要包括图像标定模块和轮廓匹配模块。

图4 整体流程图

首先对经相机采集得到的标定板图像进行预处理,其次,利用多项式变换计算各个不同的校正参数,将标定板换成钢轨,并用校正参数动态还原拍摄到的钢轨图像,然后利用双线性插值对钢轨图像灰度进行重构,从而完成图像校正。之后利用Harris角点检测算法得到钢轨图像和标准轮廓图像中的角点,将这些角点视为图像中的特征点,利用SIFT算法计算特征点的特征描述子并进行粗匹配,最后通过误匹配滤除实现轮廓的细匹配。

3.1 图像预处理

经相机拍摄得到的RGB图像需要首先经过图像预处理,图像预处理主要包括图像灰度化处理和去噪处理。

3.1.1 灰度化

灰度化的目的是压缩图像的数据大小,方便后续算法对图像的处理,根据人眼对色彩的敏感程度,一般采用平均加权法实现图像灰度化[7]:

Grayvalue=0.299R+0.587G+0.114B

(1)

3.1.2 图像去噪

在经过高速摄像机拍摄得到的图片中含有噪声,为了防止噪声对后续操作的影响,需要对灰度图像去噪。常用的去噪方法有中值滤波法、均值滤波法、高斯滤波法等。高斯滤波在对图像进行平滑的同时能够保留图像的整体灰度特征,不会影响后续操作的准确性[8],因此采用高斯滤波对图像进行去噪处理。

3.2 多项式校正变换

图像的标定有多种方法,有线性模型和非线性模型。线性模型基于物象关系建立世界坐标系和图像坐标系的坐标关系,忽略了相机畸变;非线性模型考虑了图像畸变,世界坐标系和图像坐标系间的转换关系可以利用多项式逼近拟合。设相机拍摄得到的标定板图像为h(u,v),标定板在世界坐标系的图像为f(x,y)。其中,(u,v)和(x,y)分别是同一控制点在校正前后图像中的坐标,则h(u,v)和f(x,y)之间的变换关系可用下式表示[9]:

(2)

式中,aij和bij表示待测的多项式系数;m为多项式次数。多项式次数越大,拟合精度越高,但计算量也越大。为了提高校正精度、降低计算量,本文令m=2。则(2)式转化为:

(3)

上式中含有12个未知量,需要采集6个控制点分别在图像坐标系和世界坐标系下的坐标,然后建立6组方程求解各个标定参数。实际标定时,为了提高精度,采集多于6组控制点在图像坐标系和世界坐标系下的坐标,然后利用最小二乘法求解超定方程[10]。假设采集的控制点数目为n个,为了方便,将(3)式转换为矩阵相乘的形式:

β=αγ

(4)

其中,世界坐标构成n×1矩阵β:

β=[u1,u2,…,um,v1,v2,…vm]T

(5)

控制点的图像坐标构成2n×12矩阵α:

(6)

其中:

(7)

各个标定参数构成12×1矩阵γ:

γ=[a00,a01,a02,a10,a20,a11,b00,b01,b02,b10,b20,b11]T

(8)

定义误差E为:

(9)

为了使E值最小,对γ求导,并令导数等于0:

=-2αTβ+2αTαγ=0

(10)

求解上式可得:

γ=(αTα)-1αTβ

(11)

3.3 双线性插值

假设相机拍摄的钢轨图像为R(u,v),建立与R(u,v)等大且像素值均初始化为0的图像G(u,v)。遍历G(u,v)中的坐标,利用(3)式计算钢轨图像中的对应坐标(u,v),然后对G(u,v)赋值,从而得到校正图像。然而,经(3)式计算得到的坐标可能为小数,需要利用插值法进行灰度重构。常用的图像插值方法有最邻近插值、双线性插值和三次插值法等[11]。最邻近插值采用距离最小原则,将距离(u,v)最小的像素灰度值作为当前像素值,这种方法计算量小,但是图像中灰度突变较大,重构效果较差,三次插值法虽然插值精度高,但计算量大,无法满足系统实时检测的要求。而双线性插值兼具了以上两种方法的优点,因此本文采用双线性插值进行灰度重构,双线性插值公式如式(12)所示:

R(u,v)=R(⎣u」,⎣v」)+ud·[R(⎣u」+1,

⎣v」)-R(⎣u」,⎣v」)]+vd·[R(⎣u」,⎣v」+1)-

R(⎣u」,⎣v」)]+ud·vd·[R(⎣u」+1,⎣v」+1)-

R(⎣u」+1,⎣v」)-R(⎣u」,⎣v」+1)+R(⎣u」,⎣v」)]

(12)

其中:

(13)

⎣」表示向下取整。当n=12时,标定板图像经过预处理、多项式校正变换和双线性插值处理后如图5所示。

图5 校正后标定板各个部分图像

3.4 轮廓匹配

轮廓匹配方法主要包括模板匹配和特征匹配。模板匹配是将待匹配的图像在标准图像上滑动,根据事先预定的相似性评价准则确定最佳匹配位置,考虑到钢轨不同位置表面反射率不同,实际图像中像素值总在变化,模板匹配错误率较高。特征匹配算法主要有SIFT、SURF、ORB算法等[12]。SIFT算法具有尺度和光照不变性,但是通常匹配时间较长。SURT算法是在SIFT的基础上,通过使用积分图和Haar特征加速算法的运行时间。而ORB算法则是基于FAST角点检测和BRIEF特征描述进行特征匹配,运算时间小,但是在复杂场景下匹配效果不好[13-14]。本文将Harris角点检测算法与SIFT特征匹配相结合,降低了SIFT算法中寻找特征点的运算时间,并利用改进的RANSAC算法进行误匹配滤除,从而达到了钢轨轮廓精确、快速匹配的目的。

3.4.1 Harris-SIFT算法

SIFT算法[15]是Lowe在2004年提出的具有尺度不变性和旋转不变性的图像匹配算法,随后提出的SURF算法也是基于SIFT算法所作的改进。传统SIFT算法的实施过程主要包括以下步骤:

(1)构造图像高斯金字塔

为了使提取的特征具有尺度不变性,需要建立图像高斯金字塔。通过对原图像不断进行降采样,得到S组钢轨图像,利用式(14)将每一组钢轨图像与不同尺度因子σ下的高斯核函数卷积,得到S组K层的图像,最后利用高斯差分图像近似高斯拉普拉斯图像,为下一步特征点提取做准备。

(14)

(2)提取特征点

在高斯差分尺度空间将像素和其周围26个像素比较,初步得到像素极大值点,然后利用泰勒级数进行拟合,并去除低对比点,最后通过Hessian矩阵迹与行列式的比值去除边缘效应,从而得到特征点。

(3)构造特征描述子

利用式(15)计算特征点邻域内各个像素的梯度方向,利用梯度方向直方图确定特征点主方向。按照特征点主方向对特征点邻域像素坐标旋转,将特征点周围16×16邻域划分为4×4个子块,每45°划分一个方向,统计子块梯度方向直方图,对每个子块的梯度方向直方图拼接,从而得到特征点的128维特征描述子。

(15)

(4)特征匹配

遍历标准钢轨廓形图像中特征点,计算与当前待匹配特征点欧式距离最小和次小的值,若二者比值小于设定阈值,则将欧式距离最小的特征点作为当前待匹配结果,否则,进行待测钢轨轮廓图像中下一个特征点匹配。

由上述过程可知,特征点提取是SIFT算法缓慢的一大原因,可以事先通过角点检测算法得到特征点,之后利用SIFT算法得到特征点的128维SIFT描述子,并通过特征匹配完成钢轨轮廓粗匹配[16]。本文采用Harris角点检测算法提取图像中特征点。设原图像为I(x,y),定义矩阵T为:

(16)

其中,Ix、Iy分别为像素在x、y方向的一阶导数。角点响应为:

R=det(T)-δ(trace(T))2

(17)

det(T)、trace(T)分别表示矩阵T的行列式和迹,δ一般设置为0.04～0.06。当响应大于一定阈值时,可初步认为该点为角点,之后利用非极大值抑制得到最终角点。

3.4.2 改进的RANSAC算法

经Harris-SIFT特征匹配后存在许多误匹配,一般采用RANSAC算法进行误匹配过滤。其主要思想是通过随机选取4组点,计算对应的单应性变换矩阵,在变换矩阵下统计内点数,若内点数大于当前最大内点数,更新最优变换矩阵和最大内点数,最终得到最优的参数矩阵[17]。然而,当粗匹配中误匹配较多时,RANSAC算法滤除效果不佳。理想情况下,钢轨图像不同匹配点对间斜率与欧式距离应相同,单应性矩阵退化为刚体变换矩阵[18],则坐标空间(x,y)与(u,v)之间的转换关系为:

(18)

式中,a、b、t、r为变换参数。变换矩阵中含有4个未知数,随机选取两组匹配点即可计算参数矩阵,具体步骤为:

①设置迭代次数和误差阈值,随机选取两组匹配点((x0,y0),(u0,v0)、(x1,y1),(u1,v1)),构造矩阵A、B、M分别如下式:

(19)

(20)

(21)

②根据式(18),可知:

AM=B

(22)

当选取两组特征点重合时,转向步骤(1);否则,A的行列式不为0,利用式(23)计算矩阵M:

M=BA-1

(23)

③遍历每组特征点(xi,yi),(ui,vi),利用式(24)计算(xi,yi)的理想匹配点位置(uideal,videal):

(24)

若该位置与实际匹配位置(ui,vi)的欧式距离小于设定误差阈值,则将匹配(xi,yi),(ui,vi)放入该组参数下的匹配集中。迭代结束后,统计匹配数目最多的匹配集,并保留对应的匹配,删除其余匹配。

4 实 验

该部分主要包括图像标定实验和图像匹配实验。实验平台基于Windows10操作系统,处理器型号为Intel(R)Core(TM)i3-4170 CPU @ 3.70 GHz,内存为8 G,编程软件采用MATLAB R2020a,图像中的像素单元表示的真实物理尺寸为0.2 mm。文献[19]指出,在进行图像标定时,控制点位置和控制点数目对标定精度均存在影响,控制点分布越均匀,校正效果越好,而最优控制点数目则需要进行实验确定。为了比较与传统标定板的标定精度,本文分别对棋盘格标定板和阶梯型标定板进行实验。通过采集18组控制点,分别取其中10、11、12、13、14个控制点进行实验,并将剩余的8、7、6、5、4个控制点作为验证集。其中,控制点的位置均匀分布于图像四周及中心。

4.1 校正效果评价

设某一控制点理想坐标为(xi,yi),实际校正后的坐标为(ui,vi)。则二者之间的距离disti为:

(25)

假设验证集中控制点个数为N,则平均校正误差RMSE为:

(26)

RMSE表示了校正效果好坏,其值越小,校正效果越好。

4.2 最佳控制点数目的选取与精度对比

针对两种标定板,对相机拍摄的左上侧、右上侧、左侧和右侧图像分别实验,结果如图6所示。

图6 RMSE随控制点数目变化趋势

对比图6(a)、图6(b),用棋盘格表标定板校正时,校正误差对控制点数目不敏感,而本文所设计的标定板对控制点数目敏感。同时,对于同一标定板,不同部位图像的最佳控制点数目不同。当控制点个数为13时,对于两种标定板图像的校正效果均较好。当控制点数目为13时,使用棋盘格标定板标定时,不同钢轨图像校正误差分别0.075 mm、0.044 mm、0.134 mm、0.235 mm,平均校正误差为0.122 mm。使用所设计的标定板进行标定时,校正误差分别为0.04 mm、0.12 mm、0.04 mm、0.12 mm,平均校正误差为0.08 mm,相对棋盘格标定板减小了0.042 mm。本文利用阶梯型标定板,采集13组控制点校正钢轨图像。通过多项式校正变换计算阶梯型标定板的标定参数,结果如表1所示。

表1 标定参数

用钢轨替代标定板,各个相机拍摄得到的钢轨右轨顶、左轨顶、右轨腰和左轨腰图像如图7所示。

图7 不同位置钢轨图像

然后采用表1中的参数分别对钢轨图像校正,并利用双线性插值和轮廓融合还原钢轨完整轮廓,各个部分钢轨图像的还原结果如图8所示。

图8 还原结果

4.3 轮廓匹配结果对比

钢轨标准无损伤图像如图9所示,将图8中各个部位的钢轨还原图像与标准图像匹配,分别采用SIFT算法、SURF+RANSAC算法和本文所改进的算法进行对比,匹配结果如图10所示。

图9 标准钢轨轮廓图

(a1)左轨顶轮廓匹配 (a2)右轨顶轮廓匹配

分别采用三种算法运行10次,统计三种算法下的不同部位钢轨图像的平均匹配数、平均正确匹配数、平均匹配正确率和平均运行时间。结果如表2所示。

表2 不同算法运行结果对比

对比表2,可以得出,SIFT算法效果运行时间长,匹配正确率低,SURF+RANSAC算法运行时间快,但在匹配左侧轨腰图像时,匹配效果不理想。而本文所设计的轮廓匹配算法运行时间与SURF+RANSAC算法接近,但正确匹配数多,匹配正确率达100 %。

5 结 论

为解决线激光钢轨损伤探测中标定平面与激光平面不重合、钢轨轮廓难以匹配的问题,本文设计了一种新型标定板,并提出基于Harris-SIFT算法的钢轨廓形匹配算法。首先搭建钢轨图像采集系统,采用多项式校正变换计算标定参数,并利用双线性插值重构图像。经过图像标定后,利用Harris角点检测算法得到待测轮廓中特征点,并用SIFT算法计算特征点的特征描述子,从而完成轮廓的粗匹配,之后利用改进的RANSAC算法进行细匹配。实验结果表明,相对于传统的棋盘格标定板,阶梯型标定板校正误差减小0.042 mm。此外,相对于传统轮廓匹配算法,所改进的轮廓匹配方法在速度和匹配正确率方面均有所提高,为钢轨廓形匹配技术进一步发展奠定了基础。