基于2D与3D激光图像的轨道扣件状态智能检测

陈文婷，罗文婷，李 林，秦 勇，温王鹏，吴镇涛

(1.福建农林大学交通与土木工程学院，福建福州 350108；2.南京工业大学交通运输工程学院，江苏南京 210009；3.北京交通大学，轨道交通控制与安全国家重点实验室，北京 100084)

0 引言

轨道扣件作为连结钢轨与轨枕的主要构件，起着稳定钢轨，防止钢轨发生相对移动的重要作用[1-2]。但由于列车车轮和轨道之间接触摩擦和振动冲击的作用，以及轨道扣件长年裸露于外界环境中，容易产生扣件失效等情况，严重影响了列车运行的安全性。因此，有必要对轨道扣件状态进行定期检测，以确保铁路运行的安全稳定。

目前，轨道扣件的检测主要基于人工检测，由维修工作人员在夜晚检查轨道沿线的扣件状况，若发现异常或缺损的轨道扣件，及时对其进行维护[3]，该巡检模式不但效率低，且其主观性较强，不能满足日益增长的铁路运营里程的需求。早期主要通过涡流[4]、超声[5-6]、红外[7]、电磁层析成像[8]等物理技术进行轨道自动检测，但上述检测设备贵，且较依赖人工标准。J. Yang等[9]根据扣件的固定结构，以方向场特征作为特征描述器，通过对图像序列的处理，提出了紧固件定位算法，可以完成紧固件位置的针对性获取。刘甲甲等[10]提出基于层级加权融合和贝叶斯压缩感知的扣件缺损识别方法，可以自动识别缺损的扣件。但该方法需要理想的背景环境，不具备较强的鲁棒性。近几年，随着深度学习不断发展，越来越多学者利用深度卷积神经网络进行目标检测。赵冰等[11]将部件检测分为2个通道，分别为部件检测通道与部件缺损分类通道，从而完成轨道关键部件缺损检测。X. K. Wei等[12]提出使用Faster R-CNN[13]、TLMDDNet[14]、VGGNet[15]检测有缺陷的扣件，但因为数据不均衡，较难准确地识别出缺损的扣件，这并不利于提高扣件病害分类的准确率。此外，一些病害类型(如扣件松动等)，需要有效空间信息才能正确判断。

随着三维激光成像技术的不断发展，越来越多的学者基于三维激光图像开展研究。C.Aytekin等[16]基于高速激光测距相机开发一套轨道扣件实时检测系统，研究了基于图像像素和直方图相似性的多种方法，认为基于直方图的检测方法更有效。A.G.Lorente[17]在三维图像的基础上通过模板匹配法对紧固件进行初始定位，接着利用3D云点模型完成紧固件的最终定位，但是没有具体描述如何采用3D云点模型实现紧固件的准确定位。此外，一些研究人员利用面阵相机获取轨道视频数据，根据图像序列以及编码器信号进行轨道紧固件定位[18]。代先星等[19]基于三维数据，采用先验知识对紧固件区域进行定位，并获取弹条的三维深度值，运用支持向量机对紧固件进行检测。王乐等[20]通过构建累积高度函数和先验知识分割钢轨区域和扣件区域，实现扣件状态的自动化检测。但上述算法检测精度较低，针对不同铁路线路的泛化性不足。文献[21]在三维图像的基础上，通过图像预处理方法对图像进行处理，如Canny算子边缘检测、形态学处理等，然后运用模板匹配技术对缺损的扣件进行识别。但是该方法遵循2D图像的检测思路，没有考虑利用三维深度图像的深度信息。

本研究利用三维线扫激光技术采集轨道扣件二维及三维图像，结合图像处理与深度学习，实现高效的轨道扣件状态智能检测与准确的螺栓区域定位；基于螺栓定位结果，结合三维深度信息，实现螺栓松动检测。

1 数据采集系统

采用的数据采集设备是三维线扫激光成像系统，见图1。该系统主要由CCD(charge coupled device)相机、激光器、计算机等构成。将三维线扫激光成像系统搭载于轨检小车上，安装在车轮上的光电编码器(DMI)能够根据小车的移动状态，将脉冲信号实时发射给CCD相机，相机接收到信号后，按距离触发采集轨道三维图像。轨道检测车如图2所示。

图1 三维线扫激光成像系统

图2 轨道检测车

系统采用垂直入射式三角激光原理，利用自适应感光ROI优化方法，根据激光条纹分布位置来自适应调整感光芯片的感光区域，并使用改进的灰度权重模型，提取亚像素级别的激光条纹中心位置[22]。在采集过程中，能够同步获得完全匹配的二维图像及三维图像[23]，并利用OpenGL对三维深度图像进行渲染。同步采集的二维、三维图像及三维渲染图像如图3所示。

(a)二维激光图像

(b)三维激光图像

(c)三维渲染图像

2 2D与3D图像融合

二维激光图像具有色彩灰度特征，但缺乏三维深度信息；而三维图像具有三维深度信息，但其可视化效果不佳。因此，本文将二维与三维图像进行融合，使轨道扣件图像包含更丰富的语义信息，从而提高目标检测的精度。

2.1 3D图像灰度化

考虑到三维线扫激光成像采集系统采集得到的三维图像为16位深度图，轨道扣件区域灰度特征不明显，因此在训练前将其进行灰度化处理。灰度化处理通常有2种方法。第1种方法将深度图转为灰度图时保留原来的像素值，此方法仅改变位数而不改变具体数值，但是当像素超过255将固定转为255，会造成信息丢失，导致精度降低；第2种方法先将深度图归一化，然后再转为灰度图。方法2弥补了方法1的缺陷，且可视化效果较好，故本节使用第2种方法将三维深度图像转为二维灰度图像，具体转化公式见式(1)，转化后的二维灰度图如图4所示。

(1)

式中:f(xij)为输出的二维灰度图像中各点的像素值；xij为输入的三维深度图像中某点的像素值；i、j的范围为1～2 048，且i、j为整数；Pmin为输入的三维深度图像的最小像素值；Pmax为输入的三维深度图像的最大像素值。

(a)三维深度图

(b)三维图像灰度化

2.2 2D-3D线性加权融合

线性加权融合是一种经典的二元像素操作，即对输入的2个图像矩阵按照给定的融合比例进行线性叠加，从而达到在一幅图像中表现2幅图像局部特征的目的。本文将原始二维图像与三维灰度化图像作为待输入的2幅图像，对其进行线性加权融合。在进行线性加权融合时，假设2幅图像的融合权重分别为α和β，则经过线性加权融合后的输出图像g(x)中各点像素值为

g(x)=αf1(x)+βf2(x)

(2)

式中：α和β为2种图片的融合权重，其中α+β=1且0≤α≤1，0≤β≤1；f1(x)和f2(x)表示输入的两幅图像，分别为原始2D图与三维灰度化图像；g(x)为输出图像中各点的像素值。

实际上α、β和f1(x)、f2(x)相乘就是调整f1(x)、f2(x)对应图像的明暗度。α分别取0.1、0.2、0.3、0.5、0.7,融合后的图像如图5所示。

(a)α=0.1(b)α=0.2(c)α=0.3(d)α=0.5(e)α=0.7图5 线性加权融合后的图像

3 轨道扣件状态智能检测

3.1 数据库构建

利用三维线扫激光成像采集系统采集河北某实验基地的轨道扣件数据，并对采集得到的数据进行人工筛选，剔除一些由于设备抖动等原因产生异常的图像，得到1 500张扣件清晰的图像数据，并使用LabelImg软件对筛选后的原始二维图像、三维灰度化图像、2D-3D线性加权融合图像进行人工标注，构建3组轨道扣件数据集。标注的扣件类型分为：弹条缺失(sr_m)、弹条松动(sr_l)、垫片缺失(pad)、异物(fb)、正常(nm)、螺栓(nut)、螺母缺失(nut_m)。当图中出现一半的扣件，较难定义其状态，因此另外分为待定类(undet)。各扣件病害标注示例以原始二维图像为例，见图6。数据库中的训练集、验证集数量见表1。

(a)弹条缺失 (b)弹条松动 (c)垫片缺失 (d)异物

(e)正常 (f)螺栓 (g)螺母缺失 (h)待定图6 各扣件病害标注示例

表1 训练集、验证集数量 张

3.2 训练扣件病害识别模型

实验使用GPU为GTX1060，PyTorch版本为1.7，CUDA 版本为10.2，cuDNN版本为7.6。训练过程中运用迁移学习的方法训练扣件病害识别模型，将准备的3组数据集分别放入YOLOv5目标检测网络中训练，训练前需对训练参数进行设置，具体的设置参数见表2。

表2 训练参数设置

4 螺栓松动检测

由于三维线扫激光采集系统采用俯拍的方式采集轨道扣件图像，而螺栓松动的表现形式也是以垂直方向的松动为主，因此在二维图像上难以判别螺栓的松紧情况。因此本文在二维与三维图像融合的基础上，提出基于二维与三维图像特征融合的螺栓松动检测算法。利用YOLOv5模型对融合图像中的螺栓进行定位，从而获取螺栓检测框在图像中的像素坐标信息；将螺栓检测框内的区域分成道钉与螺母两类，根据图像中道钉与螺母区域的坐标，可在完全匹配的三维图像中提取该区域的深度值；统计道钉与螺母的深度值众数；将深度值众数乘上相应的换算系数即得到各类的高度值，计算高度差，合理设置阈值，实现螺栓松动检测。

4.1 道钉与螺母区域分类

道钉及螺母区域的深度值是判别扣件松动的主要依据，但若在道钉和螺母的轮廓边缘界定不准确的情况下，提取整个区域的高程值，会影响扣件松动的判别结果。本文尝试了2种不同的区域分类方法来划定道钉与螺母区域的边缘，从而排除边缘界定不准确对判别精度的影响。

4.1.1 K-均值聚类法

螺栓松动检测的关键是准确区分道钉与螺母区域。K-均值(K-Means)算法是一种无监督学习的基于划分的聚类算法[24]，主要以欧式距离作为衡量数据间相似度的指标，可以将相似的对象归到同一个簇中，将不相似对象归到不同簇中。算法根据预先指定的聚类数目随机初始化聚类中心，通过更新聚类中心，迭代计算最小化聚类中心与数据点之间的误差平方和(sum of squared error，SSE)，当聚类中心不再变化时，函数收敛，聚类结束[25]。设置簇的个数为3，将螺栓区域中每一像素点的深度值作为数据输入，可将螺栓区域的深度值聚成3类。误差平方和SSE的计算公式为

(3)

式中：x为数据对象；k表示预先指定的聚类数目，即簇的数目；Ci为第i个簇；μi为簇Ci的均值向量，即第i个聚类中心。

μi计算公式为

(4)

由于K-Means聚类不能事先定义目标类别，仅得到每簇对应的平均值，至于各平均值对应属于道钉还是螺母不能确定。因此需要进一步结合道钉与螺母的实际空间位置对其进行分类。

4.1.2 基于区域收敛的螺栓分类法

K-均值聚类法需要通过不断迭代来找到最小距离，因此耗时较久。另外，当螺母松动至道钉顶部时，道钉与螺母深度值接近，因此K-均值算法易将其归为一类，导致分类不准确。因此，提出一种基于区域收敛的螺栓分类法。根据道钉与螺母区域的空间位置，选取比各区域边缘收敛的区域作为目标区域。

第1步，对螺栓检测框进行逐像素遍历，计算检测框内每一像素坐标距离检测框中心点的距离，计算公式为

(5)

式中：d(x,y)为检测框内每一像素坐标距离检测框中心的距离；xi为某一像素点在检测框中的横坐标；yi为某一像素点在检测框中的纵坐标；x0为检测框中心横坐标；y0为检测框中心纵坐标。

第2步，根据轨道扣件图像上螺栓检测框内目标的坐标位置，将检测框内的目标分成道钉与螺母两类，如图7所示。

图7 道钉与螺母区域划定

为了确保提取的点都明确在各个类别中，因此选择比各类边界收敛的区域作为各个类别的收敛区域。对检测框内每一像素坐标距离检测框中心的距离值进行判断，以确定道钉及螺母区域。道钉与螺母区域的判别公式见式(6)。

(6)

式中：R1为道钉区域的半径，R1=12;R2、R3为螺母区域的圆环半径，R2=19、R3=22。

4.2 松动判别算法

通过分析螺栓的形态特征可知，当螺栓处于拧紧情况下，道钉的高度值比螺母高度值大；当螺栓处于轻微松动状态时，道钉与螺母的高度差发生变化；当螺栓处于严重松动状态时，螺母表面高度高于道钉表面高度。因此可根据道钉与螺母的高度差来判断螺栓是否松动。

基于检测框内目标的分类结果，提取道钉及螺母两类目标对应的3D点云的深度值。为了更直观地展示，将深度值乘上系数0.08，最终结果如图8所示。按类别统计各类的深度值众数。为了保证后续提取众数的准确性，在统计众数时剔除深度值为0的像素点。对检测框内各类目标深度值众数取平均值，将各类目标的深度值众数平均值作为该类目标的深度值，计算公式为

(7)

式中：n为类别数，n=1代表道钉类，n=2代表螺母类；δn为类别的深度值众数和；Nm为类别深度值众数的个数；μi为类别各深度值众数；εn为类别深度值众数的平均值。

(a)拧紧

(b)松动

用于判别螺栓松动的道钉与螺母高度差的阈值，通过大量采集同类型不同状态的螺栓数据，并进行统计分析来确定。对现场采集的螺栓进行深度值提取，统计道钉区域与螺母区域的深度值众数，并将深度值众数乘以系数0.03作为高度值，计算其高度差，见式(8)。根据螺栓松动的判别条件(式(9))，即可实现螺栓松动检测。

Δ=ε1-ε2

(8)

(9)

式中：Δ为道钉与螺母之间的高度差测量值，mm；ε1为螺母的高度值，mm；ε2为道钉的高度值，mm；a、b为判断螺栓状态的高度差阈值。

5 实验结果分析

5.1 轨道扣件智能检测实验分析

在进行二维与三维图像线性加权融合时，融合权重的大小将影响图片的融合效果，从而影响目标检测模型的准确率。通过对比在不同融合权重的影响下模型的精确率，选取最佳的融合权重。本文将二维图像融合权重α分别取值0.1、0.2、0.3、0.5、0.7时产生的数据集送入YOLOv5检测网络，并对比最终模型的精确率，见表3。

表3 不同的融合权重对应的模型精确率

由表3可知，当二维图像的融合权重α取值为0.2时，模型精确率为64.5%，分别比α取值为0.1、0.3、0.5、0.7时高出3.7%、3.2%、7.7%、13.6%。实验结果表明：在二维及三维线性加权融合时，当原始二维图像融合权重α=0.2，三维灰度化图像融合权重β=0.8时，模型精确率最高。因此，本文选取为0.2作为线性加权融合的权重系数。

3组不同数据集的扣件病害识别模型的精确率、召回率、mAP0.5、mAP0.5:0.95值见表4。

表4 不同数据集模型的精确率、召回率、mAP值

由表4可知，经过二维及三维线性加权融合的数据集训练出的模型精确率较高，分别比以原始2D图、灰度化处理图像作为数据集的模型精确率高3.2%、11.3%。经过二维及三维线性加权融合的数据集训练出的模型的召回率仍然较高。综上所述，经过2D-3D线性加权融合后的图像由于融合了二维图像与三维图像的特征，弥补了二维图像缺乏深度信息的缺陷，提高了模型的精确率和召回率。因此，以线性加权融合后的图像作为数据集训练出的模型综合效果较好。

随机选取100张扣件图像作为测试集，利用线性加权融合的数据集训练出的模型对其进行测试，各类别病害扣件测试结果示例图如图9所示。

(a)弹条缺失 (b)弹条松动 (c)垫片缺失

(d)异物 (e)螺母缺失 (f)待定图9 扣件病害测试结果

由于螺栓松动检测是基于目标检测的识别结果，因此，为了实现螺栓松动的正确检测，在目标检测阶段，要保证螺栓能够被正确检出。利用上述3组数据集训练得到的模型对3组测试集进行测试，效果如图10所示。模型对于原始二维图像与三维灰度化图像的测试存在螺栓漏检的情况，而经过线性加权融合后的图像中的螺栓被正确检出，其验证了第3组实验的相对准确性。

(a)原始2D图 (b)灰度化处理(c)线性加权融合图10 3组实验测试结果

5.2 螺栓松动实验分析

基于螺栓的定位结果，将螺栓分成道钉与螺母两类，对K-均值聚类法与本文提出的基于区域收敛的螺栓分类法进行对比实验，2种方法的分类效果如图11、图12所示。通过对比，K-均值聚类法虽能有效区分螺母与背景部分，但是对于道钉与螺母两类之间区分度不高；本文提出基于区域收敛的螺栓分类法能准确提取道钉与螺母区域，这对于后续进行各类的深度值的提取，从而准确判断螺栓是否松动至关重要。

图11 K-均值聚类法

图12 基于区域收敛的螺栓分类法

5.2.1 准确性分析

为了验证基于区域收敛的螺栓分类法的准确性，对实验室场景下的2组不同的扣件重复采集40次，2组扣件真实的螺栓高度差值分别为0.7 mm与5.7 mm。利用基于区域收敛的螺栓分类法，区分出螺母与道钉区域，提取其对应的3D深度值，计算高度差，结果如图13所示。

图13 螺栓高度差测量值

将2组螺栓高度差的测量值与真实值进行对比，并根据式(10)计算其相对误差，2组螺栓高度差测量值的相对误差如图14所示。

(10)

图14 高度差测量值的相对误差

式中：γ为道钉与螺母之间的高度差测量值的相对误差；Δ为道钉与螺母之间的高度差测量值；Δr为道钉与螺母之间的高度差真实值。

由图14可知，螺栓2的相对误差比螺栓1的相对误差小，且螺栓2的相对误差均稳定在0～0.1之间，而螺栓1的相对误差较分散。这是由于螺栓1的真实高度差较小，而螺栓2的真实高度差较大。由此说明在道钉与螺母的真实高度差较大时，其测量结果的相对误差小。

5.2.2 稳定性分析

为了评估基于区域收敛的螺栓分类法的稳定性，根据贝塞尔公式对上述40组道钉与螺母的高度差测量值计算标准偏差，贝塞尔公式见式(11)。

(11)

2组螺栓高度差测量值的标准偏差如图15所示，标准偏差反映组内个体间的离散程度，其值越小，反映螺栓高度差测量值的离散程度越小。本文螺栓1与螺栓2的标准偏差分别为0.38与0.33，说明本文提出的基于区域收敛的螺栓分类法较稳定。

图15 2组螺栓的标准偏差

5.2.3 松动判别实验分析

5.2.3.1 确定阈值

为了得到判别螺栓状态的阈值，本文将实验基地的螺栓设置成3种状态，分别为拧紧、轻微松动、严重松动，每种情况下螺栓的数量均为25个，统计螺栓在3种状态下的高度差测量值，如图16所示。

图16 3种状态下螺栓高度差测量值

由图16可知，当螺栓处于拧紧状态时，其道钉与螺母之间的高度差Δ<-4 mm；当螺栓处于轻微松动状态时，Δ在-4～0 mm之间；当螺栓处于严重松动状态下，螺母上表面高于道钉上表面，Δ>0 mm。以此作为本文判别螺栓松动的阈值，可以实现螺栓状态检测。

5.2.3.2 螺栓松动检测验证实验

利用本文提出的基于区域收敛的螺栓分类法与螺栓松动判别法对螺栓进行检测，螺栓松动测试结果如图17所示，当螺栓松动时，在二维图螺栓检测框上标注“loose”代表该螺栓松动，同时在三维渲染图中也同步标出螺栓松动，直观展示了松动情况。

(a)螺栓松动二维图片

(b)螺栓松动三维渲染图片

6 结束语

本文利用实验室自主研发三维线扫激光成像采集系统获得轨道扣件二维及三维图像，通过三维图像灰度化、图像线性加权融合算法等进行图像处理，构建以原始二维图像、三维灰度化图像以及2D-3D线性加权融合图像为基础的数据库，并使用YOLOv5目标检测网络对3组轨道扣件数据集进行训练与测试。实验结果表明：以2D-3D线性加权融合图像作为数据集的模型精度较高，能够实现各类扣件病害的高效检测，同时能够精确定位出螺栓的具体位置。基于二维图中螺栓识别结果，提出区域收敛的螺栓分类法与螺栓松动判别法，同步提取三维深度图中道钉与螺母的深度值，计算高度差，通过设置阈值，从而实现螺栓松动的智能检测。未来会将此方法运用到实际扣件检测系统中，并对其进一步完善。