基于半监督深度学习的无砟轨道扣件缺陷图像识别方法

戴 鹏，王胜春，杜馨瑜，韩 强，王 昊，任盛伟

(中国铁道科学研究院 基础设施检测研究所, 北京 100081)

采用非接触式动态检测方法对轨道部件状态缺陷进行巡检的技术迅速发展，其中基于激光测距扫描的检测方法[1]、基于可见光成像的检测方法[2]成为主流。可见光成像的检测方法因其所获数据良好的可视性、可追溯性，且数据分析的自动化、智能化而被广泛应用于检测钢轨状态[3-4]、接触网部件状态[5]等。无砟轨道扣件是联结高铁无缝钢轨和混凝土道床的基础部件，其缺陷可能引发钢轨移位并造成列车脱轨。我国高铁线路长，扣件总量基数大，急需自动化、智能化的检测技术来准确、高效地发现扣件缺陷。

扣件缺陷的机器识别方法通常以轨道为输入图像，通过图像分割运算提取出扣件子图，并识别扣件子图状态来检测缺陷。早期方法通过检测扣件螺栓、弹条等部件在图像中形成的边缘、角点特征变化进行识别[6-8]，这类方法属于初级机器视觉层次，检测精度和抗噪能力较差；后经发展，通过借鉴“人脸识别”、“行人检测”等机器视觉问题解决方案，采用基于“人工设计特征”搭配统计模式识别分类器进行识别。如：Haar特征搭配LDA (Latent Dirichlet Allocation)分类器[9]，Adaboost分类器[10]，HOG特征搭配K-近邻分类器[11-12]、支持向量机(Support Vector Machine,SVM)[13-14]分类器等。这类方法基于“专家设计”算子描述扣件模式，并通过统计学习建立分类器，一定程度上提升了识别精度和鲁棒性，但在处理非同源数据时泛化性弱，存在虚警率高、对缺陷扣件存在较高比率漏检的问题，给工程实践造成困扰。

随着以深度学习(Deep Learning, DL)为代表的人工智能技术发展，设计深度网络从数据集中自动学习特征的模式识别系统，表现出远超传统“人工设计特征”的优势。已有相关研究将该技术用于处理铁路图像，如使用卷积神经网络(Convolutional Neural Network, CNN)识别有砟轨道场景区域[15-16]、轨道塞钉等零部件状态[17]等，获得了更好的识别精度。

本文针对无砟轨道图像中扣件子图空间纹理相似度较高及我国高速客专无砟轨道扣件样本相对稀缺的特点，研究轨道图像中扣件子图精确快速定位算法和基于半监督深度学习的扣件缺陷机器识别方法，并通过在运营客专线试运用，对该方法在缺陷检出率及计算效率等方面进行验证。

1 基于置信图的扣件子图快速定位算法

研究中的图像数据采集于轨道状态巡检系统[2]。该系统采用高速线阵工业相机对轨道进行等间距运动扫描，扫描间距为1.6 mm/扫描线，单相机的横向覆盖视野约为1 m，钢轨和扣件位于图像中间区域，如图1(a)所示。我国高铁的无砟轨道采用了CTRS-Ⅰ，CTRS-Ⅱ型等不同类型轨道板，其扣件结构存在一定差异，这里选取高铁干线线路广泛采用的WJ-7和WJ-8型2种扣件作为研究对象。

图1 轨道图像中选取扣件子图邻域的示意图

扣件子图定位是指从轨道图像中提取出扣件子图，并把该子图作为后续缺陷识别算法的输入。已有的扣件定位研究多基于边缘几何特征[9]、互信息相关性[18]、纹理模板匹配[19]等方法。其中基于边缘几何特征、互信息相关性的方法易受环境噪声干扰，给工程实践造成困难；基于纹理模板匹配的方法则依赖于遍历寻优，计算开销大，实时性差。针对上述问题，提出了一种基于置信图模型的扣件子图快速定位算法。算法主要包括扣件子图邻域纹理图的构建和扣件子图定位2个步骤。首先，基于先验信息在轨道图像中指定某个扣件子图邻域作为引导图，应用概率图模型对引导图进行处理，构建该区域的纹理图和扣件子图在该区域中的置信图。然后，根据轨道图像空间相邻扣件的大致间隔提取下一个扣件子图邻域并构造其纹理图和置信图，再通过计算置信图与引导图之间相关函数的最大极值点实现对新区域中扣件子图的定位。

1) 扣件子图邻域纹理图的构建

给定轨道图像中扣件子图o的中心位置x*及其邻域Ωc，如图1(b)所示。区域Ωc(x*)的纹理特征集X*为

X*={t(z)=(I(z),z)|z∈Ωc(x*)}

(1)

式中：z为邻域Ωc中的像素位置；t(z)为像素位置z邻域的纹理；I(z)为像素位置z的灰度值。

将空间点x定位为扣件子图中心位置x*的似然函数c(x)，为

(2)

式中：b为系数变量；α，β为系数；P(x,t(z)|o)为扣件子图中心x和纹理特征t(z)的联合概率密度，即为条件概率P(x|t(z),o)与先验概率P(t(z)|o)的乘积。

条件概率P(x|t(z),o)为以当前定位位置x为中心的邻域Ωc的纹理图之间的分布关系，可以函数hsc(x)表示，有

P(x|t(z),o)=hsc(x-z)

(3)

先验概率P(t(z)|o)描述了局部纹理特征，为

P(c(z)|o)=I(z)ωσ(z-x*)

(4)

式中：ωσ(z)为窗函数。

将式(3)和式(4)代入式(2)进行恒等变换，并运用卷积运算展开后进行傅里叶(FFT)变换后在频域变形，然后再进行FFT逆变换，得到纹理图函数hsc(x)的解析表达式，其本质上可视为给定扣件邻域的1个宽边界的特征模板，即为给定扣件中心及其邻域区域所构建的纹理图，则

(5)

式中：F(·)为傅里叶变换；F-1(·)为傅里叶逆变换。

2)扣件子图定位

(6)

对每个待处理的扣件邻域均可计算得到其与引导图之间的置信图函数cn(x)，搜索该函数最大极值点argmax(cn(x))，即为该邻域内扣件子图的中心位置。

分别选取WJ-7和WJ-8型2种扣件作为算例对算法进行演示，并显示扣件邻域纹理图及其与引导图之间置信图的计算结果，如图2和图3所示。图2(c)和图3(c)中的红点位置表示置信图的最大极值点，即对应该区域扣件子图区域的中心点。

图2 WJ-7型扣件算例

图3 WJ-8型扣件算例

该算法较已有算法具有3个显著优点：①通过计算似然函数构建纹理图，使得该算法对光照变化不敏感，抗噪能力强，具有更好的鲁棒性；②运算速度快，从区域中定位目标仅需做1次窗函数卷积和FFT正逆变换运算，避免了传统方法的遍历运算，单张轨道图像的处理时间在3 ms左右，每小时可处理约400 km轨道图像；③算法可根据不同类型扣件灵活设置引导图作为参考标的来更新纹理图和置信图，对不同类型扣件进行定位处理的适应性较好。

2 基于半监督深度学习的扣件缺陷图像识别方法

运用上述定位算法批量处理图像可得到若干扣件子图。对扣件子图进行分类整理后构成用于开展缺陷识别研究的数据集。结合实际情况分析可知，高速铁路无砟轨道扣件损坏数量占扣件总量比例极低，因此图像数据集的一个主要特征为正常扣件样本极为丰富，而缺陷样本稀缺。深度学习技术尽管在处理大数据集的机器视觉识别问题上优势明显，但通用的深度学习建模方法对数据集总量、数据集中不同类别样本数量之间的均衡性存在要求。因此如何进行深度学习建模实现扣件缺陷图像识别方法是另一难点。

综合考虑数据集特点，运用半监督学习方法进行深度学习建模，即先在大数据集上进行无监督学习获得表示特征，然后在相对小的有标注的数据集进行监督学习获得分类能力。模型设计原理如下。

步骤1：鉴于扣件结构在图像中的模式表现出较强的相似性，采用稀疏自编码(Sparse AutoEncode, SAE)网络构建学习模型来提取扣件特征。SAE网络为双向传导网络，其原理为通过建立神经网络反向传导机制，求解1个定义为hw,b(x)≈x的函数，使得特征函数hw,b(x)=f(wx+b)的表达尽可能逼近原图像x，其中向量w为网络节点的权重系数，可视为图像稀疏特征的数值化表示，b为偏置项，它们均通过在无标注数据集机器学习确定。

步骤2：为了使深度学习网络具备缺陷识别功能，将步骤1中训练好的网络连接1个Softmax层组成分类网络，由Softmax层连接输出层给出扣件子图的类别标签。这步操作将有限的缺陷扣件样本和二次挑选的数量相近的部分正常扣件样本进行类别标注后建立1个新的数据集，并在新数据集基础上对分类网络进行训练。通过在有标签的数据集上进行监督学习获得Softmax层的权重参数，并同时对步骤1中生成的权重系数向量w进行微调，最终经迭代训练收敛后，获得扣件缺陷识别的分类网络。

依据上述原理，建立如下算例。

(1)数据集构建：通过对从轨道图像中分割出的大量扣件子图进行甄选，获得大量正常扣件图像样本和2 000余个真实扣件缺陷。对数据进行整理后建立包含M=312 000个扣件子图样本的数据集作为训练集，其中正常扣件样本个数Mp=271 000个。对2 000余个负样本扣件子图进行镜像、伽马(gamma)变换等数据增强处理后扩展到Mn=41 000个。缺陷样本集中扣件缺失、折断、弹条移位缺陷各约占1/3。由于缺陷样本稀缺，尽管已采用数据增强方法对缺陷扣件子图进行10倍扩展，但正负样本比例仍极不均衡。

(2) 深度网络构建：设计1个包含5层结构的网络，如图4所示。网络包含1个输入层、2个隐藏层，1个softmax分类层和1个输出层。其中输入层连接扣件图像数据，将单个扣件子图的像素矩阵展开为元个数K=128×80个元素的向量，并将数据集中M个样本聚合成维度为M×K的输入矩阵。其中输入层、隐藏层L1、隐藏层L2之间采用全连接结构相连，节点数分别设定为256和196个。

图4 扣件缺陷识别的半监督深度学习网络结构

图5 典型缺陷扣件图像

(4) 机器学习特征的可视化和模型验证。在第1步无监督学习中从1个无标注数据集上获得表征扣件模式的机器学习特征，其中wL1和wL2系数为扣件形态模式的稀疏特征表示。通过可视化程序以二维图像显示wL1和wL2如图6所示。可以看出无监督学习的深度网络权系数隐含了扣件弹条轮廓形状的特征信息。该缺陷识别方法在本算例建立的分类验证集上获得的最佳识别精度为99.6%。

3 应用验证

基于半监督深度学习的无砟轨道扣件缺陷图像识别方法，对在我国某客专专线CTRS-Ⅰ和CTRS-Ⅱ型无砟轨道上采集的若干段轨道巡检图像进行应用测试。运用安装于高铁综合巡检车的轨道巡检系统，以月为间隔周期，对某段长220 km的无砟轨道线路进行3遍图像采集。然后运用识别方法对这3段数据进行处理，并和线路管理部门线路管理部门经人工看图复检校验后的结果进行对比，以验证算法的性能。

为了评价方法的正确性和有效性，定义准确率rP和检出率rR评价其性能，分别为

图6 深度网络学习获得的隐藏层特征

(7)

(8)

式中：cTP为正确识别数量(即识别为缺陷的扣件为真实缺陷)；cFP为误报数量(即将非缺陷扣件识别为缺陷)；cFN为漏识数量(即真实缺陷扣件未能识别)。

从保障铁路安全运行的角度来考虑，检出率rR为优先指标，即应尽可能充分保障缺陷扣件被有效检出；为尽可能提高检出率，允许机器识别方法存在一定误报，即准确率rP为次要参考指标。将机器识别结果和人工精细复查结果进行对比，相关统计指标见表1。

表1 缺陷识别方法应用验证统计指标

从表3可以看出：识别方法对扣件缺陷的有效率检出率均>95%，平均检出率为97.1%，识别结果的准确率在50%左右水平。从泛化性评价该方法对数据集以外新样本的适应能力，相比于在建模过程中算例数据验证集上所获得的99.6%的最佳识别精度，该识别方法在处理全新输入的轨道图像数据时的缺陷检出率下降不到4%，体现了该方法在处理轨道和扣件图像数据时良好的泛化性, 与现有识别方法约80%的缺陷检出率相比性能提升明显。从识别速度上来看，单个扣件子图快速定位算法加缺陷识别两部分运算耗时约在5 ms，通过建立并行机制处理两股钢轨图像，每小时可处理约200 km左右的轨道图像数据，可满足现有轨道巡检系统最高160 km·h-1检测作业时的实时处理要求。

方法产生的误报主要由于部分正常扣件落有污渍、异物等造成的模式不确定性引起，但误报数量相比于检测数据所包含扣件总量比例极低，满足目前巡检图像数据分析采用的“机器识别后人工辅助确认”的工作要求。对于产生漏检的情况，主要还是由于扣件缺陷模式的复杂性和多变性引起，当某种模式与监督学习训练集中已有样本可覆盖模式有较大差异时，则有一定概率会发生漏检。提出的识别方法具有机器学习所具有的增量自学习能力。通过积累收集漏检样本并补充到训练集进行更新学习后，即可获得正确识别漏检缺陷的能力。

4 结 语

本文提出了一种无砟轨道扣件快速定位算法和识别扣件缺陷的半监督机器学习方法。扣件定位算法通过构建扣件邻域纹理图和引导图与被定位图之间的置信图的极大值点，避免了传统定位算法计算效率低、抗噪声能力弱、鲁棒性不强等问题，大幅提升了扣件子图定位算法的计算效率和精度。基于半监督深度学习方法建立扣件缺陷识别模型，克服了无砟轨道扣件缺陷样本相对稀缺条件下采用深度学习技术进行异常识别建模的困难，实现了对扣件缺失、弹条折断、弹条移位3类缺陷的高精度识别。选取我国高速运营客专无砟轨道进行试验和方法验证，结果表明，该方法可适用于CTRS-Ⅰ和CTRS-Ⅱ型等不同类型无砟轨道所装配的WJ-7型、WJ-8型等类型扣件，对扣件缺陷的有效检出率>95%。

本文对高速客专基础设施图像识别技术研究中所面临的缺陷样本相对稀缺这一共性问题进行了有益探索，可为解决接触网零部件结构缺陷检测、道床内掉落异物识别等问题提供借鉴。