基于改进形状匹配的扣件缺陷检测方法

刘贤华，邱实，胡文博，王劲，王卫东

(1. 中南大学 土木工程学院，湖南 长沙 410075；2. 高速铁路建造技术国家工程实验室，湖南 长沙 410075；3. 中南大学 轨道交通基础设施智能监控研究中心，湖南 长沙 410075)

随着铁路现代化进程的不断推进，铁路线路维检面临着维护周期短、维护路段长、安全性要求高等新的挑战。其中扣件作为固定轨道的重要部件，其状态好坏严重影响着列车运行的稳定性和安全性。近年来，扣件缺陷检测方法主要分为基于传统图像处理和基于深度学习2类，但都存在各自的不足之处。如何进一步改进扣件检测方法对保证铁路现代化建设中扣件维检安全性、实时性和准确性具有重要意义。扣件定位方面，许多学者对此进行了广泛而深入的研究。基于传统图像处理的扣件定位方法一般是基于扣件先验知识、图像灰度或纹理特征对扣件进行定位，吴禄慎等[1]提出一种改进的十字交叉定位法。PRASONGPONGCHAⅠ等[2]使用边缘密度图和随机采样一致性算法来估计扣件区域。QⅠU 等[3]提出了一种基于双模板匹配的钢轨扣件定位方法，并基于先验知识得到钢轨区域图。这些方法在特定的铁路线路场景和较高的图像质量下能有较好的扣件定位效果，但适应性较差，受先验知识影响较大，应用较为局限。基于深度学习的扣件定位方法适用性强，但其定位准确率与标注的扣件样本的数量相关，训练较为困难，白堂博等[4]利用Faster R-CNN 对铁路扣件进行定位。李兆洋等[5]提出用基于改进SSD模型对高铁扣件进行定位。扣件识别方法主要分为有监督[6-8]和模板匹配[9-11]两大类。有监督方法如刘甲甲等[12]提出一种基于图像融合特征和贝叶斯压缩感知的图像分类识别方法。GⅠBERT 等[13]采用多任务学习框架，综合多个检测器的检测结果对扣件的缺陷类型进行判定。模板匹配方面，DOU等[14]提出基于梯度直方图的模板匹配算法，YANG等[15]提出基于方向场的模板匹配算法等。总的来说，以上有监督类方法需要大量标注的扣件样本来训练分类器，耗费大量人力和时间，且对于不同环境的铁路线路，往往需重新设立扣件样本，不利于大范围推广。而对于模板匹配类方法，常需降低匹配阈值以换取匹配召回率的提高，但匹配阈值的降低又难免造成匹配精确率的降低。综上，现有方法存在扣件定位和识别准确率低、适应性差或扣件样本需求量大、模型训练困难等不足。鉴于此，本文提出一种基于改进形状匹配的扣件缺陷检测方法。该方法对扣件检测的召回率高，能够实现高精度下的扣件缺陷快速识别。此外，该方法结合轨检车拍摄的扣件图片的特点，能够做到无须预先进行扣件定位即可找出缺陷扣件的所在的铁路里程，具有较高的实用性和可行性。

1 技术路线

高速铁路综合巡检车拍摄的扣件图片有三大特点：图像连续、位置固定和高度规律性。基于以上3点，本文设计一种无需预先进行扣件定位的扣件缺陷检测方法。原理是利用图片中所有扣件数量M和状态良好的扣件数量N来确定破损扣件数量P，即P=M-N。若P不为0，说明该张扣件图片中含有破损扣件，将该张图片对应的序号和里程打印输出即可。

实现该方法的关键操作是图片智能裁剪和模板库自动化更新，具体流程见图1。在图片智能裁剪前还需进行图像预处理操作，包括均值滤波、直方图均衡化和拉普拉斯锐化等，旨在减少图像椒盐噪声、增强图像对比度、锐化图像轮廓边缘，有利于后续更加精确地进行图片智能裁剪和轮廓提取等操作。图片智能裁剪是对扣件图片在钢轨方向进行裁剪，目的是对图片中的扣件数量进行固定，可有效避免轨检车连续拍摄造成的扣件数量变化、扣件截断等问题；另一方面，轨检车拍摄的扣件图片具有连续性，往往同一扣件会出现在连续几张图片中且位置不同，因此对扣件图片的边界进行裁剪并不会减少有效扣件的数量。模板库自动化更新则是根据输入图片针对性地选取相应的模板库，并具有模板库优化和更新功能，这是保证模板库具有流动性、代表性和多样性的关键操作，能有效提高扣件匹配的召回率而不过度增大模板库尺寸。对扣件模板进行ROⅠ区域提取和轮廓提取操作，根据选定的试验参数进行多模板形状匹配。

图1 扣件检测方法技术路线Fig.1 Technical flow of the proposed method

2 扣件图片智能裁剪

2.1 算法简述

本文针对轨检车拍摄的CRTSⅢ型板式无砟轨道扣件图片提出智能裁剪算法，该算法是基于图像灰度值的一种图片裁剪方法，可对具有不同扣件数的扣件图片进行裁剪，从而得到扣件数量固定的扣件图片。算法流程叙述如下。

步骤1：

输入图片I0，尺寸为L0×W0。

步骤2：

用尺寸为L1×W1的矩形框对图片I0进行裁剪，矩形框长度方向含挡肩n个，其中L1×W1需满足如下条件：

其中：w0为图片中挡肩间距；w1为图片中挡肩纵向宽度；n2p和n1p分为矩形框的上下可调整空间，由调整次数n1(或n2)乘以每次调整距离p得到。

步骤3：

以原图片左上角为原点，图片宽度为横坐标，长度为纵坐标。设定矩形框顶端初始纵坐标为S，S一般满足如下条件：

计算纵坐标为S处钢轨左边的一段挡肩范围内(设为c)的灰度方差，记为∂0。

步骤4：

根据方差∂0判断是否属于正常裁剪(即矩形框不与挡肩相交，反之与挡肩相交)，并进行下一步操作，判据和相应操作如下：

1) 当∂0≥∂x时，判断属于非正常裁剪，矩形框整体下移p，并重复步骤4。

2) 当∂0＜∂x时，判断属于正常裁剪，将图片进行裁剪，算法结束。

∂x为图片中挡肩边缘处灰度方差，根据统计方法得到，一般可较保守取值。

2.2 实例计算

轨检车采集的图片原图长1 048 px，宽690 px，图片中挡肩间距165 px，挡肩纵向宽度69 px。为得到扣件数量固定为20，即在矩形框长度方向含有5 个挡肩的扣件图片，可用长度为770 px，宽度为690 px 的矩形框对原图片进行裁剪，可较好满足算法步骤2 的要求。初始位置S为48 px，c为50 px，取p为20 px。

判断矩形框初始位置是否为正常裁剪(正常裁剪与非正常裁剪示例如图2 所示)前需先确定扣件图片中挡肩边缘处灰度方差。计算横坐标在80～130 px，纵坐标在490～655 px(刚好一个挡肩间距，其中挡肩范围为527～596 px)范围内的灰度方差，如图3所示，挡肩范围内的灰度方差显然要比其他地方的要大得多。此外，由于矩形框的可调整空间较大，因此可保守将∂x取值为1 000 px2，灰度方差小于∂x即认为是非正常裁剪，进行平移调正即可。实践表明，该方法智能、快捷、高效，能够较好保证裁剪为正常情况。

图2 2种裁剪方式Fig.2 Two cutting methods

图3 扣件图像灰度方差Fig.3 Variance of the gray-scale image

3 模板库自动化更新

该改进方法的多模板匹配与单模板匹配类似，不同的是对于单张扣件图片，多模板匹配是用多个模板逐个与之进行匹配，直至扣件图片中所有扣件都成功匹配或模板库遍历完全。一种理想的多模板匹配状态是前几个模板就可将图片中所有或绝大部分扣件成功匹配，其余模板专门匹配各类形态迥异的扣件，这样既可大幅减少多模板匹配的时间，又能有效提高匹配召回率。因此，如何选取合适的模板库，在不过度扩大模板库的前提下增强扣件种类和形态多样化，并对模板库中的模板进行合理的匹配位次排序是问题的关键。

本文提出一种自动化更新模板库的方法，分为初次创建模板库和模板库优化更新2种模式，能够做到对模板库的实时更新。模板库自动化更新流程如图4所示，模板库的初次建立是依据以往轨检车拍摄的扣件图片等间隔采样得到，模板库大小固定。而对于已建立好的模板库，依据评价准则对模板库中的模板进行评价和排序，并调整匹配位次，目的是让评价高的模板增加匹配的机会和次数，并能够有效提前结束该张扣件图片的匹配。对于匹配位次较后的模板则用新建立的模板进行替换，以进一步提高模板库的多样性和匹配召回率，其中新模板来自匹配结果中未完全匹配的图片。

图4 模板库自动化更新流程Fig.4 Template library automated update process

模板质量的优劣用该模板平均每次匹配成功的扣件数来衡量，扣件数越多，说明该模板适用性越强。本文试验验证当模板库数量为32 时改进方法能够达到较好性能(见5.2 节)，且匹配时间与模板库数量为16 时相近，匹配精度有略微提高。因此，对于数量为32 的模板库，在模板库优化更新时可设定评价排序前16 的模板保持不变，对于排序靠后的16 个模板用新的模板进行替换。这样做的好处是既能保证后续模板匹配的精度保持在一个较高的水平，又可进一步对模板库进行优化。

4 基于HALCON的形状匹配

Python 是一种高效灵活的计算机编程语言，能够方便调用许多功能丰富的函数库，如本文所用的Opencv 和Numpy 等。HALCON 是德国mvtec公司一款工业界著名的图像处理软件，其内置阈值分割、形态学处理、轮廓提取等算子，且具有Python 接口，能够高效高精度地完成各项图像处理任务。本文基于Python-HALCON 联合编程来实现基于改进形状匹配的扣件缺陷检测方法的整个流程，其中形状匹配通过调用HALCON 内置的各类算子来实现。

4.1 形状匹配流程

HALCON 提供的形状匹配算法主要分为3 步：即建立模板、寻找匹配形状和在目标图片中显示匹配轮廓。以上3 步由HALCON 内置算子实现，具体实现流程如图5所示。形状匹配的不同步骤分别用序号①，②和③表示，序号后为该步骤调用的算子。

图5 HALCON形状匹配流程Fig.5 HALCON shape matching flowchart

基于HALCON 的形状匹配第1 步是通过算子gen_rectangle1 确定模板的大小和区域，然后利用算子reduce_domain 提取扣件模板中的ROⅠ区域，最后用算子create_shape_model 得到形状匹配模板；第2 步是用算子find_shape_model 来找到扣件图片中与模板对应的形状；第3步是利用图示相关算子将扣件中找到的形状转化为模板中提取的轮廓，并将其在扣件图片上进行展示。

4.2 匹配效果展示

形状匹配中2个关键算子是create_shape_model和find_shape_model，其参数的设定决定着匹配速度的快慢以及形状匹配能否成功。如图像金字塔层级的设定、形状匹配的起始和终止角度以及步长的设定、贪婪度的设定等等。根据设定的算子参数得到的形状匹配模板及其匹配轮廓如图6 所示。其中图6(b)中扣件轮廓越深，表示不同模板轮廓与该扣件轮廓匹配成功的次数越多，匹配结果可信度越高。

图6 形状匹配模板及其匹配轮廓展示Fig.6 Shape matching template and its matching outline display

5 试验结果

5.1 试验数据集

本文所采用的轨道扣件数据集来自2016年衡阳东-郴州西的一段高铁线，线路类型为CRTSⅢ型板式无砟轨道。轨检车所拍摄的轨道扣件图片数量巨大，为便于统计和计算实验结果，本文选取其中168 张图片用于实验测试，每张图片20 个扣件，总共3 360 个扣件(正样本)。这3 360 个扣件皆是状况良好的扣件，扣件皆为WJ-8 型，该样本可用于验证该改进方法的匹配召回率和匹配精度。为验证匹配阈值大小对受损扣件的过滤(即无法匹配成功)程度，本文参照其他线路扣件损坏的形态。利用Photoshop软件对良好扣件进行修改(由于修改使得图像轮廓变化，类比缺陷扣件)，制造出300个弹条断裂扣件共100 张图片(负样本，如图7所示)。

图7 缺陷扣件展示Fig.7 Defective fastener display

5.2 结果分析

5.2.1 不同阈值对负样本的过滤作用

本试验目的是选择合适阈值并验证阈值对负样本的过滤作用。利用完整扣件模板与含缺陷扣件的图片进行形状匹配，阈值从0.8 不断下调直至出现缺陷扣件匹配率不为0，此阈值即认为是能够过滤含有较明显缺陷扣件的临界点，如表1 所示。只要阈值高于0.7，即可认为形状匹配不会出现误匹配的情况。

表1 不同阈值下形状匹配对负样本的匹配情况Table 1 Matching of negative samples under different thresholds

5.2.2 不同条件下该改进方法的匹配性能

本试验是基于改进形状匹配的扣件缺陷检测方法的一次综合性能展示，实验展示了在阈值分别为0.75 和0.8 时，不同模板库大小下该方法的匹配速度和召回率，分别如图8(a)和图8(b)所示。图片共有168 张，合计3 360 个扣件。当阈值为0.75，模板数量为32 时，匹配召回率较高，达到了98.15%，且平均每张图片匹配时间0.18 s，基本能够达到瞬时匹配的速度；而再继续增加模板数量对召回率的提升较小，花费时间增加较多，因此模板数量为32 是一个比较合适的选择。当阈值为0.8时，匹配召回率相比阈值为0.7时下降较多，且随着模板数量增大，匹配时间显著增加。综上分析，阈值为0.75，模板数量为32 时该扣件缺陷检测方法具有优良的匹配召回率和匹配速度。

图8 该改进方法在不同条件下匹配性能表现Fig.8 Ⅰmproved method matches performance under different conditions

6 结论

1) 提出一种基于改进形状匹配的扣件缺陷检测方法，该方法的一大优势是无需预先对扣件进行定位，在匹配阈值为0.75，模板库扣件数量为32 的条件下该改进方法对单张图片匹配时间仅为0.18 s，检测召回率达到了98.15%，具有较高的实用性、适用性和可行性，能够较好满足工务段日常维检的需要。

2) 创新性地提出了智能裁剪算法用以对扣件原图片进行上下边缘裁剪，以确保输入的扣件图片中的扣件数量固定，进而能确定输入的总扣件数量。实践证明，该算法可行性强，裁剪准确率高，且不会导致有效扣件数量的缺失。

3) 提出了模板库自动化更新算法，可自动根据输入的扣件图片创建扣件模板库，并具有模板库优化更新的功能，使得模板库具有流动性，并能够在高召回率的前提下进一步提高模板库的多样性和代表性。

4)进一步丰富了轨检车拍摄的CRTSⅢ型板式无砟轨道扣件图片数据，考虑该改进方法对不同路段、不同光照和不同天气等条件下的扣件缺陷检测鲁棒性，并致力于推动该改进方法在轨检车实际巡检场景中的快速、高效部署和应用。