基于图像处理的多视觉特征融合方法及其应用

刘建华，欧阳萍，刘戈灵，钟泽辉，曾凡齐，袁子钧

（1.湖南工业大学 交通工程学院，湖南 株洲 412007；2.中国铁路广州局集团有限公司 株洲车辆段 株洲轮轴车间，湖南 株洲 412007；3.常德金鹏印务有限公司，湖南 常德 415000）

1 研究背景

轨道交通车辆牵引/制动性能的有效发挥依赖于轮对和轨道相互接触时的黏着利用情况[1-2]，而轮轨接触行为的复杂性和强非线性耦合作用，导致轮轨黏着特性呈现复杂多变的瞬态现象。其影响因素众多，尤其是轨面状态变化是改变轮轨黏着的重要因素[3-4]。不同轨面状态下的轮轨黏着特性差异较大，如积雪轨面的黏着系数远小于干燥轨面。因我国轨道交通车辆运行区域繁杂，运行过程中的轨面状态突变时有发生，实现轨面状态的有效辨识可为提高轮轨黏着利用率，提升车辆运行效率提供支撑。

国内外学者在轨面识别方面做了一定的研究工作，尤其是在轨道表面缺陷检测识别方面取得了一定的成果。闵永智等[5]设计了一个轨面图像采集装置，用于提取轨道表面缺陷图像Harr-like 特征和低层视觉特征，利用C4.5 和AdaBoost 算法对轨面缺陷进行分类识别。Zhang H.等[6]结合轨面图像，提出了一个基于马尔可夫随机场的鲁棒高斯混合模型，以对轨道表面缺陷进行快速分割。Xiong Z.M.等[7]利用激光测量轮廓并与标准轨道模型轮廓对比，实现了轨道表面缺陷的视觉检测。然而，现有的轨面状态辨识方法大多是基于车辆运行时的黏着系数、蠕滑速度等实时数据，构造轨面状态的数据驱动模式实现的，如任强等[8]、黄景春等[9]通过测量轮轨的黏着系数，并且通过估算轮轨的蠕滑速度，构造了基于模糊规则的轨面状态辨识模型；Zhang C.F.等[10]基于实时黏着状态，提出了一种基于BP-Adaboost 算法的轨面状态辨识方法。这其实是一种事后状态检测方法，而对因轨面状态突变引起的空转、滑行等问题，难以实施有效的预测控制。实际上，水、油、冰、雪等轨面上的“第三介质”不同时，轨面所呈现的视觉信息也会有较大差异，如干燥轨面粗糙度较大、冰雪覆盖轨面则呈现高反射白色。通过提取不同轨面状态的视觉信息特征，研究多视觉信息特征融合的轨面状态辨识方法，对获取轮轨黏着状态、实施高性能黏着控制具有重要意义。

为此，本研究拟基于先进视觉处理和模式识别技术，通过分析影响轮轨黏着的颜色、纹理等轨面状态的视觉信息特征，建立一个基于支持向量机（support vector machines，SVM）的轨面状态辨识模型，最后通过实验仿真验证了课题组所提出方法的有效性和可行性。

2 轨面状态的视觉辨识框架

依据实际轨面工况，将轨面状态分为干燥、潮湿、油污和积雪4 类状态，利用视觉采集装置获取轨面状态的视觉信息，通过分析不同轨面下的颜色、纹理等视觉信息的差异，提取最能反映轨面状态的视觉信息特征，进而建立轨面状态辨识模型，形成如图1所示的轨面状态辨识框架。

图1 轨面状态的视觉辨识框架Fig.1 Visual identification framework of track state

如图1所示，基于轨面视觉信息采集设备获取的轨面图像，通过图像分割、图像灰度化、图像去噪等图像预处理模块，减少因光源、摄像机电流噪声等环境因素造成的图像污染；通过提取并分析图像的颜色和纹理特征，选取反映轨面状态的图像信息；进而利用SVM 建立轨面状态图像特征与轨面状态之间的关联模型，以获取轨面状态。

3 图像预处理

从现场采集的轨面图像容易受到环境或人为因素噪声干扰。为了保证轨面图像质量，必须对图像进行预处理。

图像预处理的具体步骤如下：首先，将每张轨面图像裁剪成只包含铁轨接触面的子图像，子图像的大小尺寸为750×4 027。然后，对子图像进行灰度化处理，以提高运行速度。接下来利用二维中值函数对灰度子图像消除噪声，以提高图像质量。由于篇幅有限，具体的灰度化处理、中值滤波等方法详见文献[11-12]，本文不再赘述。经过图像预处理后的4 种轨面状态如图2所示。

图2 4 种轨面状态的图像预处理Fig.2 Image preprocessing

由图2可以看出，经过预处理后的轨面图像均具有较高的对比度和清晰度，便于后续特征提取与分类判别工作。

4 轨面状态视觉特征提取

4.1 颜色特征提取

由4 种轨面状态的颜色特征可以发现，积雪轨面图像最为明亮，干燥轨面图像相对于潮湿轨面图像、油污轨面图像较为明亮，油污轨面图像最为灰暗。为此，选取预处理后轨面图像的灰度均值来描述图像的明暗程度。

对于M×N轨面图像，图像点(x,y)的灰度值为f(x,y)，则灰度均值计算公式为

潮湿轨面图像、油污轨面图像比干燥轨面图像颜色鲜艳，图像反差较大；积雪轨面图像颜色单一，图像反差最小。为此，选取预处理后轨面图像的灰度方差反映图像的反差大小。灰度方差计算公式见式（2）。

选取干燥、潮湿、油污、积雪轨面图像各50 张，根据式（1）（2）分别计算4 种轨面的灰度均值和灰度方差，计算结果如图3所示。

图3a是4 种轨面的灰度均值散点图，可以发现4 种轨面灰度均值存在差异，并有分层现象。积雪轨面图像的亮度最大，则其灰度均值最大。其后依次是干燥轨面、潮湿轨面、油污轨面。图3b是4种轨面的灰度方差散点图，由图同样也发现4 种轨面有分层现象。且潮湿轨面的方差最大，对比度较高。其次是油污轨面、干燥轨面。积雪轨面由于轨面被雪覆盖成白皑皑的一片，对比度较小，则方差最小。

图3 4 种轨面的颜色特征提取散点图Fig.3 Color feature extraction scatter diagram of four track surfaces

4.2 纹理特征提取

分析不同状态轨面纹理，发现积雪轨面纹理分布均匀，纹路较为模糊；潮湿轨面受水的影响比干燥轨面纹理清晰，油污轨面纹路较为清晰。为此，选取灰度共生矩阵[13-14]的对比度（Ccon）描述轨面图像纹理清晰程度。

设轨面图像灰度共生矩阵是N×N矩阵，灰度i与灰度j相距为Δδ=(Δx,Δy)的概率为p(i,j)，则Ccon的计算公式为

轨面被不同介质覆盖，轨面图像灰度分布不同。积雪轨面图像灰度分布均匀，油污轨面图像灰度分布较均匀，潮湿轨面图像灰度分布离散。为此，选取灰度共生矩阵的角二阶矩（Casm）描述轨面图像灰度均匀程度，其计算公式见式（4）。

选取干燥、潮湿、油污、积雪轨面图像各50张，根据式（3）和（4）分别计算4 种轨面的Ccon、Casm，计算结果如图4所示。

图4 4 种轨面的纹理特征提取散点图Fig.4 Texture feature extraction scatter diagram of four track surfaces

图4a是4 种轨面的Ccon散点图，可以看到潮湿轨面的Ccon最大，图像纹理最为清晰；其次是干燥轨面、油污轨面，积雪轨面的Ccon最小，图像纹理模糊。图4b是4 种轨面的Casm散点图，可以明显看到4 种轨面状态有分层现象，积雪轨面因其灰度分布均匀，Casm最大，图像其次是油污轨面、干燥轨面，而潮湿轨面Casm最小，图像灰度分布最离散。

5 多特征融合SVM 的轨面状态辨识

轨面状态会随着轨道车辆运行环境的变化而变化，则轨面图像分类属于非线性的模式识别问题，而SVM 旨在解决非线性等问题，应用于特征分类、模式识别等问题[15-16]。为此，选用SVM 作轨面状态分类器。

针对采集的轨面数据有4 类，即k∈{1,2,3,4}，选取了“1V1”方法构建多分类SVM 模型[17]。设颜色特征向量为A1，纹理特征向量为A2，则融合特征向量为

输入融合特征A，m个分类函数为

式中：表示拉格朗日系数；bJ表示分类阈值；K(A,Ai)表示核函数；yi∈{-1,1}。

当同时满足式（7）和式（8），则A应属于第k类。

为了保证轨面分类识别的有效性，即

式中τ＞0，则A应属于第k类。

6 系统验证与分析

本文仿真实验采用MATLABR2016a 软件，实验环境如下：CPU，Intel Core i3-4005M@ 1.7 GHz；内存，4 GB；Windows10 操作系统。从现场采集了4 种不同状态的轨面图像，经过预处理后，建立图像数据库，其中干燥轨面、潮湿轨面、油污轨面、积雪轨面各50 张，共计200 张轨面图像。

为了验证所提方法的有效性和可行性，利用SVM分类器分别对基于第3节实验提取的颜色特征、纹理特征和融合颜色、纹理特征对轨面数据库进行分类。测试集图片和训练集图片按照轨面数据库总量1:4划分，则测试集样本为40 张，训练集样本为160 张。基于3 种不同特征的不同状况轨面识别正确率对比如表1所示。

表1 不同特征的SVM 识别正确率对比Table 1 Comparison of recognition accuracy of SVM with different features

由表1可以看出，基于融合特征的模型识别正确率比基于单一特征的模型识别正确率高，其正确率可达到95.0%。而基于单一特征模型中，采用基于颜色特征的模型比基于纹理特征模型的要好，其原因是轨面长期受轮轨磨损，纹理信息比较弱。3 种模型的对比试验结果表明，基于多特征融合的SVM 模型性能良好，具有较高的识别精度。基于3 种不同特征的SVM 分类结果如图5所示。

图5 测试集分类结果Fig.5 Test set classification results

图5a是基于颜色特征的不同状况轨面分类结果图，从图中可以看出，干燥、积雪轨面因其颜色特征显著，基本识别正确。而潮湿、油污轨面的误判较多，其原因可能是潮湿、油污轨面的颜色比较相近。图5b是基于纹理特征的不同状况轨面分类结果图，从图中也可以验证轨面纹理信息微弱，干燥轨面、潮湿轨面、油污轨面的误判均较多，而积雪轨面因其纹理特征分布均匀，基本识别正确。图5c是基于融合颜色、纹理特征的不同状况轨面分类结果图，从图中可以观察到干燥轨面、潮湿轨面和积雪轨面基本识别正确，而油污轨面只有2 张图像被误判。因此可得，课题组所提方法可以有效地识别轨面状态。

7 结语

为了能有效地识别轨面状态，本研究根据不同状态轨面的视觉特征差异，选取灰度均值、灰度方差、对比度、角二阶矩作为轨面图像的特征参数，并且通过SVM 对轨面状态图像进行分类仿真。实验结果显示，本研究所提出的方法具有较高的识别精度。然而，轨面状态受环境影响而复杂多变，本研究只提取了干燥、潮湿、油污、积雪轨面，下一步将搭建实验平台，进一步研究复杂的轨面状态，如水油混合轨面等，以增强所提方法的实用范围。