钢轨表面缺陷检测系统中图像增强预处理方法研究

岳彪，闵永智，马宏锋，肖本郁



钢轨表面缺陷检测系统中图像增强预处理方法研究

岳彪1, 2，闵永智1, 3，马宏锋4，肖本郁1

(1. 兰州交通大学 自动化与电气工程学院，甘肃 兰州 730070； 2. 兰州交通大学 计算机科学与技术国家级实验教学示范中心，甘肃 兰州 730070； 3. 甘肃省人工智能与图形图像处理工程研究中心，甘肃 兰州 730070； 4. 兰州工业学院 电子信息工程学院，甘肃 兰州 730050)

针对光照条件及轨道环境的变化会造成采集的钢轨图像严重降质，对后续缺陷检测十分不利的情况，提出一种基于Retinex的钢轨表面缺陷图像增强方法。通过分析钢轨表面特征的形成机理和成像特性，设计钢轨图像采集装置。研究单尺度及多尺度Retinex方法并对其用于钢轨图像增强时存在的问题进行分析。在此基础上，引入反射分量z-score 标准化环节改进传统的Retinex图像处理框架。通过理论推导和不同条件下的实验验证了改进方法的有效性。研究结果表明：该方法对光照变化具有较强的鲁棒性，能在提高缺陷与背景对比度的同时有效克服阴影的干扰。对不同轨道环境下的钢轨图像增强后，信息熵、对比度和清晰度指标均优于传统方法，为进一步准确提取缺陷特征奠定了基础。

钢轨图像增强；Retinex；反射分量；z-score 标准化

钢轨是铁路线路的重要部件，直接影响着铁路运输安全。随着列车高速、重载、高密度的运行，由轮轨滚动接触疲劳引起的钢轨表面缺陷越来越常见。列车在有缺陷的钢轨上行驶，会使车轮磨损加剧，甚至会导致断轨和车轮脱轨，极大威胁列车及人员安全[1]。因此，及时有效地检测出钢轨表面缺陷并向铁路部门提供维护数据对于保障铁路运输安全具有重要意义[2-3]。机器视觉技术以其速度快、精度高、非接触式等优势，为钢轨表面缺陷的无损检测提供了新的发展方向[4-5]。然而，在钢轨图像采集过程中，光照条件及轨道环境的变化会造成图像严重降质，具体表现为：1) 在隧道内或光照不佳的条件下，采集的图像灰度值整体偏低，缺陷特征难以辨别；2) 轨面呈弧形，受自然光的影响，其表面的不均匀反射会使图像中出现阴影及高光区域。这会大大增加后续缺陷识别的难度。因此，需要对钢轨图像进行有效地增强，以减弱自然环境的干扰。目前，常用的图像增强方法主要有直方图均衡化、gamma变换、线性拉伸等。直方图均衡化 (Histogram Equalization, HE)利用图像的直方图信息拉伸灰度级的动态范围，以提高整幅图像的对比度[6]。由于该方法进行全局处理，会导致没有针对性、局部细节丢失等问题[7]。gamma变换、线性拉伸等方法也只针对特定对象[8]，对钢轨图像难以保证适用性。Retinex理论是一种基于空域的图像增强方法，该理论通过模拟人类大脑视觉皮层的成像原理，建立了包含照射分量和反射分量的简化图像形成模型，为光照变化条件下的图像增强技术提供了一种新的思路[9-12]。在该理论的发展过程中，相继出现了单尺度Retinex(Single scale Retinex, SSR)、多尺度Retinex(Multi-scale Retinex, MSR)等一系列增强方法[13−14]。然而，这些方法都是以图像中的空间照度是缓慢变化的为假设前提，这与铁路现场采集的钢轨图像特征不相符。此外，Retinex理论对图像中照射分量的提取还没有统一的理论模型，现有的各种Retinex算法都只是在实验中验证了其有效性[15]。如果照射分量的提取过程存在误差，会对后续处理过程产生干扰。因此，将Retinex方法直接用于钢轨图像难以获得理想的增强效果。为此，本文在分析钢轨图像特征的基础上，提出一种基于Retinex的钢轨图像增强方法。根据钢轨图像具有沿列车运行方向空间照度变化稳定、垂直于列车运行方向空间照度变化较大的特点，通过对传统Retinex方法提取的反射分量在沿列车运行方向的线形窗口内进行z-score 标准化，以消除提取结果中残留的照射分量，使图像中只包含反映图像内在属性的反射分量，从而弥补传统Retinex 方法中照射分量估计不准确的缺陷，并克服光照条件及轨道环境变化带来的干扰。

1 钢轨图像特征分析

不同于自然图像，钢轨图像中的目标固定且其特征具有普遍性，因此有必要从形成机理方面分析钢轨图像特征。车轮与钢轨接触时，钢轨表面所受接触应力示意图如图1。轨头踏面主要受轮载垂直力的作用，轨距角表面除了受轮载垂直力，还受轮载侧向力。在上述力的作用下，轨距角表面a处会产生接触法向力和接触切向力。当轮载作用力增大时，接触应力相应增大，当其超过钢轨接触疲劳强度时，在接触面上就会产生接触疲劳缺陷，如图2中区域S所示。在正常情况下轮轨接触良好，沿列车运行方向轨头踏面和轨距角表面磨损程度相同，因此这2部分区域较光滑。由于图像采集系统中的相机垂直于轨面拍摄，而轨面呈弧形，受自然光的影响，其表面会产生不均匀反射，从而造成采集的钢轨图像在部分区域灰度值偏低，形成阴影区域，如图2中轨面的下半部分区域；在反射较强的区域灰度值偏高，形成高光区域，如图2中轨面的上半部分区域。

图1 钢轨表面接触应力示意图

图2 采集系统获取的钢轨图像

对图2中的钢轨区域分别进行横向(沿列车运行方向)和纵向(垂直于列车运行方向)等分，并增加一条穿过缺陷的纵线B5作为对比。横向等分线A1，A2，A3和A4上的像素灰度分布如图3(a)所示，纵线B1，B2，B3，B4及B5上的像素灰度分布如图3(b)。从图中可以看出钢轨图像具有以下特征：

1) 在图3(a)中，位于高光区域的横线A1，A2和位于阴影区域的A3，A4灰度级差别较大，但由于沿列车运行方向钢轨表面的反射特性基本不变，因此每条横线上的灰度变化较稳定；

2) 图3(b)中，在垂直于列车运行方向钢轨表面的反射特性变化较大，纵线B1，B2，B3和 B4的灰度分布接近但每条纵线上的灰度变化较大，阴影区域的灰度会接近甚至低于缺陷区域。

钢轨图像所具有的上述特征使得现有缺陷检测算法的性能受到了一定限制。因此，在分割和缺陷特征提取之前，对钢轨图像进行增强十分必要。

(a) 横向等分线上的像素灰度分布； (b) 纵向等分线上的像素灰度分布

2 基于Retinex理论的钢轨图像增强算法

2.1 Retinex理论的基本思想

Retinex理论是由Land等[16]提出的一种色彩恒常性感知计算理论和方法。该理论认为，一幅图像(,)可看作是由照射分量和反射分量组成，且可以表示为二者的乘积，其表达式为：

其中：(,)表示照射分量，决定了图像中的像素所能达到的动态范围；(,)表示反射分量，决定了图像中与光照无关的本质特征。将该理论用于图像增强的机理是：通过一种数学方法计算图像中的照射分量并将其去除，从而使图像中只包含反映图像内在性质的反射分量，以达到图像增强的目的。然而，照射分量的计算在数学上是一个奇异问题，没有统一的数学模型，只能通过近似估计[17-18]。

目前，研究人员采用较多的是基于中心环绕的SSR和MSR算法[19]。这类算法以图像中的空间照度是缓慢变化的为假设前提，利用低通滤波器获取照射分量的估计值，取得了较好的效果。其中，SSR利用一个尺寸固定的高斯函数与输入图像卷积估计照射分量。通常，为了更好地模拟人眼对亮度的感知能力并将乘法运算转化为加减运算，将式1的图像模型放入对数域处理，即SSR的数学模型为：

仅利用SSR方法对图像进行增强不能实现细节保持和动态范围压缩之间的平衡，而通过将多个不同尺度的SSR线性加权所形成的MSR能改善这一问题[20]，MSR的数学模型为：

图4 改进的Retinex图像处理框架

2.2 反射分量z-score 标准化

设用MSR方法从钢轨图像中提取的反射图像为(,)，其中任一像素点(,)位于长度为宽度为的窗口中。为了消除反射分量提取过程中混入的照射分量，对MSR方法提取的反射分量进行z-score 标准化，其转换过程为：

1) 标准化后的反射分量与照射分量无关

因此，采用z-score 标准化后，所获取的反射分量与照射分量无关，可以消除MSR反射分量提取结果中残留的照射分量。

2) 标准化后的反射分量在局部窗口中具有零均值和单位标准差特性

3 实验分析

本文设计的钢轨图像采集装置如图5所示，主要包括图像采集系统、图像处理系统、显示器和电源等部分。图像采集系统如图6所示，主要由工业相机、镜头、辅助光源组成。其中，工业相机采用分辨率为640*480Pixel的GE680 高速面阵CCD相机，最大帧率205 fps，并安装8 mm定焦镜头。图像处理系统采用美国NI公司生产的IC3173型工业计算机，参数配置为Intel Core i7-620M，CPU 2.20 GHz，4 G内存。

图5 钢轨图像采集装置图

图6 图像采集系统内部图

实验采集了不同轨道环境下的200幅钢轨图像进行测试，其中100幅为隧道内的钢轨图像，100幅为普通区间内的钢轨图像。为了定量评价本文方法的增强效果，采用信息熵、对比度和清晰度[13, 17]3个指标。其中，信息熵用于衡量图像的信息量，其值越大表示图像中包含的细节信息越丰富。

1) 信息熵

其中：表示灰度的量化级，总数为255级；p为像素值为的像素数与总像素数之比。

2) 对比度

其中：和分别为图像的行数和列数，(,)为图像中(,)点的灰度值，为图像的灰度均值。

3) 清晰度

3.1 不同实验条件对增强效果的影响

为了验证增强方法在不同实验条件下的有效性，本文针对光照变化和阴影的影响分别进行实验。实验中MSR的参数1，2和3分别取5，40和240。实验结果如图7所示。

3.1.1 光照变化的影响

图7中，7(a)和7(b)分别为同一钢轨区域在不同光照条件下的图像。对比图7(a)和7(b)可以看出，随着光照强度的增大，图7(b)中的像素灰度的动态范围整体增大，但反映图像内在性质的高频细节部分和图7(a)基本一致。由2.2节反射分量的特性1可知，对MSR方法提取的反射分量进行z-score 标准化后，可以去除反射分量中残留的照射分量，只保留反映图像本质属性的反射分量。因此，增强效果基本不受光照变化的影响。图7(a)和7(b)的增强效果分别如图7(e)和7(f)所示。

3.1.2 阴影的影响

图7中，7(c)和7(d)均为包含阴影的钢轨缺陷图像。在图7中存在局部灰度值偏低的阴影区域，由于沿列车运行方向，在线形窗口中钢轨表面的反射特性基本不变。由2.2节z-score 标准化后反射分量的特性2，在局部窗口中反射分量具有零均值和单位标准差的特性，这使得由不均匀反射(垂直于列车运行方向反射特性变化较大)造成灰度值存在显著差异的阴影区域和高光区域，在经过标准化后2部分区域灰度值趋于相似。图7(c)和7(d)的增强效果分别如图7(g)和7(h)所示。

(a) 光照条件1；(b) 光照条件2；(c) 含阴影图像；(d) 含阴影图像；(e) 图(a)的增强结果； (f) 图(b)的增强结果；(g) 图(c)的增强结果；(h) 图(d)的增强结果

3.2 与其他方法比较

将本文方法分别与HE方法、MSR方法[19]的增强效果进行对比，部分实验结果如图8所示。图8(a)为不同轨道环境下采集的钢轨图像。其中，图8(a1)和8(a2)为隧道钢轨图像，2幅图像的灰度整体偏低且都包含疤痕缺陷。图8(a3)和8(a4)为普通区间钢轨图像，2幅图像都包含疤痕缺陷和反射不均产生的阴影。

(a1) 隧道钢轨图像；(a2) 隧道钢轨图像；(a3) 普通区间钢轨图像；(a4) 普通区间钢轨图像； (b1) 图(a1)的增强结果；(b2) 图(a2)的增强结果；(b3) 图(a3)的增强结果；(b4) 图(a4)的增强结果； (c1) 图(a1)的增强结果；(c2) 图(a2)的增强结果；(c3) 图(a3)的增强结果；(c4) 图(a4)的增强结果； (d1) 图(a1)的增强结果；(d2) 图(a2)的增强结果；(d3) 图(a3)的增强结果；(d4) 图(a4)的增强结果 (a) 不同轨道环境下采集的钢轨图像；(b) HE方法增强结果；(c) MSR方法增强结果；(d) 本文方法增强结果

HE方法对图8(a)中各钢轨图像的增强结果如图8(b)所示。该方法将原始图像的直方图变换为均匀分布的形式，以达到增强对比度的效果。对图8(a)中各钢轨图像不同程度地出现了过增强现象，这主要是由于图8(a1)和8(a2)的直方图峰值较高，而图8(a3)和8(a4)中存在光照突变过于强烈的特征。

MSR方法对图8(a)中各钢轨图像的增强结果如图8(c)所示。从图8可以看出，采用MSR方法对图8(a1)和8(a2)增强后缺陷区域的对比度显著提高。而对于图8(a3)所示的含高光区域的钢轨图像，虽然较好的保留了图像的细节部分，但在高光区域边界处出现伪影(如图8(c3)中椭圆内的区域)，且难以去除图8(a4)中局部灰度偏低的阴影区域。这主要是因为MSR方法假设图像中各个方向的空间照度是缓慢变化的，隧道内采集钢轨图像由于灰度整体偏低且变化范围较小，与假设前提较吻合。而图8(a3)中的高光区域和图8(a4)中的阴影区域，在垂直于列车运行方向空间照度产生了突变，因此，增强效果不理想。

本文方法增强结果如图8(d)所示。从图8可以看出，本文方法对图8(a1)和8(a2)的增强效果更加清晰，图8(d2)中的细节展示方面优于MSR方法。主要由于本文方法在MSR方法的处理框架中加入反射分量z-score 标准化环节，该过程去除了反射分量中混入的照射分量，得到了更加准确的反射分量。对图8(a3)和8(a4)增强后缺陷与背景的对比度显著提高，有效去除了图像中的阴影区域且不会出现伪影。这主要是由于z-score 标准化后的反射分量在沿列车运行方向的线形窗口内具有零均值和单位标准差的特性，使得图中的阴影区域、高光区域和正常轨面区域具有均一的背景，因此可以去除阴影区域，使整幅图像的亮度均匀。

采用3种方法对不同轨道环境下采集所有测试图像增强后，信息熵、对比度和清晰度的平均值如表1所示。从表1可以看出，本文方法增强结果的3个指标均高于HE方法和MSR方法，说明本文方法可以有效提高钢轨图像的对比度和清晰度，同时较好地保持图像细节信息。但由于增加了z-score 标准化环节，本文方法的运算时间略高于MSR 方法。

表1 所有测试图像的平均指标

4 结论

1) 在传统的MSR处理框架中加入反射分量z-score 标准化环节，去除了反射分量提取结果中残留的照射分量，从而弥补传统Retinex 模型中照射分量估计不准确的缺陷，提高了缺陷与背景对 比度。

2) z-score 标准化后的反射分量在沿列车运行方向的线形窗口内具有零均值和单位标准差的特性，使得图中的阴影区域、高光区域和正常轨面区域具有均一的背景，可使整幅图像的亮度均匀。

3) 该方法对光照变化具有较强的适应性，能够适应轨检现场复杂的光照条件。

[1] 王军. 基于视觉注意力和 PLSA 模型的钢轨表面缺陷检测[J]. 铁道科学与工程学报, 2015, 12(3): 509−514. WANG Jun. Rail surface defect detection based on visual attention and PLSA model[J]. Journal of Railway Science and Engineering, 2015, 12(3): 509−514.

[2] Molodova M, LI Z, Nunez A, et al. Automatic detection of squats in railway infrastructure[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(5): 1980−1990.

[3] Gibert X, Patel V M, Chellappa R. Deep multitask learning for railway track inspection[J]. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(1): 153−164.

[4] LI Q, REN S. A real-time visual inspection system for discrete surface defects of rail heads[J]. IEEE Transactions on Instrumentation and Measurement, 2012, 61(8): 2189−2199.

[5] Resendiz E, Hart J M, Ahuja N. Automated visual inspection of railroad tracks[J]. IEEE Transactions on Intelligent Transportation Systems, 2013, 14(2): 751− 760.

[6] 杨万挺, 汪荣贵, 方帅, 等. 滤波器可变的Retinex雾天图像增强算法[J]. 计算机辅助设计与图形学学报, 2010, 22(6): 965−971. YANG Wanting, WANG Ronggui, FANG Shuai, et al. Variable filter Retinex algorithm for foggy image enhancement[J]. Journal of Computer-Aided Design & Computer Graphics, 2010, 22(6): 965−971.

[7] 李东航. 基于不均匀光照图像增强算法研究[D]. 哈尔滨: 哈尔滨工业大学, 2011. LI Donghang. Image enhancement algorithms based on non-uniform lighting conditions[D]. Harbin: Harbin Institute of Technology, 2011.

[8] 李锦, 王俊平, 万国挺, 等. 一种结合直方图均衡化和MSRCR的图像增强新算法[J]. 西安电子科技大学学报, 2014, 41(3): 103−109. LI Jin, WANG Junping, WAN Guoting, et al. Novel algorithm for image enhancement with histogram equalization and MSRCR[J]. Journal of Xidian University, 2014, 41(3): 103−109.

[9] 肖进胜, 单姗姗, 段鹏飞, 等. 基于不同色彩空间融合的快速图像增强算法[J]. 自动化学报, 2014, 40(4): 697−705. XIAO Jinsheng, SHAN Shanshan, DUAN Pengfei, et al. A fast image enhancement algorithm based on fusion of different color spaces[J]. Acta Automatica Sinica, 2014, 40(4): 697−705.

[10] Park S, Yu S, Moon B, et al. Low-light image enhancement using variational optimization-based Retinex model[J]. IEEE Transactions on Consumer Electronics, 2017, 63(2): 178−184.

[11] Choi D H, Jang I H, Mi H K, et al. Color image enhancement using single-scale Retinex based on an improved image formation model[C]// Signal Processing Conference. Piscataway, NJ: IEEE, 2015: 1−5.

[12] 余金栋, 张宪民, 陈忠. 尺度优化的Retinex增强算法与微视觉图像增强[J]. 华南理工大学学报(自然科学版), 2013, 41(2): 7−11. YU Jindong, ZHANG Xianmin, CHEN Zhong. Retinex enhancement algorithm with scale optimization and micro vision image enhancement[J]. Journal of South China University of Technology (Natural Science Edition), 2013, 41(2): 7−11.

[13] 李骜, 李一兵, 刘丹丹, 等. 基于非下采样轮廓波的多曝光工件图像Retinex增强方法[J]. 吉林大学学报, 2012, 42(6): 1592−1596. LI Ao, LI Yibing, LIU Dandan, et al. Retinex enhancement method of multi-exposure workpiece images based on NSCT[J]. Journal of Jilin University, 2012, 42(6): 1592−1596.

[14] Jang J H, Bae Y, Ra J B. Contrast-enhanced fusion of multisensor images using subband-decomposed multiscale Retinex[J]. IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society, 2012, 21(8): 3479−90.

[15] 蒋永馨, 王孝通, 徐晓刚, 等. 一种基于光照补偿的图像增强算法[J]. 电子学报, 2009, 37(增1): 151−155. JIANG Yongxin, WANG Xiaotong, XU Xiaogang, et al. A method for image enhancement based on light compensation[J]. Acta Electronica Sinica, 2009, 37(Suppl 1): 151−155.

[16] 吴壮志, 齐立娜, 骆沛. 基于分片光滑照度估计的Retinex图像处理框架[J]. 国防科技大学学报, 2011, 33(3): 83−88. WU Zhuangzhi, QI Lina, LUO Pei. A Retinex image processing framework based on estimation of piecewise smooth illumination[J]. Journal of National University of Defense Technology, 2011, 33(3): 83−88.

[17] 毕国玲, 续志军, 赵建, 等. 基于照射_反射模型和有界运算的多谱段图像增强[J]. 物理学报, 2015, 64(10): 74−82. BI Guoling, XU Zhijun, ZHAO Jian, et al. Multispectral image enhancement based on irradiation-reflection model and bounded operation[J]. Acta Physica Sinica, 2015, 64(10): 74−82.

[18] 马时平, 张明, 毕笃彦, 等. 一种细节保持的Retinex图像增强算法[J]. 西安电子科技大学学报(自然科学版), 2010, 37(3): 541−546. MA Shiping, ZHANG Ming, BI Duyan, et al. Novel detail preserving Retinex algorithm for image enhancement[J]. Journal of Xidian University (Natural Science), 2010, 37(3): 541−546.

[19] Gunawan A A S, Setiadi H. Handling illumination variation in face recognition using multiscale Retinex[C]// International Conference on Advanced Computer Science and Information Systems. Piscataway, NJ: IEEE, 2017:470-475.

[20] WU H, YANG G, XU Z, et al. Remote sensing image enhancement method based on multi-scale Retinex[C]// International Conference of Information Technology, Computer Engineering and Management Sciences. Piscataway, NJ: IEEE, 2011: 15−18.

(编辑 蒋学东)

Research on image enhancement preprocessing method in rail surface defects detection system

YUE Biao1, 2, MIN Yongzhi1, 3, MA Hongfeng4, XIAO Benyu1

(1. School of Automation and Electrical Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China; 2. Introduction of Computer Science and Technology Experimental Teaching Demonstration Center of National, Lanzhou 730070, China; 3. Gansu Provincial Engineering Research Center for Artificial Intelligence and Graphics & Image Processing, Lanzhou 730070, China; 4. School of Electronic Information Engineering, Lanzhou Institute of Technology, Lanzhou 730050, China)

The change of illumination condition and track environment can result in serious degradation of the acquired rail images, which is very detrimental to subsequent defects detection. Therefore, an enhancement method for rail surface defects image was proposed based on Retinex. Firstly, the rail image acquisition device was designed by analyzing the formation mechanism and imaging characteristics of rail surface characteristics. Secondly, the single-scale and multi-scale Retinex methods were studied and the problems existed when it was used in rail image enhancement were analyzed, and the z-score standardization link of reflection component was introduced to improve traditional Retinex image processing framework on this basis. Finally, the validity of the improved method was verified by theoretical derivation and experiments under different conditions. The results show that this method is robust to illumination changes, and can improve the contrast between the defects and background while overcoming the interference of shadow effectively. After enhancing the rail image in different track environments, the information entropy, contrast and clarity index are better than traditional method, which lays the foundation for further accurate extraction of defect characteristics.

rail image enhancement; Retinex; reflected component; z-score standardization

10.19713/j.cnki.43−1423/u.2018.12.030

TP391.4

A

1672 − 7029(2018)12 − 3248 − 09

2017−11−06

国家自然科学基金资助项目(61663022, 61461023)；长江学者和创新团队发展计划资助项目(IRT_16R36)；甘肃省自然科学基金资助项目(18JR3RA105)；兰州交通大学优秀科研团队资助项目(201701)

闵永智(1975−)，男，陕西城固人，教授，博士，从事智能测试及机器视觉方面的研究；E−mail：minyongzhi@mail.lzjtu.cn