气泡高干扰在线铁谱视频图像的磨粒快速分割算法研究*

李梦琳 范 斌， 刘 勇 张 鹏 杜文亮 毛军红

(1.内蒙古农业大学机电工程学院 内蒙古呼和浩特 010018；2.特种车辆及其传动系统智能制造国家重点实验室 内蒙古包头 014030；3.西安交通大学机械工程学院 陕西西安 710049)

油液监测技术作为一种机械状态监测和故障诊断技术，已经成为现代设备管理和设备维修方式的支撑技术之一[1]。离线铁谱技术利用高梯度磁场的作用，使得磨粒按大小排列后，制成铁谱片，然后通过电子显微镜获取清晰谱片图像，可提取磨粒的浓度、尺寸、形状、颜色等特征信息，为实现磨损故障诊断和定位提供了有效途径[2]。然而，离线铁谱技术由于其取样过程要求严格、代表性油样获取难、取样数量有限、反应速度慢、分析周期长、很大程度依赖于专家经验的定性分析，导致分析结果可能丢失掉捕捉磨损突发变化的机会[3]。在线铁谱分析技术[4-5]弥补了这一缺点，可实时监测被监控对象，且对油液的状态不进行任何改变，所有操作都自动控制，避免了人工检测分析对结果的影响。

然而，为了满足在线应用的需求，在线铁谱传感装置的光学成像结构简单，放大倍率有限，获取的铁谱视频图像分辨率低(640×480)。另外，在润滑油的使用过程中，由于循环流动与空气接触以及受到激烈搅动以及抗泡剂过度消耗时，使得润滑油中已溶解或混入空气在高温作用下释放会产生大量气泡[6-7]。当在线铁谱传感装置在线实际应用时，当润滑油携带的气泡流经采集区域，由于气泡的运动和离焦现象，使得捕获的在线铁谱视频图像具有高干扰、高模糊的特点。

以往在离线分析铁谱应用中，为了提供快速、自动的磨粒分析结果，采用了一些计算机辅助分析方法[8]。诸如自动阈值法[9]、小波变换多阈值分割法[10]与改进分水岭算法[11]可以使磨粒分割的效果更佳；基于两次K-means颜色聚类方法，解决了铁谱图像中亮暗磨粒同时存在的情况下磨粒提取不完全的问题[12]。然而由于在线铁谱获得的谱片分辨率低，加之气泡的干扰，这些离线的计算机辅助分析方法很难移植到在线铁谱视频图像处理当中。因此在线铁谱在油液不停流动情况下获取的磨粒视频图像，因环境噪声干扰严重、清晰度低，图像处理和磨粒分析面临挑战。

本文作者针对在线铁谱视频图像处理和磨粒分析面临的气泡高干扰问题，提出了一种气泡高干扰在线铁谱视频图像的磨粒快速分割算法。首先运用运动物体检测的方法确定气泡位置，并采用相邻帧图像信息对气泡区域进行处理，然后使用双边滤波对其平滑去噪，实现气泡干扰的初步抑制；然后基于抑制图像灰度直方图分布，实现在线铁谱视频图像的磨粒自适应快速分割。该研究为后续磨粒特征分析和智能提取奠定了基础。

1 气泡高干扰在线铁谱视频图像的磨粒快速分割算法设计

采集到的在线铁谱视频图像，具有气泡密集且移动速度快的特点，遮挡磨粒，影响磨粒的信息提取与分割，如图1所示。

图1 高干扰在线铁谱视频图像与清晰铁谱图像Fig 1 High interference online ferrography video images (a)(b) and clear ferrography image(c)

为了达到磨粒准确分割的效果，首先要抑制在线铁谱视频图像中的气泡干扰，再实现磨粒与背景的分割。针对气泡高干扰在线铁谱视频图像的磨粒快速分割算法流程如图2所示。

图2 气泡高干扰在线铁谱视频图像的磨粒快速分割算法流程Fig 2 Flow of fast wears segmentation algorithm for onlineferrography video images in high interference of bubble

该算法步骤为：首先将在线铁谱视频图像转换为铁谱灰度图像进行处理；然后根据前后相邻帧差确定气泡位置，同时比较前后两帧与当前帧气泡位置的像素点灰度值差值，使用差值最小帧的像素值代替气泡位置像素值，再运用双边滤波平滑图像以实现气泡抑制；最后对抑制气泡后的每一帧铁谱图像获取背景最小灰度值g，以0.9g作为阈值分割磨粒获取二值铁谱磨粒图像，最终实现磨粒分割。

1.1 在线铁谱视频图像气泡干扰的抑制

对视频图像进行处理时首先将视频拆分成一帧一帧的灰度图像，再对其进行批量处理。抑制气泡干扰首先要获取气泡所在位置，由于在线铁谱视频中的磨粒被吸附在基板上可以看作是不运动的，而气泡在不停运动且移动速度快，所以为获取气泡位置可以采用运动物体检测的方法。在线铁谱视频图像拍摄时所采用的背景不变化，但由于气泡遮挡关系，对光线的明暗产生细微影响，造成各帧图像之间背景部分灰度值的差异。根据在线铁谱视频图像以上特点，对气泡干扰抑制首先运用帧差法，获取运动气泡的二值图像，再对其进行膨胀操作确定气泡所在位置并代替，最后通过双边滤波获得抑制气泡噪声后的在线铁谱图像。

1.1.1 帧差法获取气泡二值图像

将视频拆分成图像序列，并根据YUV的颜色空间和RGB颜色空间的转换关系将RGB图像转换为灰度图像。原始图像中任意点(i,j)的像素值为fij={Rij,Gij,Bij},对图像按照式(1)进行灰度化处理后得到像素值为f′ij={R′ij,G′ij,B′ij}。按照此序列的第n帧图像记为fn，则第n+1帧图像记为fn+1，两帧对应像素点灰度值分别记为fn(x,y)和fn+1(x,y)。帧差法采用连续的两帧图像进行差分运算，即对不同帧图像中所对应的相同位置的像素点进行相减，得到灰度差值，再对得到的差分图像进行二值化处理。如果对应像素点的变化值超过一定的阈值时，就认定此像素点为运动目标的一部分，以此实现对运动目标的检测[13]。将相邻两帧图像对应像素点灰度值按照公式(2)获取差值图像，再对差值图像进行二值化处理。根据视频效果情况选定阈值T为15。根据公式(3)，得到气泡的二值图像。

R′ij=G′ij=B′ij=0.299Rij+0.587Gij+0.114Bij

(1)

式中:Rij、Gij、Bij分别为R、G、B三通道像素值。

Diffn=|fn+1(x,y)-fn(x,y)|

(2)

式中:Diffn为差值图像；fn(x,y)为第n帧图像(x,y)处灰度值；fn+1(x,y)为第n+1帧图像(x,y)处灰度值。

(3)

式中:Tn为气泡的二值图像；T=15。

1.1.2 相邻帧图像代替气泡位置

通过对多张气泡图像的观察与总结，气泡形状多为圆或椭圆形，按公式(4)对其进行3次膨胀操作，目的是扩大气泡范围、完全地消除气泡对其周围背景及磨粒的影响。再遍历二值图像中所有像素点，获取灰度值为255的所有像素点位置，即二值图像中白色点的位置(i,j)。按照公式(5)取绝对值较小的那一帧的RGB图像作为代替当前帧气泡位置的图像I。对当前帧RGB图像的(i,j)位置的像素点进行代替后得到抑制气泡干扰后的RGB在线铁谱磨粒图像。

S=X⊕B={i,j|Bij∩X≠φ}

(4)

式中:B为长轴为12、短轴为7的椭圆形膨胀核；S为得到的二值差值图像；φ为空集。

(5)

式中：pn为当前帧灰度化后的图像；pn(i,j)为(i,j)位置的灰度值；pn-1为第n-1帧灰度化后的图像；pn+1为第n+1帧灰度化后的图像。

1.1.3 双边滤波平滑去噪

由于不同帧图像背景的明暗差异，在线铁谱视频图像的气泡被相邻帧图像代替后，被代替的部分会与原图像存在差异，需在保留磨粒边缘的条件下对其平滑处理。双边滤波是一种综合考虑空间信息和色彩信息的滤波方式，且能够有效地保护图像的边缘[14]，对细小结构也有较好的平滑效果[15]。

其空域公式描述见公式(6)[16]，值域公式见公式(7)，对两者进行结合即可以得到基于空间距离、相似程度综合考量的双边滤波，可表示为公式(8)。

(6)

式中:kd(x)=∬c(r,x)dr；c为基于空间距离的高斯权重。

(7)

式中:kr(x)=∬s(f(r),f(x))dr；s为基于像素间相似程度的高斯权重。

h(x)=k-1(x)∬f(r)c(r,x),s(f(r),f(x))dr

(8)

1.2 自适应磨粒快速分割算法

通过公式(9)获取抑制气泡后的在线铁谱灰度图像的灰度直方图。由灰度直方图分布以及对图像的观察可知，磨粒的灰度值较小，且像素点个数相对背景部分像素点个数较少，从背景中分割出磨粒，需在磨粒灰度值与背景灰度值之间确定合适的阈值。

(9)

式中:rk为像素的灰度级；nk为具有灰度rk的像素的个数；MN为图像中总的像素个数。

分割前景磨粒与背景时，所选定的阈值需在磨粒灰度值与背景灰度值之间。所以需先得到每帧图像背景灰度值的起始值g，当将阈值设置为g时，视频图像中背景灰度值与磨粒灰度值接近部分也被误识别为磨粒，证明所设定阈值应小于g。设定阈值为δg(0<δ<1),取δ=0.7、0.8、0.9、1，分别对应图3中的(c)(d)、(e)(f)、(g)(h)、(i)(j)。图中方框部分是对同一位置使用不能阈值二值化后的结果，根据大量试验对比阈值取0.9g时分割效果更好，所得二值图像中磨粒大小更接近原铁谱图像中磨粒的大小，磨粒特征保存得更完整且被误识别为磨粒的背景较少。

图3 在线铁谱视频图像与处理后的二值铁谱图像Fig 3 On-line ferrography video images and binary ferrography images after processing(a)(b)on-line ferrographyvideo images;(c)(d)δ=0.7 binary images;(e)(f)δ=0.8 binary images;(g)(h)δ=0.9 binary images;(i)(j)binary images when the threshold value is g

2 实例分析与讨论

使用封闭力流齿轮磨损试验台(如图4所示)对齿轮箱中的齿轮进行全生命期监测，通过在线铁谱监测得到1 726个磨粒沉积视频数据。对获取的在线铁谱视频图像进行分析与讨论。

图4 封闭力流齿轮磨损试验台Fig 4 Closed force flow gear wear test bench

对视频数据运用文中设计的气泡高干扰在线铁谱视频图像的磨粒快速分割算法分割磨粒与背景，随机选取试验数据中5个视频图像进行验证，得到试验结果如图5—9所示。分别用3种传统方法，大津法、自适应阈值法以及迭代法[17]，对在线铁谱视频图像进行二值化处理与文中方法的结果对比,每组图像方框为同一位置不同方法获得的不同效果。

图5 试验结果与对比(一)Fig 5 Experimental results and comparison(Ⅰ)(a)on-line ferrography video images;(b)binary images obtained by Otsu;(c) binaryimages obtained by adaptive threshold method;(d)binary images obtained by iterative method;(e) binary imagesobtained by fast wears segmentation algorithm for online ferrography video images in high interference of bubble

图6 试验结果与对比(二)Fig 6 Experimental results and comparison(Ⅱ)(a)on-line ferrography video images;(b)binary images obtained by Otsu;(c) binaryimages obtained by adaptive threshold method;(d)binary images obtained by iterative method;(e) binary imagesobtained by fast wears segmentation algorithm for online ferrography video images in high interference of bubble

图7 试验结果与对比(三)Fig 7 Experimental results and comparison(Ⅲ)(a)on-line ferrography video images;(b)binary images obtained by Otsu;(c) binaryimages obtained by adaptive threshold method;(d)binary images obtained by iterative method;(e) binary imagesobtained by fast wears segmentation algorithm for online ferrography video images in high interference of bubble

图8 试验结果与对比(四)Fig 8 Experimental results and comparison(Ⅳ)(a)on-line ferrography video images;(b) binary images obtained by Otsu;(c) binaryimages obtained by adaptive threshold method;(d) binary images obtained by iterative method;(e) binary imagesobtained by fast wears segmentation algorithm for online ferrography video images in high interference of bubble

图9 试验结果与对比(五)Fig 9 Experimental results and comparison(Ⅴ)(a)on-line ferrography video images;(b)binary images obtained by Otsu;(c) binaryimages obtained by adaptive threshold method;(d)binary images obtained by iterative method;(e) binary imagesobtained by fast wears segmentation algorithm for online ferrography video images in high interference of bubble

对采用4种方法所获取的磨粒数量与抑制气泡后图像中磨粒数量作对比，统计结果如表1所示。当磨粒数量正确率最高且错误率最低时，磨粒分割效果最好。正确率与错误率定义如公式(10)、(11)所示。

表1 4种方法的磨粒数量及正确率与错误率统计结果

(10)

(11)

式中：y1、y2分别为正确率和错误率；n1、n2分别为正确磨粒数和错误磨粒数；n为抑制气泡后实际磨粒数。

采用大津算法分割后的二值图像，由于在线铁谱视频图像明暗分布不均匀，识别正确率较低。经自适应阈值处理与迭代法获得的二值磨粒图像，在正确率较高的情况下，错误率也很高。文中设计的磨粒分割算法可以在气泡高干扰的情况下保证识别正确率高，同时错误率最低。相对于传统磨粒分割方法，文中算法可以有效识别在线铁谱视频图像中的磨粒。

获得磨粒二值图像后可以提取磨粒特征、进行磨粒分类，根据磨粒类型判断设备磨损程度，在线获取监测参数，开发在线自适应预警算法，实现对机械设备故障的实时预警等。

3 结论

根据在线铁谱视频图像具有气泡高干扰的特点，设计一种气泡高干扰在线铁谱视频图像的磨粒快速分割算法。具体结论如下：

(1)运动物体检测的方法可获取气泡位置，再使用相邻帧信息对其处理可实现在线铁谱视频图像中气泡干扰的抑制。

(2)基于抑制气泡后图像的灰度直方图分布，确定每帧图像的自适应阈值，实现对磨粒与背景的快速分割。

(3)该方法能够在气泡高干扰的情况下准确分割磨粒与背景，且磨粒信息保留较完整，为后续对在线铁谱视频图像中磨粒的研究提供便利条件。