基于回归树和AdaBoost方法的刀具磨损评估①

陶耀东,曾广圣,李 宁

1(中国科学院 沈阳计算技术研究所,沈阳 110168)

2(中国科学院大学,北京 100049)

基于回归树和AdaBoost方法的刀具磨损评估①

陶耀东1,2,曾广圣1,李 宁2

1(中国科学院 沈阳计算技术研究所,沈阳 110168)

2(中国科学院大学,北京 100049)

本文利用高速数控铣刀铣削中不同侧面方向的切削力和振动信号以及声发射信号均方根值,以数据驱动的形式对刀具磨损进行了拟合评估. 在本次研究中,分别从时域、频域和时频联合域上探索与刀具磨损相关的敏感特征,具体特征提取方法包括时域统计分析、频域上的快速傅里叶变换(FFT)和时频联合分析的小波变换(WT). 本文中,决策树被用于回归问题而非分类问题,用于评估刀具磨损值. 同时,引入AdaBoost算法对回归树模型进行提升,并从模型的准确性、稳定性和适用性三个方面上综合对比了提升的决策树回归模型和原模型的性能. 研究表明,AdaBoost算法提升的回归决策树模型在预测的准确性和稳定性上都有一定程度上提高,并且在面向全新刀具磨损预测的适用性上也取得了不错的提升效果.

刀具磨损; PHM; 统计分析; FFT; 小波变换; 回归树; AdaBoost

在高速的切削工件的过程中,刀具的磨损对于加工的工件表面光滑程度和尺寸精度的影响至关重要.因此,刀具磨损的状态评估成为了一个重要的研究课题,但更为重要的是如何精确和稳定地拟合或预测一个全新刀具的磨损值. 因为,过高地预测磨损值,将可能导致刀具材料的浪费,而过低地预测磨损值将会增加工件产品的次品率,甚至出现废品或发生机械安全事件. 同时,准确但不稳定地预测也将没有足够工程应用上的可信度.

目前,在对刀具磨损评估方面的研究包括: S.Huang、X. Li等人提出了一种基于支持向量回归(Support vector regression,SVR)的刀具磨损评估模型,并通过实验验证了该方法的灵活性和有效性[1]; T.Benkedouh等人用SVR模型预测了刀具的剩余使用寿命 (Remainning useful life,RUL)[2]; 作者韩玉辉将粒子群优化算法引入SVR模型,并通过仿真实验表明,该方法具有较强的推广能力和较高的预测精度[3]; X.Li、B.S. Lim等人对于干铣过程中刀具磨损建立了模糊神经网络 (Fuzzy neural network,FNN)模型,并阐述了FNN相对于其他传统神经网络模型在预测准确率和学习速度上的优越性[4]; D.A. Tobon-Mejia 等人论述了使用动态贝叶斯网络(Dynamic Bayesian networks,DBN)来对刀具磨损状态进行评估,并预测其RUL[5];Huimin Chen提出了一种基于多模型联合的刀具磨损预测的方法,具有很强的针对性和拟合能力[6]. 从上述有关刀具磨损的故障诊断和健康管理(Prognostic and health management,PHM)方面的研究中可知,越来越趋向于: (1)基于模型和数据驱动式的智能诊断; (2)基于统计学和机器学习两大理论方法的结合; (3)属于预测性的维护,而非基于故障发生后的条件状态数据的后发式维护. 这类基于数据驱动的智能诊断和预测性维护的方法,能够在故障发生前几个周期即可评估出故障发生的概率,从而给出预警信号. 除此之外,该类方法还能够预测工件的RUL,以达到合理利用原材料和提高工作效率的目的. 但是,上述模型中也存在几个缺点: (1)大部分模型过于复杂或者可解释性不强;(2)单模型的回归拟合不够稳定,突出地体现在对于类似刀具这样磨损模式不太固定的预测问题上.

本文在此背景下,针对数控铣刀刀具的磨损,提出基于回归决策树 (Decision tree regression,DTR)和集成方法AdaBoost相互结合的方式,用于拟合和预测刀具的磨损. DTR模型复杂性容易控制,并且可解释性强;AdaBoost方法是一种多模型集成的方法,“集成”使得预测的稳定性得以提高. 在本文研究中,通过对比和实验分析,分别从拟合的准确度、预测稳定性和方法的适用性三个方面上验证基于AdaBoost提升的回归决策树 (即提升回归树模型,Adative boosted decision tree regression,DTR-Ada)对于刀具磨损预测的有效性.

1 分析流程

本次研究分析的主要流程包括: 数据预处理、特征提取、特征选择、建模拟合和性能对比分析. 如图1所示.

图1 分析流程

2 数据分析与特征工程

2.1 数据采集过程

本次研究的数据采用2010年PHM Society所提供的数据竞赛的数据集[7]. 数据集共6份,其中c1、c4和 c6为训练集,c2、c3和 c5为测试集. 每份数据集对应315次铣削,每次铣削采集的信号包括X、Y、Z三个轴向的铣削力和振动信号,以及铣削过程中声发射信号的均方根值,共计7个通道数据. 每次铣削过程的磨损值分为flute1、flute2和flute3三个槽向的值.整个数据采集过程中,采集频率为 50 KHz/通道,铣削主轴速度为 10400 RPM(转/分),进给速度为 1555 mm/min,Y 轴径向铣削深度为 0.125 mm,Z 轴轴向铣削深度为 0.2 mm. 有关具体的数据采集系统[4],如图2 所示.

本文研究中,只采用了c1、c4和c6三个具有真实磨损值的数据集作为实验数据,共计3组实验数据,每组数据空间为315×7.

图2 实验数据采集系统

2.2 数据预处理和特征工程

2.2.1 数据预处理

该过程的作用是清洗数据,剔除无效和异常值数据点,采用的方法是截断法、采样法和滤波法.“截断”法用于剔除进刀和退刀过程中形成的无效数据. 以c1数据集X轴铣削力的第200次铣削的时序信号为例,如图3所示,图中显示了尾部无效数据(箭头范围内虚线部分).

图3 c1_200 剔除尾部无效数据的前后对比

“截断”方法具体步骤为: 首先,求一次铣削过程中原始数据的上四分位值Q3,作为首尾无效数据限界点;然后,从原始数据的开头向后和末尾向前,剔除所有小于Q3数值,直至碰到第1个不小于Q3的数据,则停止截断.

剔除异常值之后,对数据进行了降采样处理,降采样比例1/10. 因此,得到的降采样后的数据频率为5KHz,每次铣削过程数据量大约仍有2万个.

最后,对降采样后的数据进行了hampel滤波处理,目的是剔除中间异常值数据. hampel滤波原理中采用了滑动窗口的机制和中值滤波的原理[8]. 由于篇幅原因,不在赘述. 经过 hampel滤波前后的信号对比,如图4所示. 图4中显示了c1数据集中Y轴铣削力的第001次铣削的信号剔除中间异常值前后的对比结果(圆圈内为异常数据点). 可见,hample滤波能够有效剔除中间数据中的异常值.

图4 c1_001 剔除中间异常数据的前后对比

2.2.2 特征工程——特征提取

由上文所述,每次铣削过程都具有一个真实磨损值,而每次铣削的数据经过数据预处理之后也有上万条数据,与磨损值并非一一对应关系,不能直接作为特征使用,需要“归约”数据中的信息,提取出有效的特征.

时域统计提取特征: 本文中对信号进行时域上的统计特征提取过程中,参考S. Huang、陈侃等作者有关这方面的研究[1,9]. 时域的统计分析值包括绝对平均幅值、平均值、标准差、均方根、方根幅值、峰度、偏斜度、裕度因子、波形因子等.

时频变换和频谱分析提取特征: 本文对铣削力、振动信号采用的时频变换分析方法为快速傅里叶变换(Fast Fourier transform,FFT). 频域中提取的特征包括了幅值谱、功率谱(密度)和相位谱等.

时频联合能量分析提取特征: 对于时频联合的特征提取,本文采用小波变换 (Wavelet transform,WT)[10,11]对铣削力和振动信号进行特征提取. 其中对铣削力和振动信号进行小波变换分解的层数分别为2和4,采用的小波基函数为‘db3’. 提取的特征包括在分解出的近似系数和细节系数相应频段上能量比.

特征提取的最终结果为,时域统计特征计40个,频域特征计22个,时频联合特征计13个. 共计总特征为 75个. 样本数量为 3组 (c1、c4和 c6),315个样本/组. 因此,最终的特征空间大小为 945×75.

2.2.3 特征工程——特征选择

经过特征提取过程,数据转化为特征,每组数据集(c1、c4和c6)分别对应一组315×75大小的特征空间.但并非有所特征都与磨损值相关或有较强关系,择优选取特征,既能够减少特征空间大小,降低模型训练/测试时间,又能够提升模型拟合性能.

本文中采用的特征评估和选择方法包括互信息(Mutual information,MI)评估方法和 F-test检验方法. MI的基本原理是一种基于k-最近邻居距离的熵估计的非参数方法[12,13]. F-test检验用于特征评估原理描述如下:

假设特征向量为X,i表示特征序号,目标值为y,mean()、std()和size()分别表示求向量均值、标准差和长度,centered表示是否去均值中心化,则有:

相关系数Corr:

自由度n:

最终,F-test计算公式:

F-test检验可以评估特征与目标值具有的线性关系; MI可用于评估特征与目标值任何的非线性相关关系. 特征选择的标准: MI评估值>0.5、F-test检验值>0.5. 如图5所示,为特征选择过程的解析.

图5 最优特征选择过程

通过最优特征选择过程,可以得到flute1磨损值较优特征,共计 34 个,如表1 所示 (其中,A4 表示第4层近似(Approximate)系数).

表1 最优特征 (MI>0.5,F-test>0.5)

从表1可知,通过特征选择出来的特征数量仍不少,但在本文中并未进行特征降维处理,主要出于以下两点考虑:

第一,不同刀具的磨损模式不太固定,即使在同一个铣削槽向上(例如,flute1)的磨损模式也存在一定差异性,这无形增加了拟合预测的难度. 在特征数量上保持一定的规模,能够一定程度上保证预测的准确度. 第二,决策树模型在结点分支过程中,本身就具有一定的特征选择作用. 因此,保持足够的特征数量能够在分支特征选择过程中给予更优的决策.

3 基于回归树与提升回归树模型拟合分析与性能对比

决策树用于回归问题的基本原理是: 使用最小化剩余方差的方法来决定结点的最优划分. 划分的目的是使得子树误差方差最小[14,15]. 而本文中引入的AdaBoost在回归决策树上应用的基本原理是[16]: 首先,回归问题的损失函数为平方损失函数. 通过拟合当前模型的残差的方式学习一个回归树,并通过前向分步算法和经验风险最小化的方式确定下一颗决策树的参数. 最后,通过加法模型得到最终的提升回归树(DTR-Ada)模型.

下面将以flute1铣削槽上的磨损值拟合为例进行分析. 如上文所述,flute1提取出来的最终特征空间为945个样本(其中第1～315来自c1数据集,第316～630来自 c4数据集,第631～945来自 c6数据集),34个维度. 主要的研究内容包括决策树回归的准确度、AdaBoost应用于DTR提升的准确度和稳定性分析以及AdaBoost的适用性分析.

3.1 单数据集的独立实验分析

单数据集独立实验分析的目的在于比较DTR和DTR-Ada模型对于同组内未知数据的拟合准确度和预测稳定性.

对3个数据集c1、c4和c6采取相同的数据划分:训练集比例 2/3,计 210 个样本; 测试集比例 1/3,计105个样本. DTR模型决策树最大深度(max_depth)选择范围为2～10. 通过100次重复训练和测试过程(划分比例固定,样本选择随机),取每个最大深度的100次试验的平均决定系数R2和平均均方误差MSE作为评估值. 确定决策树最大深度的原则:

(1) 平均 R2 最大,平均 MSE 最小;

(2) 若多个最大深度的R2和MSE相差不大,尽量选择较小最大深度,以简化模型复杂度.

如图6和图7所示,为对c4和c6特征数据100次重复DTR和DTR-Ada训练/测试,在不同最大决策树深度下的结果. 从图中可知,决策树最大深度分别达到 6 和 4 时,R2 停止增加,MSE 停止减少. 因此,flute1c4、flute1c6所选择决策树最大深度分别为6和4.

在确定了决策树最大深度的前提下,对DTR和DTR-Ada模型测试的准确度和稳定性进行分析. 如表2～表4所示,为100次重复训练/测试过程中得到的3个独立测试集的平均结果. 通过比较可知,DTR-Ada得到的两项表征准确度的评估指标均优于DTR.

如图8和图9所示,为100次重复训练/测试过程中分别得到的c4和c6的R2和MSE变化情况. 从图中可知,在相同的最大决策树深度前提下,DTR-Ada的R2和MSE变化波动比DTR对应指标小的多,即DTR-Ada面向同组未知数据的预测拟合更加稳定.

图6 c4不同决策树最大深度下的平均性能

图7 c6不同决策树最大深度下的平均性能

表2 c1 数据集两种模型测试结果对比

3.2 多数据集联合的实验分析(“K-Fold”法)

多数据集联合(“K-Fold”交叉验证)的实验分析的主要目的在于验证DTR-Ada模型对于预测不同组的未知数据中的稳定性和适用性.

表3 c4 数据集两种模型测试结果对比

表4 c6 数据集两种模型测试结果对比

图8 c4独立实验中模型测试的稳定性对比

在本次实验中,数据集划分的方法为: 从每组特征数据中得到训练集和测试集的方法是“K-Fold”方法,设置K=5,即训练集和测试集比例为4:1. 如图10所示,为本次多数据集联合的特征数据划分和实验过程. 重复20次训练/测试过程,但训练集和测试集仍是随机产生.

确定最大决策树深度的方法如同3.1节所述,通过20次重复5-Fold交叉试验,确定6为最合理的决策树最大深度.

如表5所示,为20次重复5-Fold训练/测试过程中得到的联合测试集拟合的平均R2和平均MSE. 通过比较可知,DTR-Ada得到的两项表征准确度的评估指标仍然都优于DTR. 如图11所示,为本次实验中20次5-Fold重复测试得到的平均拟合效果图,可知DTR-Ada对于测试集的拟合效果优于DTR. 说明了,DTR-Ada对于不同组特征集的拟合预测具有一定的适用性.

图9 c6独立实验中模型测试的稳定性对比

图10 c1c4c6 多数据集联合实验过程 (K-Fold)

表5 联合特征数据下测试结果对比 (“5-Fold”法)

图11 20 次“5-Fold”重复试验的预测结果对比

如图12所示,为20次重复训练/测试过程中得到的R2和MSE变化情况. 从图中可知,在最大决策树深度为6时,模型测试结果为: DTR-Ada模型对于测试集的拟合预测仍要比DTR模型更加稳定.

3.3 多数据集联合的实验分析(“留一组”法)

多数据集联合(“留一组”交叉验证)的实验分析的主要目的验证DTR-Ada方法对于未知的一整组数据集的预测准确性和适用性.

本次实验中,从每组特征数据中得到训练集和测试集的方法是“留一组”方法: c1、c4和c6三组特征集中,两组作为训练集,一组作为测试集,进行 10 次重复试验. 由于训练集和测试集生成过程是固定的,所以10次重复试验将呈现周期性的结果,并且模型的稳定性也无从验证.

图12 多数据集联合实验中测试的稳定性对比

确定最大决策树深度的方法如同3.1和3.2节节所述. 在训练集为 630×34,测试集为 315×34 情况下,通过10次重复“留一组”试验对DTR和DTR-Ada模型进行训练/测试,可确定决策树最大深度为3. 下面将在最大深度为3的前提下,对DTR和DTR-Ada模型预测的准确性和模型的适用性进行分析.

如表6和图13所示,分析过程可以参考3.1和3.2节,可知: DTR-Ada模型对于一整组未知的磨损值的拟合预测结果要比DTR更加准确,适用性也比DTR更强.

表6 联合特征数据下测试结果对比 (“留一组”法)

4 总结

本文研究中,利用铣削过程中采集的原始信号数据,通过统计学方法、信号处理相关知识和特征工程理论的结合,对数据和特征进行了分析,形成了数据驱动式的分析流程. 同时,引入回归决策树模型和集成方法AdaBoost,对刀具磨损进行了拟合、预测和模型性能的对比分析. 研究表明,单独地运用DTR模型来拟合/预测未知磨损值的效果很不理想. 通过引入AdaBoost算法对DTR模型进行提升,在拟合准确度、预测稳定性以及模型适用性三个方面上均能够得到有效的提升.本文研究中,虽然在准确度、稳定性和适用性三方面上取得了提升效果,但仍存在有待提升的空间.

图13 “留一组”交叉验证重复试验的预测对比

特征工程方面: 1)特征提取时缺乏足够的专家知识指导,未能预先人工地剔除一些无关特征,以致特征空间过于庞大. 2)本文只是泛性地应用FFT和WT方法去提取每个信号每个轴向上的特征,对于不同信号没有针对性地选择时域/频域上的分析方法. 3)在特征选择后的数量上,在能够保证模型足够性能的前提下,可以通过调整特征评估的阀值,例如提高F-test阀值至6.7165,或者通过特征降维的方法,来减少输入模型的特征空间大小.

DTR-Ada模型方面: 1) 通过第3节表中结果可知,DTR-Ada模型带来了准确度、稳定性和适用性提升的同时,其训练和预测时间也增加了,主要由于AdaBoost算法本身“串行计算”的特点造成的. 这方面可以通过适当地减少决策树数量、应用类似Bagging这样的具有“并行计算”特点的集成方法或利用集群计算来解决,后两者也是未来工业大数据处理发展的方向之一. 2)DTR-Ada模型只设置了固定参数(学习率0.5,DTR模型个数300等),没有深入优化,其性能方面有待提升.

1Huang S,Li X,Gan OP. Tool wear estimation using support vector machines in ball-nose end milling. Proc. of the 2010 Annual Conference of the Prognostics and Health Management Society. Portland,Oregon,USA. 2010.

2Benkedjouh T,Medjaher K,Zerhouni N,et al. Health assessment and life prediction of cutting tools based on support vector regression. Journal of Intelligent Manufacturing,2015,26(2): 213–223. [doi: 10.1007/s10845-013-0774-6]

3韩玉辉. 基于粒子群优化SVM的刀具磨损量预测. 工具技术,2016,50(11): 109–112. [doi: 10.3969/j.issn.1000-7008.2016.11.031]

4Li X,Lim BS,Zhou JH,et al. Fuzzy neural network modelling for tool wear estimation in dry milling operation.Proc. of 2009 International Conference of Prognostics and Health Management. San Diego,USA. 2009.

5Tobon-Mejia DA,Medjaher K,Zerhouni N. CNC machine tool’s wear diagnostic and prognostic by using dynamic Bayesian networks. Mechanical Systems and Signal Processing,2012,28: 167–182. [doi: 10.1016/j.ymssp.2011.10.018]

6Chen HM. A multiple model prediction algorithm for cnc machine wear pHM. International Journal of Prognostics and Health Management,2011,2(2): 27.

7PHM Society. 2010 phm society conference data challenge.https://www.phmsociety.org/competition/phm/10. [2010].

8MathWorks. Signal processing ToolBox. http://cn.mathworks.com/help/signal/ref/hampel.html. [2016].

9陈侃. 基于多模型决策融合的刀具磨损状态监测系统关键技术研究[博士学位论文]. 成都: 西南交通大学,2012.

10MathWorks. Wavelet ToolBox. http://cn.mathworks.com/help/wavelet/ref/wavedec.html. [2016].

11Mallat SG. A theory for multiresolution signal decomposition: The wavelet representation. IEEE Trans. on Pattern Analysis and Machine Intelligence,1989,11(7): 674–693.[doi: 10.1109/34.192463]

12Kraskov A,Stögbauer H,Grassberger P. Estimating mutual information. Physical Review E,2004,69(6 Pt 2): 066138.

13Ross BC. Mutual information between discrete and continuous data sets. PLoS One,2014,9(2): e87357. [doi: 10.1371/journal.pone.0087357]

14Wikipedia. Decision tree learning. https://en.wikipedia.org/wiki/Decision_tree_learning#Variance_reduction.

15Breiman L,Friedman J,Stone CJ,et al. Classification and regression trees. Boca Raton: Chapman and Hall/CRC,1984:358.

16李航. 统计学习方法. 北京: 清华大学出版社,2012: 137–151.

Tool Wear Evaluation Based on Decision Tree Regression and AdaBoost Algorithm

TAO Yao-Dong1,2,ZENG Guang-Sheng1,LI Ning2

1(Shenyang Institute of Computing Technology,Chinese Academy of Sciences,Shenyang 110168,China)
2(University of Chinese Academy of Sciences,Beijing 100049,China)

In this paper,the cutting force and vibration signals in different axial directions and the RMS of the acoustic emission signal in the milling of the high speed CNC cutters are fully utilized to evaluate the tool wear in the data-driven method. In this study,the sensitive features related to tool wear are explored from three aspects: time-domain,frequencydomain and joint time-frequency domain,and the feature extraction methods include time-domain statistical analysis,fast Fourier transform (FFT) between time-domain and frequency-domain,and wavelet transform (WT) in time-frequency domain. In this paper,the decision tree will be used for regression problems,rather than classification issues,to assess the tool wear value. And then,the AdaBoost algorithm is introduced to improve the performance of the decision tree regression (DTR),and the performance of the adaptive boosted decision tree regression (DTR-Ada) model and the original model are compared at the aspects of the accuracy,steadiness and applicability. The result shows the DTR-Ada model can improve the accuracy and stability of the fitting and prediction,and it also achieves a good effect on the applicability of the new tool wears prediction.

tool wear; prognostic and health management; statistical analysis; fast Fourier transform; wavelet transform; decision tree regression; AdaBoost

陶耀东,曾广圣,李宁.基于回归树和 AdaBoost方法的刀具磨损评估.计算机系统应用,2017,26(12):212–219. http://www.c-sa.org.cn/1003-3254/6117.html

沈阳市2014年科学计划项目(F14-056-7-00)

2017-03-20; 修改时间: 2017-04-10; 采用时间: 2017-04-13