一种振动信号降噪的堆叠降噪自编码器方法*

赵志宏，李乐豪，杨绍普，赵敬娇

（1.石家庄铁道大学信息科学与技术学院 石家庄，050043）

（2.石家庄铁道大学省部共建交通工程结构力学行为与系统安全国家重点实验室 石家庄，050043）

引言

振动信号中蕴含着对机械部件故障诊断和寿命预测有用的健康状态信息，但实测的振动信号中往往由于各种原因充斥着不同程度的噪声，对故障的诊断造成困难。因此，对振动信号进行降噪尤为重要。赵志宏等［1］将基于经验模态分解（empirical mode decomposition，简称EMD）阈值降噪方法和Savitzky-Golay滤波降噪方法相结合，同时对高频噪声和低频噪声进行降噪处理。贾亚超等［2］提出了一种基于灰度准则与集成经验模态分解（ensemble empirical mode decomposition，简称EEMD）的降噪方法，有效提高了信噪比，降低了噪声对振动信号特征提取的干扰。向北平等［3］提出了一种基于样本熵的改进小波包阈值去噪算法，能够获得较好的去噪效果，有效地还原了信号的转动特征频率与故障特征频率。

传统降噪方法对于低噪声的信号具有一定的降噪效果，但是对于强噪声信号的降噪效果不理想。Hinton 等［4］提出了具有非常强大学习能力的深度学习方法，可以提取更加抽象的特征。Ranzato 等［5］提出的堆叠自编码器（stacked denoising auto-encoder，简称SDAE）是一种经典的无监督深度学习模型，得益于自编码器强大的特征提取能力，被广泛应用于图像分类［6-7］、视频异常监测［8］、故障诊断以及图像降噪等领域。

在故障诊断领域，文献［9-10］利用了堆叠降噪自编码器中编码器的特征提取能力，从振动信号中提取特征对故障进行分类。

在图像降噪领域，Xie 等［11］利用堆叠降噪自编码器对含有高斯白噪声的图像进行降噪，并对叠加了文本的图像进行去除文字。Li［12］使用堆叠降噪自编码器在大型图像数据库CIFAR-100 的灰度版本上进行训练，获得了极好的降噪效果。马红强等［13］引入批标准化和残差学习改进堆叠降噪自编码器，降低了网络的训练难度，提高了图像的降噪性能。考虑到堆叠降噪自编码器在故障诊断和图像降噪中的成功应用，笔者将堆叠降噪自编码器引入振动信号降噪，提出一种利用带参数的修正线性单元（parametric rectified linear unit，简称PReLU）激活函数和批标准化（batch normalization，简称BN）改进的堆叠降噪自编码器振动信号降噪方法。本方法可以有效地降低振动信号的噪声，将原始信号从含噪信号中还原出来，降噪能力更强，和原始信号相似程度更高。

1 堆叠降噪自编码器

1.1 传统自编码器

传统自编码器（auto-encoder，简称AE）是一种目标为输出值与输入值相同的神经网络。其结构如图1 所示，由编码器和解码器两部分组成。

图1 传统自编码器的网络结构Fig.1 Architectures of the AE

编码器提取特征的过程为

解码器重构的过程为

其中：r为x的重构。

传统自编码器的最理想状态是使r和x一致，所以其损失函数的目标为最小化r和x的误差L(x，r)。若传统自编码器采用r和x之间的均方误差，其损失函数为

1.2 降噪自编码器

降噪自编码器（denoising auto-encoder，简称DAE）在自编码器的输入端添加某种噪声得，使得自编码器的目标为最小化L=(x，g(f()))。降噪自编码器与传统自编码器相比，其损失大于传统自编码器，但是降噪自编码器能学到更多有关数据分布的有用信息，从而实现降噪的鲁棒性。

降噪自编码器损失函数的计算图如图2 所示。其中引入一个损坏过程C()，这个条件分布代表给定数据样本x产生包含噪声的样本的概率，常见的加入噪声的方法是添加高斯噪声和置零，笔者采取添加高斯噪声。降噪自编码器根据以下过程，使用训练数据对(，x)学习f和g：首先，从训练数据中抽取一个训练样本x；其次，从C()获得一个含噪样本；最后，将(，x)作为训练样本，利用L(x，r)来更新自编码器f和g中的权值和偏置。

图2 降噪自编码器损失函数的计算图Fig.2 The computational graph of the cost function for a DAE

1.3 堆叠降噪自编码器

传统降噪自编码器由一层编码器和一层解码器组成。如果将一个训练好的降噪自编码器中的编码器的输出作为下一个自编码器的输入，然后利用最小重构误差的原则进行训练，以此将多个自编码器进行堆叠，即逐层贪婪训练［14］，直至所有的自编码器训练完成，就可以得到具有多层的堆叠降噪自编码器，其中每一层的训练都是无监督的。

堆叠自编码器相较于传统自编码器有着更深的网络结构，具有更强的特征学习能力和泛化能力。图3 为堆叠降噪自编码器的结构和逐层训练过程的示意图，输入含噪的训练样本，经过多层对称结构的堆叠降噪自编码器映射为重构向量r，其中的隐含层参数在自编码的训练后被固定。

图3 堆叠降噪自编码器的网络结构和逐层训练示意图Fig.3 Architectures of the SDAE and schematic diagram of layer by layer training

2 堆叠降噪自编码器降噪方法

2.1 激活函数的选择

传统自编码器的激活函数常常采用sigmoid 函数或修正线性单元（rectified linear unit，简称ReLU）函数，其中sigmoid 函数有容易出现梯度消失、消耗大量计算资源等问题［15］。ReLU 激活函数为

ReLU 激活函数可以在神经元接收到负信号时，使神经元处于抑制状态，即置零；当接收正信号时，使神经元原样输出。因此，ReLU 可以提取到一个稀疏的特征［16］，但是对于堆叠降噪自编码来说，过度稀疏的特征会对解码器生成样本造成负面影响，使得拟合程度不够。

PReLU［17］激活函数为

式（5）中ai由动量方法更新

其中：μ为动量；ϵ为学习率；ε为目标函数。

ReLU 和PReLU 激活函数的区别如图4 所示，可以看出PReLU 激活函数允许负值输出，同时PReLU 相较于ReLU 仅仅增加了非常少量的参数，所以计算量的增加微乎其微，网络过拟合的风险不大，可以避免特征过度稀疏导致的拟合程度较差，并且不影响模型的泛化性能。

图4 ReLU 和PReLU 的区 别Fig.4 The difference between ReLU and PReLU

2.2 批标准化

为解决堆叠降噪自编码器训练过程中容易出现的梯度爆炸和梯度消失等问题，笔者采用了批标准化［18］方法。批标准化通过对输入进行白化预处理

其中：E(x)为其中一批输入x的平均值；Var(x)为该批次数据的方差；ε为极小的正数，以避免分母为零。

使该层神经元的输出既不过分大也不过分小，均值为0，标准差为1+ε。白化预处理往往会削弱网络的性能，为了提升模型的表达能力，引入了“比例及平移”操作

其中：λ，β由迭代训练更新学习。

经过“比例及平移”操作，使得网络兼顾了较强的非线性表达能力，避免了陷入非线性区间两头使得网络收敛速度太慢。

2.3 堆叠降噪自编码器方法

堆叠降噪自编码器降噪方法流程如图5 所示，步骤如下：①生成仿真信号或在较为理想的实验环境下采集到低噪声信号，利用这些信号生成含噪训练数据集和含噪测试数据集；②确定堆叠降噪自编码器的网络结构，选择超参数，并利用训练数据集逐层训练；③根据训练数据集的降噪效果选择是否调整参数，如果效果不好则调整参数转至第2 步，效果符合预期则进行第4 步；④利用学习到的模型对测试数据集进行降噪，并输出结果。

图5 堆叠降噪自编码器方法流程Fig.5 SDAE method flow

为了测试本研究方法的性能，使用正弦信号、调制信号添加不同程度的高斯白噪声进行仿真降噪实验。采用降噪后的信噪比（signal noise ratio，简称SNR）和均方根误差（root mean squard error，简称RMSE）作为降噪性能的评价标准。

其中：Ps为原始信号的有效功率；Pn为降噪后噪声的有效功率；s1为原始信号；s0为降噪后的信号；N为信号长度。

笔者采用的模型结构见图6，采用3 个自编码器进行堆叠，并在各个全连接层之间添加批标准化层用来加快网络训练避免过拟合，使用PReLU 激活函数避免过度稀疏的特征对解码器造成负面影响。

图6 本研究方法所采用的模型Fig.6 The model used in this method

3 仿真信号降噪实验

3.1 正弦信号降噪实验

采用的仿真正弦信号为

采样频率为1 kHz，采样时间为20 s，采用滑动窗口取样，步长为1，每个样本1 000个采样点，样本数目为10 000 个。给这10 000 个样本依次添加不同程度的高斯噪声，构造出信噪比为-20，-15，-10，-5，0，5，10，15 和20 dB 的9 种含噪信号，将9 种含噪信号组合为含有90 000 个样本的训练集，再按照制作训练集的方法制作同样数量的测试集。表1 为本研究方法与文献［2］中的EEMD 方法、相关系数法对不同含噪正弦信号降噪后的SNR 和RMSE 进行对比，可以看出，本研究方法对于正弦信号的还原相较于传统方法有着明显优势。对于较低信噪比的仿真信号，本研究方法降噪后的信号比传统方法信噪比更高，时域波形更光滑；随着含噪信号的SNR 增高，本研究方法也能继续保持更好的降噪效果。在强噪声的情况下，改进的EEMD 方法降噪效果不是很理想，相关系数法在噪声低于-15 dB 的情况下已经近乎于失效，而堆叠降噪自编码法仍然有效；在低噪声的情况下，堆叠降噪自编码器方法相较于EEMD方法和相关系数法可以获得更高的SNR 和更低的RMSE。

表1 正弦信号仿真结果Tab.1 Simulation results of sinusoidal signals

本研究方法对含噪正弦信号降噪前后的时域波形如图7 所示，从图中可以看出，本研究方法对于含噪正弦信号的降噪效果较好。其中对信噪比为-20 dB 的含噪信号降噪后整体光滑，波形与正弦信号较为相似，虽然相位和振幅有差异，但是噪声含量显著下降；对噪声含量较少的含噪信号降噪后整体光滑，波形还原程度好，相位和振幅差异较小。

图7 本研究方法对正弦信号的降噪效果Fig.7 Denoising effect of this method on sin signals

3.2 调幅信号降噪实验

采用的仿真调幅信号为

采样频率为12.8 kHz，采样时间为4 s，采用滑动窗口取样，步长为20，每个样本包含1 000 个采样点，样本数目为400。给这400 个样本依次添加不同程度的噪声，构造出信噪比为-20～20 dB 的9 种含噪信号，将9 种含噪信号组合为含有3 600 个样本的训练集，再按照制作训练集的方法制作同样数量的测试集。表2 为本研究方法对不同SNR 含噪调幅信号降噪后得到的SNR 和RMSE，图8 为本研究方法对含噪调幅信号降噪前后的时域波形。可以看出：本研究方法对于含噪调幅信号取得了较好的降噪效果，对SNR 为-20 dB 的含噪信号仍然具有较好的降噪能力，能明显提高信噪比，且降噪后获得的信号整体光滑；对较高信噪比的含噪信号降噪后整体光滑，波形还原程度好，相位和振幅差异较小。

图8 本研究方法对调幅信号的降噪效果Fig.8 Denoising effect of this method on Amplitude signals

表2 调幅信号仿真结果Tab.2 Simulation results of Am signals

3.3 轴承仿真故障信号降噪实验

采用文献［19］中的轴承故障仿真信号为

采样频率为25 kHz，采样时间为1 s，采用滑动窗口取样，步长为20，每个样本包含1 000 个采样点，样本数目为400。给这400 个样本依次添加不同程度的噪声，构造出信噪比为-20～20 dB 的9种含噪信号，将9 种含噪信号组合为含有3 600 个样本的训练集，再按照制作训练集的方法制作同样数量的测试集。利用制作好的训练集进行训练，之后将训练好的自编码器对测试集进行降噪。表3为本研究方法对不同SNR 的含噪调幅信号降噪后得到的SNR 和RMSE。图9 为本研究方法对含噪调幅信号降噪前后的时域波形。可以看出：对信噪为-20 dB 的含噪信号降噪后与原始信号差异较大，整体波形还原程度不好；对于SNR 为-10 的含噪信号本研究方法的降噪效果较好，波形、相位和振幅还原较为准确；对于更高信噪比的含噪信号的降噪效果，由表3 中的SNR 和RMSE 可以看出，降噪效果同样较好。

图9 本研究方法对轴承仿真故障信号的降噪效果Fig.9 Denoising effect of this method on bearing simulation fault signals

表3 轴承仿真故障信号仿真结果Tab.3 Simulation results of bearing simulation fault signals

4 实测轴承故障振动信号实验

采用凯斯西储大学（CWRU）滚动轴承数据集［20］，在深沟球轴承SKF6205 的外圈滚道上通过电火花加工模拟滚动轴承故障信号，加工直径为0.177 8 mm。数据集采用加速度传感器采集轴承安装座上的振动，采样频率为12 kHz。实验中向上述信号中添加噪声，构造出为信噪比为-10，-5，0，5，10，15，20 dB 的7种含噪信号，其中信噪比由原始信号的平均功率和添加噪声的平均功率计算得到。采用滑动窗口取样，步长为20，每个样本包含1 000个采样点，每种含噪信号采集到900个样本，共6 300个样本。其中：4 900个样本作为训练集，1 400个样本作为测试集。

图10 为本研究方法对含噪实测信号降噪前后的时域波形。可以看出，本研究方法对于信噪比大于-10dB 的含噪信号可以显著减少噪声，提高信噪比，与原始信号相比时域波形相似程度很高。

图10 本研究方法对外圈故障振动信号的降噪效果Fig.10 Denoising effect of this method on out-race faults signal

5 结论

1）本研究方法无需大量信号处理知识就可以自适应地对多种信号进行降噪。

2）分别对正弦信号、调幅信号、轴承仿真故障振动信号以及实测轴承故障振动信号进行实验，都取得比较好的降噪效果，实验结果表明，本研究方法能够用于轴承振动信号降噪。

3）对于低噪声的含噪信号，本研究方法相较于传统方法，可以取得更好的降噪效果；对于强噪声的含噪信号，传统方法降噪效果不理想，本研究方法仍然有效。

4）本研究方法的缺点为需要大量的样本进行训练，需要预先收集振动特征明显的振动信号。