基于多模态数据融合的风机叶片故障检测

新华电力发展投资有限公司 贺振华 刘 畅 裴 胜

新能源开发和利用是当前全球能源领域的热门话题。随着全球能源需求的不断增长和环境问题的日益凸显，清洁可再生能源的开发和利用已成为全球能源领域的重要发展方向。在这方面，风能作为一种清洁可再生能源，具有广阔的发展前景，其具有无污染、无排放、能源取之不尽的特点，已成为世界各国重点发展的清洁能源之一。然而，由于风能发电设备的工作环境恶劣，例如海洋风电场，设备长期处于海上受风浪侵蚀，容易导致发电机叶片的损坏，从而影响设备运行。

因此，及时、准确地诊断故障成为风能发电设备维护中的重要环节。随着人工智能和机器学习技术的不断发展，基于这些技术的风能发电设备检测和诊断技术已经应用于实际生产中。这些技术可通过对设备的实时监测和数据分析，识别并预测故障，及时采取维护措施，提高设备的可靠性和稳定性，降低设备运行成本和维护费用，为实现可持续能源目标贡献力量。

1 现状

针对风能发电设备的叶片损伤诊断，目前有三种方法：基于人工的检测、基于故障字典的模式识别，以及基于机器学习和深度学习的故障诊断。

传统的人工检测方式需要专业人员进行高空检测，其成本高，安全风险大，且稳定性差。而基于故障字典的模式识别方法需要事先建立和查询字典，无法识别新型故障，也存在很多限制。相比之下，基于机器学习和深度学习的方法不需要人力高空检测，可以从叶片的多模态数据中提取特征进行自动化诊断，安全系数高。同时，机器学习和深度学习算法能够利用大量的数据进行训练，能够识别新型故障，具有更好的泛化性能和适应性。因此，基于机器学习和深度学习的方法能够提高设备维护效率，降低能源生产成本，是风能设备故障诊断领域的重要研究方向之一。

而基于机器学习和深度学习的方法中，多模态诊断的效率往往高于单模态。相比于传统的方法，多模态诊断具有更高的检测精度和效率。同时，多模态诊断可以利用不同模态之间的互补信息，提高诊断的可靠性和准确性，对于一些难以检测的隐蔽性故障也具有更好的诊断能力。因此，多模态诊断是未来风能设备故障诊断的重要方向之一，能够更好地提高设备维护效率，降低能源生产成本，促进可持续能源的发展。

基于以上现状，本文提出了一种多模态数据融合的风机叶片故障诊断的方法，从图像、声音、振动三个模态获得数据，在多模态的角度对叶片健康状况进行诊断。

2 多模态融合诊断的模型介绍

模型图介绍如下：在这个故障诊断模型中，利用无人机、麦克风、振动传感器获得了风机叶片的图像、声音和振动三个模态的数据。然后，针对这三种模态的数据，分别构建了图像模态和声振混合模态两个模型。其中，图像模态的模型对图像进行了处理，然后使用CBAM-Resnet进行训练，最终得到了图像模态的检测模型；而声振混合模型则是基于1D-CNN进行设计的，用于处理声音和振动模态数据的融合，通过对声振融合后的数据进行训练，最终得到了声振融合模态的检测模型。这两个模型分别利用不同的模态进行故障检测，通过综合分析不同模态的结果，能够提高故障检测的准确率和可靠性，为风能设备的维护和运营提供更好的支持。

图1 模型图

ResNet是一种深度卷积神经网络，由多个卷积层、池化层、全连接层和输出层构成，可有效提取输入图像的特征向量[1]。在处理风机叶片图像时，由于存在光照不均、背景复杂、缺陷占比小等问题，传统的卷积神经网络可能难以准确提取特征。因此，为了解决这个问题，引入了注意力机制。CBAM是一种低成本的注意力引入方式，其包括通道注意力和空间注意力两部分，可以在几乎不增加计算成本的情况下提高特征质量[2]。

图2 CBAM-Resnet结构

通道注意力机制用于学习各个通道之间的相互依赖关系，通过对通道维度进行加权，提高了卷积层输出的质量。空间注意力机制则用于学习图像中不同位置的重要性，通过对空间维度进行加权，可以进一步提高特征的区分度。在将CBAM应用到ResNet中时，通过将注意力机制引入到每个ResNet块中，可以进一步提高风机叶片缺陷检测的准确率和鲁棒性。试验证明，将CBAM应用到ResNet中可以显著提高风机叶片缺陷检测的效果。相比传统的ResNet模型，引入CBAM后的模型具有更好的特征表达能力和鲁棒性，可以更准确地检测风机叶片的缺陷。

1D-CNN模型是一种卷积神经网络（CNN）的形式，用于处理一维数据[3]。其通常包括输入层、卷积层和Softmax层，接收一维向量作为振动信号的输入，并对该向量进行多次卷积和池化操作。每个卷积核都可以学习特定的特征，比如振动信号的频率、振幅、振动模式等。在经过多次卷积和池化后，1D-CNN模型最终输出一个全连接向量，该向量包含了该振动信号的各种特征信息。1D-CNN模型的训练是通过反向传播算法实现的。在训练过程中，模型的输出结果会与实际结果进行比较，计算出误差，并根据误差调整模型参数。

随着训练的进行，模型会逐渐调整自身，使得其能够更好地适应训练数据，并在测试数据上表现出更好的泛化性能。通常情况下，训练数据会被分为训练集、验证集和测试集，以便对模型进行评估和比较。1D-CNN模型在振动信号分析和诊断领域中得到了广泛应用。该模型能够自动提取信号中的特征，并且相较于传统的振动信号分析方法，具有更高的准确性和效率。

图3 1D-CNN模型

模型的使用流程：模型的使用包括两个过程，第一个过程是模型的训练，第二个是基于训练好的模型进行故障的诊断。

该模型的训练基于大量的多模态风机叶片数据，这些数据包括声音、振动和图像等多种模态。为了充分利用这些数据，模型采用了多层多模态数据融合的方法，将不同模态的数据进行有机结合，从而获得更加全面和准确的特征表示。在第一步中，模型需要对声音和振动数据进行融合。通过使用1D-CNN的多层卷积对振动和声音向量进行处理，可以获得降维后的向量。这些向量将被联接成声振混合向量，进而用于故障判别。通过这种方法，模型可以同时利用振动和声音数据，提高检测的准确率和鲁棒性。

在第二步中，模型使用梯度下降法对数据进行训练，以得到声振模态的诊断模型。通过训练模型，可以提高模型的诊断准确率和鲁棒性，从而更好地捕捉到风机叶片故障的本质特征。此外，为了提高模型的诊断能力，模型还包括基于图像模态的诊断模型。该模型使用ResNet网络处理风机叶片的图像数据，并根据获得的故障数据进行训练。通过这种方法，可以有效地处理图像中的噪声和背景复杂度等问题，提高诊断的准确性。

最后，模型将声振模态和图像模态的诊断结果进行融合，得到一个综合模型。该模型能够更好地捕捉到风机叶片故障的本质特征，提高诊断的准确性。

在基于训练好的模型进行故障诊断时，需要获得叶片的多模态数据。在进行诊断前，需要对获得的叶片数据进行预处理，包括噪声滤波、数据归一化等操作，以确保数据质量和一致性。接下来，将预处理后的数据输入到模型中，模型将从多个数据源获取信息，如声音、振动、图像等，将不同模态的数据进行有机结合，从而获得更加全面和准确的特征表示。

模型将对每个模态的数据进行处理和分析，然后将结果进行融合，得到综合的诊断结果。这个综合结果可以直接用于叶片的故障诊断，也可以通过结合专家经验和其他外部信息，提高诊断的准确性和可靠性。需要注意的是，模型诊断结果只是作为参考，最终的判断结果还需要人工进行确认和判断。当诊断结果和实际情况不符时，需要进一步分析和修正模型，以提高模型的准确性和可靠性。

图4 声振数据的混合检测模型

该模型可被装载到风机远程检测系统中进行风机叶片的故障检测，检测系统可以远程收集到叶片的各项状态指标，通过5G信号发射器等方式发送到检测端，检测端对于收集到的叶片的信号进行处理，得到叶片故障的诊断，反馈给人工，人工可以进行进一步检测。这样的检测方式实现了远程监控，同时检测的准确率得到提升，并且降低了检测成本。

在试验验证部分，通过构建模拟风机平台对模型进行训练和验证。平台的构建包括模拟风机的构建和风机故障对照组的设置。对照组包括三组：正常叶片风机、磨损叶片风机、断裂叶片风机。

通过该模型在模拟平台上的验证得到，该模型相比单一模态的模型具有更好的泛化能力。同时对于故障检测的准确率也有所提升。

试验结果显示，该模型可以更好地检测出风机叶片缺陷，尤其是在复杂环境下具有更好的鲁棒性。此外，该模型还具有更好的泛化能力，即在不同的测试数据集上也能表现出很好的性能。这为风机设备的故障诊断和维护提供了有效的工具和手段。通过使用多模态模型，可以更快速、准确地检测出风机叶片缺陷，帮助设备维护人员更好地了解设备的状态并采取相应的措施，从而保证设备的正常运行和延长其寿命。

该模型的提出可以为风能设备运维带来多方面的积极影响。首先，基于深度学习的检测系统可以提高叶片损坏检测的准确率，多模态数据融合，可以更快速、精确地检测出叶片的故障。其次，该模型可以实现远程监控和线上检测，通过传感器获取数据后实时分析和诊断，大大降低了检测的成本，并且减少了现场检测的安全风险。最后，该系统的泛用性广，可以对多种环境下风电设备的故障检测都具有积极的影响。综上所述，该模型的提出对于风能设备运维具有重要意义，有望对风能行业检测技术领域的产生积极影响。