焊接缺陷识别中的多模态注意力方法

赵新玉， 马小创， 李正光， 张佳莹

(1.大连交通大学 ，辽宁 大连 116028；2.大连外国语大学,语言智能研究中心，辽宁 大连 116028)

0 前言

建立焊接过程参数与焊接缺陷之间的关联对焊接产品质量控制具有重要意义。自动化和智能化焊接，需要焊接系统能够依据焊接过程采集的参数来预测焊接质量。

利用不同传感器监测焊接过程中的焊缝质量具有重要意义[1-4]，利用不同传感器的互补性，实现更全面可靠的焊接质量监测动态过程，You等人[5]提出了一种基于SVM的方法，通过多传感器来检查激光焊接过程中的缺陷。Cui等人[6]建立了一种多传感系统，获得电弧声、电弧电压和焊接电流的信号，利用ECCOC SVM-GSCV模型，在TIG焊缺陷识别中获得了较高的准确率。Sumesh等人[7-8]研究了机器人GMAW过程中的焊接质量使用决策树，利用焊接电流、电弧电压和声学信号对缺陷进行分类，由于大量的过程参数使过程更加复杂，因此在GWAM焊接中进行的研究较少。孙明健等人[9]利用光学信号为主体、结合光学信号和超声信号3种模态来分析金属材料的缺陷，得到了缺陷的完整信息，获得了精确可靠的检测，该方法使用ANSYS有限元仿真软件。胡文刚等人[10]提出融合超声信号和图像的焊接缺陷识别方法，该方法利用BP神经网络，通过对缺陷的回波信号特征与缺陷形态特征的数据融合，实现了焊缝缺陷识别，提高了焊接缺陷识别率。

焊接过程中的电压、电流、声音、熔池图像信息，对于不同的焊接缺陷，其区分能力不同，因此文中将电压、电流作为一种模态，声音作为一种模态，图像作为一种模态进行焊接缺陷分类。SVM分类器大规模训练样本，具有速度慢、费时费成本的缺点，而卷积神经网络是一种端对端检测模型，具有移植性好和精度高的特点[11-12]，很多研究者利用卷积神经网络对图像处理进行处理，Bacioiu等人[13]利用卷积神经网络对HDR相机捕捉TIG焊焊接熔池和周围区域单一模态进行分类识别，具有较高的分类精度。文中其缺陷识别的主模态也是熔池图像，因此利用3支卷积神经网络提取电流、电压、声音及熔池图像的特征信息，并加入空间和通道注意力，以有效地提高焊接缺陷的检测能力。

1 网络结构

该试验建立3个分支的卷积神经网络，分别对熔池图像、声音、电流和电压进行处理。最终网络结构的3支卷积神经网络安排如下，图像采用10层卷积，5个池化层进行处理，图像卷积采用2D卷积进行处理，激活函数为relu。声音、电流与电压都是采用8层卷积，一个池化层进行处理，卷积采用的是1D卷积，激活函数为tanh。其模型结构简图如图1所示，在3个分支神经网络提取到3个数据集特征之后，最后进行特征拼接，经过2个全连接层之后进行预测分类。

图1模型框架图中，在卷积神经网络第2层后加入注意力机制，先经过通道注意力机制，得到注意力图Mc，经过空间注意力机制，得到注意力图Ms，送入第3层卷积中。

2 五折交叉验证与注意力机制

2.1 五折交叉验证

五折交叉验证用来测试模型的准确性，验证在新数据上的预测能力。在一定程度上减小数据的过拟合情况，防止数据的浪费应用。训练集、验证集、测试集的数据分配如图2所示。

图2 五折交叉验证配比

按照图2把数据分为5次进行训练、验证、测试，来验证模型的稳定性及分类结果受数据的影响程度。

2.2 注意力机制

近年来，基于注意力的深度学习模型对图像识别、分类的问题有着良好的处理效果[14]，在各个领域得到了广泛的应用。深度学习过程中的注意力模块模仿了人类对事物的注意力，会优先提取图片的特征信息。该试验的注意力机制CBAM(Convolutional block attention module)，其包含2个网络模块：空间注意力机制(Spital attention)和通道注意力机制(Channel attention)[15]，这2个注意力模块可以加入到卷积神经网络中进行训练。CBAM 结构如图3所示，从图中清楚地看到通道注意力机制和空间注意力机制是单独存在的，结构相对简单，网络中加入CBAM 模块，网络结构在空间和通道做了微小的调整，并不影响网络结构的复杂程度。

图3 卷积模块的注意力机制模块

图4表示的是通道注意力模块的简图，输入一个特征图F，经过一次最大池化操作和一次平均池化操作，再通过一个多层感知器把这2个结果连接在一起，它们的通道数都是一样的。使用激活函数上述过程进行处理，得到通道层面的注意力特征图Mc，将通道注意力结果特征图和输入特征图做乘法操作，得到最后微调后的特征图。用式(1)表示：

Mc(F)=σ(MLP(AvgPool(F))+

MLP(MaxPool(F)))

(1)

式中：σ表示Sigmoid函数；MLP表示多层感知器；AvgPool表示全局平均池化；MaxPool表示全局最大池化。

图4 通道注意力模块

在图5中可以看出，空间注意力模块的简图，它是在前一个通道注意力的结果作为输入，再次经过最大池化和平均池化，将其结果送入卷积层。此卷积层卷积核大小为 7 × 7、步长为 3，最后进入Sigmoid激活函数输出。将空间注意力模块的输出结果与在通道注意力机制的输入的特征图对应相乘，生成新的特征，将其记为Ms，用式(2)表示：

Ms(F)=σ(f7×7([AvgPool(F);Max(F)]))

(2)

式中：σ表示 Sigmoid 函数；f7×7表示卷积核大小为 7 ×7 的卷积操作；AvgPool表示全局平均池化；MaxPool 表示全局最大池化。

图5 空间注意力模块

3 数据处理

3.1 数据对齐

电流、电压与声音数据集都是采用数组方式进行存储，每个时刻的电流、电压与声音信号都是一定维度的数组。

由于各个传感器的频率不同，因此在采集到的电流、电压、声音、与图像数据并非一一对应，只是在各自的模态上起到相应的作用，为了使数据在时间维度上对齐，方便各个模态之间进行信息交互，需要对数据进行补齐处理，其方法如下：

假设电流、电压与声音在一个焊缝号有5条数据，而对应此焊缝图像有11条数据，图像数据个数大于电流、电压与声音的个数，具体处理方法见表1。在T0，T3，T5，T7，T105个时刻，电流、电压和声音与图像都有对应的数据，电流、电压为T0VOC，T3VOC，T5VOC，T7VOC，T10VOC，声音为T0S，T3S，T5S，T7S，T10S，而此时图像在每个时刻都有信息，因此为了一一对应便引出了该对齐方式，在T1时刻时，计算T1-T0和T2-T1的差值，如果T1-T0较小，则在T1时刻补充T0时刻的数据，反之补充T2时刻数据，以此类推，把每个缺少时刻都进行补充，最后电流、电压、声音、图像数据一一对应。

表1 数据对齐方式

3.2 数据维度对齐

在电流、电压与声音数据集中，每组数据的特征信息的数据长度不等，因此要对数据进行处理。综合考虑各方面的因素，包括计算机的性能和数据普遍的长度，以2 500个点的脉冲信息的数据长度作为标准，大于2 500个点的数据脉冲选取前2 500，小于2 500个点的数据脉冲的数据，用零进行补充。

3.3 数据标签标注

在原始数据中，每条数据对应一个标签，由于在焊接过程中存在2个过程，即焊接准备阶段和焊接结束阶段，这2个阶段为正常，对其他数据，错边为0，未焊为1，咬边为2，气孔为3，正常为4，摆动为5，焊漏为6，夹渣为7，卡丝为8，焊偏为9，未熔为10。

4 试验和结果分析

4.1 试验数据

该试验采用的图像、电流/电压、声音4种模态信息，是一个高级焊工通过调节焊接位置、焊接电流、电弧电压、是否送保护气模拟出十种焊接缺陷，通过4个传感器获得4种模态信息。试验数据包括6 166条声音数据，6 166条电流/电压数据，以及9 233条图像数据，有11种标签，随机打乱后，60%共5 540条数据作为训练集，20%共1 846条数据作为验证集，20%共1 846条数据作为测试集。

4.2 试验环境与设置

试验环境见表2。利用Adam优化器进行模型优化，初始学习率设置为1×10-4，迭代次数为100个epoch，数据批量处理大小batchsize为32，dropout_rate为0.5，使用softmax进行分类。

表2 试验环境

4.3 分类评价指标

准确率(Precision，P)和召回率(Recall，R)是信息检索和统计学分类领域的两个度量值，用于评价模型的性能[16]。有时候需要综合评估模型的性能，最常用的方法就是F-Measure(又称为F-Score)。计算公式如下:

(3)

(4)

(5)

式中：TP预测为正例实际为正例的数量；FP预测为正例实际为负例的数量；TN预测为负例实际为负例的数量；FN预测为负例实际为正例的数量。

4.4 试验结果与分析

4.4.1加入注意力机制之后图片增强比较

把双通道注意力机制加入图像卷积神经网络中，增强图片的特征信息，图6为注意力机制增强前后的图片信息，图像是焊接过程中的熔池图片。图6注意力机制加入前后对比图，该图像是通过模型可视化得到，通过模型对图像进行复现，可以清楚地看到图像增强的区域，注意力机制有助于模型重点关注到焊接熔池，使得焊接熔池的轮廓更清晰，从而提高模型的缺陷识别能力。

图6 注意力机制前后对比图

4.4.2注意力机制加入2层后与加入10层后的结果比较

把空间注意力机制和通道注意力机制加入到图像神经网络中，通过多次试验，可以看出把注意力机制放到神经网络的前端效果更好，表3是注意力机制加入神经网络的第2层后和加入到第10层后的结果对比。从表3可以清楚地看到，把注意力机制加入到神经网络的2层后相对于加入到10层后F值有着明显的提高，说明注意力机制加在神经网络的前端有着明显的增强效果。该结果表明，注意力机制在图像处理中应该加在初始网络层，也符合人类的认知习惯，对于图像人类大脑是一种表层认知，与抽象的语言认知不同[17]。

4.4.3加入注意力机制与不加注意力机制结果分析

把注意力机制加入到图像卷积神经网络的第2层卷积后与不加注意力机制的结果对比见表4。从表4中可以看到，把双通道注意力机制加入图像卷积神经网络的第2层后与不加入注意力机制结果对比可以看出，R值在加入注意力机制之后得到很大程度的提升，识别率增加了0.2%以上，均方差相对于不加注意力机制偏小，说明数据更偏于稳定。从F值的角度看，在加入注意力机制的情况下，咬边、气孔、正常、焊漏、夹渣、卡丝的识别效果高于不加注意力机制，有了明显的增强效果，均方差波动较小，说明受数据影响较小。错边、摆动、焊偏、未熔的识别效果并没有增加，是因为熔池特征不明显，导致数据特征信息增强的不明显。

表3 注意力机制加入神经网络的结果对比

表4 加入注意力机制前后结果对比

5 结论

(1)利用3支卷积神经网络来对焊接熔池图片、声音、电流和电压进行信息提取，融合识别。

(2)利用五折交叉验证的方式来验证此模型的稳定性，结果显示，缺陷识别的F值大多在92.6%以上，根据均方差说明数据识别稳定。

(3)验证了双通道注意力机制嵌入卷积神经网络的浅层效果优于深层。

(4)在图像卷积神经网络中加入注意力机制，增强焊接熔池图片信息，F值得到明显提升。

(5)4种模态信息可利用4个传感器获取信息，为以后的实时检测焊接缺陷提供了思路。