奥氏体不锈钢焊缝超声相控阵检测图像智能分类

张雨航， 张 旭， 付丽敏

(1 湖北工业大学机械工程学院， 湖北 武汉 430068； 2 湖北省现代制造质量工程重点实验室， 湖北 武汉 430068)

由于具有更高的检测灵活性以及定量、定位精度高等优势，无损检测领域的超声相控阵技术常常用于复杂工件的检测。但在检测过程中，由于检测人员的过度疲劳、心理压力、经验不足等因素，容易导致误检率大大上升。而使用自动化分类方法可以消除人员精神疲劳、经验不足等因素对检测结果的影响。早期一些研究人员开始使用简单的神经网络和传统的机器学习模型对各种类型的无损检测缺陷图像进行分类。如：Cruz等利用小波变换和余弦变换等方法来实现特征提取，然后使用基于主成分分析的特征提取训练浅层神经网络，从超声波A扫描中检测裂纹[1]；伏喜斌在标记的改进分水岭TOFD 检测图像分割的基础上,分别利用局部相位量化和局部二值模式获取缺陷区域的特征参数,然后将二者特征参数进行归一化融合,再将融合特征向量用SVM模型进行分类识别，其融合特征分类识别正确率达到87.10%[2]。但是这些方法都需要人工设计提取特征的方法。深度学习领域的卷积神经网络由于可以较好地自动提取样本中复杂的高层次的结构特征用以描述样本数据，反应样本的特性，也被普遍应用到了图像自动分类，在无损检测领域也取得了一定进展。Zheng Tong等使用深层卷积神经网络对探地雷达图像进行路基缺陷自动分类，验证准确率为96.8%[3]。Munir等设计了一个简单的卷积神经网络进行噪声条件下的焊接件超声缺陷分类，分类结果表明卷积神经网络具备良好的鲁棒性，并且在高噪声和低噪声情况下都有很好的预测性能[4]。谷静等基于DenseNet网络来进行X射线焊缝的缺陷分类识别，对焊缝缺陷识别准确率可达98.9%，但是如何更好地减少网络参数、优化内存还有待研究[5]。

本文研究了通过轻量化卷积神经网络MobileNetV2对奥氏体不锈钢焊缝超声相控阵B扫图像数据集进行训练和测试，以实现缺陷的自动分类，并进一步改进MobileNetV2的训练方法和模型结构，使其在奥氏体不锈钢焊缝超声相控阵检测图像缺陷分类的任务中达到良好的分类效果。

1 焊缝缺陷检测方法的选择

奥氏不锈钢在工业上应用比较普遍， 其焊缝缺陷的检测多先采用超声相控阵设备得到超声相控阵图像， 再对获取到的检测图像进行分析， 判断其有无缺陷， 人工检测过程复杂。 虽然使用传统的机器学习算法可以实现缺陷的自动分类， 但是需要人为地设计使用小波变换、 主成分分析等特征提取方法来对原始图像进行特征提取预处理，然后使用经过预处理过后的特征信息数据作为训练数据， 并且分类效果又比较依赖于特征提取的作用好坏。如果所设计的特征提取的方法不好，会影响最终的分类效果[6]。 而奥氏不锈钢焊缝的粗晶粒以及材料各向异性导致得到的超声相控阵检测图像噪声较大， 信噪比低， 图片质量不好，这就给人工设计提取特征带来了困难。 而卷积神经网络可以完成特征的自动提取， 既减少工作量， 也能使分类结果更稳定。 这也是本文选择使用卷积神经网络来进行奥氏体不锈钢焊缝超声相控阵B扫图像缺陷分类的一个重要原因。

考虑到实际应用中硬件条件的限制导致计算资源不足等因素，本文选用目前主流的轻量化卷积神经网络MobileNetV2。MobileNetV2基本模块将深度可分离卷积和改良的shortcut连接相结合，使其与大型的卷积神经网络InceptionV3、ResNet50、DenseNet121等相比拥有更少的参数量，同时能够减小特征信息被破坏的损失，加强了网络中特征信息的传递，提高了网络的性能。

2 奥氏体不锈钢焊缝超声相控阵B扫图像数据集

超声相控阵的检测对象为一根奥氏体316L不锈钢管上的对接焊缝。Trueflaw有限公司在这根奥氏体不锈钢管靠近焊缝根部的管道内径上发现3个深度分别为1.6、4.0和8.6 mm的热疲劳裂纹，并使用超声相控阵技术进行了检测。扫描采用Zetec Dynaray 64/64PR Lite探伤仪，使用的探头是IMASONIC 1.5 MHz 1.5M5x3E17.5-9相控阵探伤仪探头，采用剪切波进行数据采集。详细的实验过程见文献[7]。

用卷积神经网络实现超声相控阵图像缺陷智能分类的第一步，需要先准备好数据集。一个完整的数据集包含了训练样本、验证样本和测试样本。本文实验的数据集由Trueflaw公司提供。Trueflaw公司在获取上述实验的奥氏体不锈钢焊缝热疲劳裂纹超声相控阵B扫图像后，采用eFlaw技术扩展了原始数据集，获取到更多有代表性的缺陷样本。eFlaw的核心思想是从有缺陷的数据集中提取缺陷信号，然后重新将缺陷信号引入数据集中的各个位置，以提供不同位置缺陷的样本，同时也可以将原始裂纹信号幅值进行修改后引入原始数据集，构造出一些不同尺寸的裂纹[8]。数据集中的图像是分辨率为256×256的RGB图像。Trueflaw公司提供的扩展后数据集一共有20000个图像样本，但是考虑到实际硬件条件限制，本实验抽取了数据集中的1800张奥氏体不锈钢焊缝超声相控阵B扫图像用于训练和测试(数据划分见表1)。图1展示了缺陷信号在不同位置的图像。训练集中又抽取1/4作为验证集。

表1 数据集划分 张

(a)焊缝热疲劳裂纹缺陷图像(1) (b)焊缝热疲劳裂纹缺陷图像(2)图1 焊缝热疲劳裂纹超声相控阵B

3 实验及分析

本文实验分为两部分，均在Ubuntu20.04操作系统下进行。深度学习的框架选用tensorflow2.0。为了契合卷积神经网络的输入尺寸，本文先将原来的数据集图片调整为224×224和299×299两种不同分辨率的RGB图像。

3.1 MobileNet V2与经典卷积神经网络模型对比

为了追求更高的准确率，卷积神经网络的深度和复杂度越来越大，网络模型很难运用在移动或者嵌入式设备上，因此近几年越来越趋向于发展轻量化的卷积神经网络。第一部分实验选取MobileNetV2与具有代表性的InceptionV3[9-10]、ResNet50[11]、DenseNet121[12]卷积神经网络进行对比。模型训练过程中迭代次数设为50次，batch_size设为4，初始学习率设为0.001，学习率下限设为0.000001。如果训练过程中每迭代10次，模型在验证集上的准确度不提升时，学习率减小2/3。对比结果见表2。

表2 实验一测试集Accuracy与Precision、Recall和F1-score对比

通过对比各个模型Accuracy和F1-score可以直观地判断出：迭代训练50次后，DenseNet121和ResNet50的分类效果最佳；InceptionV3略低于DenseNet121和ResNet50；而MobileNetV2 的表现最差，且与其他3种网络模型相比差距较大。虽然结果表明DenseNet121和ResNet50的分类效果优于MobileNetV2，但是相比于MobileNetV2，DenseNet121和ResNet50参数量巨大，内存占用大，不适用于移动或者嵌入式设备上。

3.2 改进了的MobileNetV2

采用图像分类常用的Accuracy、Precision、Recall和F1-score几项指标来评估模型分类效果。评估指标计算公式

(1)

(2)

(3)

(4)

其中：TP为实际有缺陷并且被预测为有缺陷的样本数；TN为实际无缺陷并且被预测为无缺陷的样本数；FP为实际无缺陷但是被预测为有缺陷的样本数；FN为实际有缺陷但是被预测为无缺陷的样本数。

通过查看MobileNetV2在验证集上的准确度后发现，MobileNetV2最终在验证集上的准确度(Accuracy)为0.957，而测试集上的准确度却为0.908，说明MobileNetV2发生了过拟合。为解决过拟合的问题，本文从减缓学习速率和降低模型复杂度两方面对MobileNetV2模型训练进行改进。

为了通过减缓学习速率来防止模型训练过拟合，在参数设置上将原来训练过程中每迭代10次、模型在验证集上的准确度不提升时学习率减小2/3，改为每迭代5次，模型在验证集上的准确度不提升时学习率减小2/3。

为了通过降低MobileNetV2模型的复杂度来达到防止模型训练过拟合的目的，本文将MobileNetV2的平均池化层前的1×1卷积去除，网络最终输出的特征向量维数也由1280下降到了320，同时在全连接层前引入了Dropout层。改进后的MobileNetV2网络结构如图2所示，MobileNetV2中的瓶颈层结构如图3所示[13]。

图2 改进MobileNetV2后的网络结构

图3 MobileNetV2中的瓶颈层结构

上述处理一方面能够防止模型学习到一些不必要的特征，从而防止过拟合，另一方面改进后的MobileNetV2模型参数量由2 260 546个下降到1 843 906个，相比于原始的MobileNetV2模型下降18.4%，权重文件大小也有所减小，进一步轻量化了模型，减小了内存占用(各模型参数量和权重文件大小见表3)。改进后模型和训练方式后的MobileNetV2模型(即MobileNetV2(1))测试结果见表4。

表3 各模型参数量和权值文件大小

表4 测试结果

MobileNetV2(1)代表改进MobileNetV2的训练方法和模型结构后模型在训练集上的测试结果。从实验结果可以看出，改进MobileNetV2的训练方法和模型结构以后，模型在测试集上的Accuracy、Precision、Recall和F1-score分别提升了9.2%、15.1%、0.7%、8.4%，且均达到了100%，与实验一中的DenseNet121和ResNet50达到了相同的分类效果，并且验证集上的准确度也为100%。这说明改进MobileNetV2的训练方法和模型结构以后，确实能够防止模型过拟合，提高了模型的泛化能力，进而提高了模型的分类效果。

4 结束语

本文通过卷积神经网络的方法对奥氏体不锈钢焊缝超声相控阵B扫图像进行了有无缺陷的智能分类。结果表明，虽然奥氏不锈钢焊缝图像噪声较大，但是卷积神经网络可以高精度识别缺陷与非缺陷图像。本文通过改进轻量化卷积神经网络MobileNetV2，在保证其准确度的前提下，减小了模型的参数以及权重文件大小，优化了内存，有利于这项技术未来在移动端上应用。