改进YOLOv4算法的GFRP内部缺陷检测与识别

赵博研， 王 强， 王 毅， 张鹏涛， 高建国

(空军工程大学装备管理与无人机工程学院， 西安， 710051)

复合材料是指几类不同材料通过复合工艺组合而成的新型材料[1]。玻璃纤维因具有较强的拉伸强度、电绝缘性、阻燃性、耐高温性等优异性能而作为增强材料用于复合材料中[2-3]。玻璃纤维增强树脂基复合材料(glass fiber reinforced polymer, GFRP)也因玻璃纤维的突出性能广泛应用于飞机机身、飞行器雷达罩[4]、热防护部件等结构。在GFRP的制备和应用过程中，不可避免地会出现内部分层、脱黏等损伤缺陷，对航空航天器产生安全威胁。选取对GFRP合适的检测手段，直接影响GFRP的损伤检测、质量控制、安全评估等过程的可靠性和高效性。

目前已有学者对GFRP的无损检测进行了研究，具有代表的检测手段有超声成像检测[5]、红外无损检测[6]、热波检测[7]等。太赫兹波对大部分非金属、非极性材料有较好的穿透能力，并具有低能性、穿透性、光谱识别性等[8-9]，其与成像技术结合逐渐在无损检测领域取得优异表现[10]。郭小弟等人利用THz-TDS系统和返波振荡器连续太赫兹波系统对玻璃纤维复合材料的分层、夹杂金属和热损伤缺陷进行检测[11]。张丹丹等基于双高斯脉冲反卷积滤波技术提出一种太赫兹反射式层析成像，实现了GFRP的缺陷检测,并用B-scan成像方法进行了对比[12]。WANG Q等基于太赫兹时域和频域成像法，结合小波融合和多尺度边缘表示方法对玻璃纤维复合材料的夹层结构中分层缺陷进行了检测[13]。同时，由于太赫兹波低频段与毫米波有重叠，因此太赫兹图像与毫米波图像具有相似的特点：太赫兹波的衍射效应导致图像目标边缘模糊、干涉效应导致图像存在明显的明暗条纹[14-15]。太赫兹图像还受太赫兹源器件的功率限制和环境背景噪声的影响，导致太赫兹图像质量并不理想[16]。因此利用太赫兹成像技术对缺陷进行人工识别存在较大主观因素干扰，高强度的长时间检测会引起对缺陷的漏判错判情况。

目前，目标检测模型根据是否生成候选框区分单阶段和双阶段两种方法，前者代表方法有YOLO[1]系列网络、SSD[17]、RetinaNet[18]等，后者代表方法有R-CNN[19]、Fast R-CNN[20]、Faster R-CNN[21]、Mask R-CNN[22]等。太赫兹图像为灰度图，背景相对单一，在相关应用领域检测任务往往将太赫兹图像目标检测归为单目标检测问题[23]。太赫兹图像的目标识别方向研究在表面缺陷检测和安检危险物识别方面有较多报道。成志广通过优化网络结构进行有效的特征提取，提出“ID-SSD”算法，实现对安检中隐藏危险物准确高效的识别[15]。侯冰基等通过在线困难样本挖掘等方法提出一种基于改进Faster R-CNN的图像实时目标检测算法，获得较高的准确率和检出率，较大提高F1分数[23]。薛飞等提出Mask-CGANs模型，并结合RetinaNet检测网络，搭建条件生成对抗网络，对带有藏匿物品的太赫兹图像进行了精准高效的分割和识别[24]。

1 YOLOv4算法

YOLOv4算法在YOLOv3的基础上提出，该模型是典型的一阶段的目标检测算法，实现了端对端的目标检测。YOLOv4网络主要由主干网络(Backbone)、颈部(Neck)和头部(Head)组成。Backbone采用CSPDarknet53，Neck由空间金字塔池化模块(spatial pyramid polling, SPP)和路径聚合网络(path aggregation network, PAN)构成，Head仍采用YOLOv3的头部。

主干特征提取网络CSPDarknet53将Darket53与CSPNet进行结合，并使用Mish激活函数代替Leakly ReLU激活函数。SPP利用不同大小的池化核对输出的特征图进行池化操作增强感受野，通过多初度训练有效分离显著的上下文语义信息。PAN通过卷积、上采样、下采样和特征融合操作实现3个不同主干特征层的参数聚合，加强特征交流，并使用张量连接代替原来的捷径连接。YOLOv4继承了YOLOv3的Head，首先对PAN输出的三个特征层经过一次卷积操作进行特征整合，再经过一次卷积操作对检测结果进行预测，通过对先沿框的调整，即解码得到预测框，实现端到端的目标检测。

此外，YOLOv4还结合多种调优技巧，例如运用Mosaic数据增强方法、权残差连接(WRC)、自对抗训练(SAT)、CIoU作为损失函数等，是现阶段目标检测算法中性能优异的检测算法之一。

2 改进的YOLOv4算法

2.1 网络结构

在YOLOv4模型中，图片经过CSP Darknet下采样提取出3种不同尺度的有效特征图，对应3种不同尺度的YOLOv4 Head预测模块。浅层特征图包含更多细节信息，随着不断下采样操作，深层特征图获得较强语义信息，维度为26×26、52×52的特征图负责对中小目标进行预测输出，维度为13×13的特征图负责对大目标进行预测输出。

在本文的目标检测任务中，模型输入尺寸为416×416。经标注过程计算，本实验缺陷目标尺寸均小于32×32。一方面，在32倍下采样至13×13尺度时，尺寸小于32×32的缺陷目标被“压缩”至一个像素以下，因此维度为13×13的特征图对小目标的位置信息的检测能力是有限的，缺陷的特征信息在下采样过程中存在一定丢失。另一方面，对于尺寸小于32×32的缺陷，维度为13×13的特征图对应负责输出预测大目标，该检测模块的意义不大，其存在还会导致模型参数冗余、占用消耗计算资源。同理，在8倍下采样至52×52尺度的输出特征图时，对像素小于8×8的缺陷目标检测精度下降明显，原因是负责检测小目标的有效特征图虽然融合了具有丰富目标语义信息的深层网络特征图，但是没有充分利用4倍下采样的浅层网络特征图的目标信息，因此对小目标的定位能力有限。综上，对YOLOv4算法的改进如下：

1)根据目标尺寸删除检测尺度为13×13的YOLO Head，见图1蓝色部分。引入检测尺度为104×104的YOLO Head，对应在PAN中52×52尺度的有效特征层通过上采样与104×104有效特征图进行融合，加强模型对缺陷尺寸小于8×8目标的检测效果，提高模型准确度，见图1黄色部分。

2)将主干提取网络中第2个残差块输出的104×104尺度的有效特征图经过下采样与52×52尺度的有效特征层进行融合，加强对浅层目标位置信息的利用，提升检测尺度为52×52的预测模块检测精度，见图1黄色部分。

图1 改进的YOLOv4模型

2.2 聚类算法

数据采集过程是通过设计样件进行太赫兹检测实验获取的，这限制了待检测目标的相对尺寸。原YOLOv4模型通过聚类对每种预测特征图设定3种anchor box，anchor box的初始选择直接参与网络边界框回归损失的计算，影响目标检测网络模型训练的速度和精度[25]，为初始化anchor box，本文用K-means聚类算法对其进行计算。算法流程如下：

1)读取每个xml标注文件中所有缺陷标注框的宽和高，在所有数据中随机选取9个标注框作为聚类的初始中心点。

2)计算各个样本与所选取聚类中心点的距离，并以此为标准将该样本归为距离最近的初始中心点所在集合。

3)计算新的集合中所有样本高和宽的均值，更新下一轮迭代的聚类中心点。

数据集样本间的相似性度量定义为标注框与聚类中心点的交并比(intersection over union, IoU)，记为I，见式(1)。通过对聚类准则函数Distence(D)迭代优化获得最优的先沿框，见式(2)，以Evaluation(E)值作为聚类效果的评价指标，见式(3)。

(1)

(2)

(3)

式中：Bi为第i个标注框的面积；Cj为第j个聚类中心点的面积；I(Bi,Cj)为第i个标注框与第j个聚类中心的交并比；n为待检测目标的数量；k为聚类中心点的个数。

本文虽然对检测头部进行了调整，但YOLOv4算法进行预测时，每个网格对应9个候选框，因此本文选取9个聚类中心。经多次计算得到最优的anchor值维度为：(13×18)、(23×24)、(27×39)、(30×29)、(36×36)、(44×41)、(50×52)、(69×61)、(90×93)，其在实验数据集上E为80.63%。尺度为104×104的预测层对应的anchor box为(13×18)、(23×24)、(27×39)；尺度为52×52的预测层对应的anchor box为(30×29)、(36×36)、(44×41)；尺度为26×26的预测层对应的anchor box为(50×52)、(69×61)、(90×93)。

3 数据采集

本文通过在GFPR样件内部预埋聚四氟乙烯薄片以模拟分层缺陷，通过自主搭建新型反射式太赫兹时域光谱系统对样件进行检测。根据不同成像方法获取初始数据集，随后进行数据预处理构建数据集，为目标检测实验提供支持。

3.1 检测实验

搭建一种反射式太赫兹时域光谱系统——多自由度光纤耦合式太赫兹时域光谱系统，其主要包含4个模块：太赫兹系统控制模块，光纤耦合式太赫兹时域光谱光路，智能协作模块和太赫兹波收发一体模块，其整体实物如图2。

图2 多自由度光纤耦合式太赫兹时域光谱系统实物图

光纤耦合式太赫兹时域光谱系统采用T-Light光纤飞秒激光器，太赫兹发射及接收器均是基于InAlAs/InGaAs材料的具有台面结构的多层异质结构(MLHS)，激光器的输出端口连接1.5 m单模保偏光纤，最大输出功率约为110 mW，中心波长1 550 nm，脉冲宽度<90 fs，系统信噪比在低频段能够达到65 dB左右。

实验样件为玻璃纤维SW180/环氧树脂3218斜纹织物预浸料层压板，由2块相同厚度的层合板二次胶接而成，板板区胶膜厚度为0.2 mm。样件共5块，编号分别为C1、C2、C3、C4、C5，样件长度均为180 mm，宽度均为180 mm，其中上面板、下面板均由0.25 mm的铺层构成，铺层顺序为[0°/45°/90°/-45°]。预置聚四氟乙烯圆形薄片于样件铺层上下来模拟内部分层缺陷，薄片直径设置不同梯度，薄片厚度均为0.02 mm，位于上蒙皮不同铺层或铺层与胶膜之间，样件信息见表1(表1中“x”意为“在第x铺层下”)。

表1 样件信息表

以C1为例，样件上面板、下面板均为1 mm。样件共设5列缺陷，每一列缺陷尺寸相同，缺陷半径分别为2 mm、3 mm、6 mm、8 mm和10 mm，将缺陷排列为4行，第1行缺陷位于第1个铺层下，第2行缺陷位于第2个铺层下，第3行缺陷位于第3个铺层下，第4行缺陷位于胶接面的胶膜上。以C1和C3样件为例，C1、C3设计图、实物图见图3。

图3 C1、C3设计与实物图

实验在室温环境(约292 K)进行，设定扫描步长为1 mm，根据样件尺寸确定扫描范围C1、C2为135 mm×135 mm，C3、C4、C5为140 mm×140 mm。实验获得5组样件的时域波谱，通过快速傅里叶变换[26]获取对应的频域波谱，利用不同的特征信息进行时域模式成像和频域模式成像，具体包括切片法频域数据成像、切片法时域数据成像、峰峰值成像、最大值成像、最大时间成像、功率谱密度成像。5组样件对应不同成像方法分别进行成像，共获取初始数据集图片150张。以切片法时域数据成像结果为例，各组样件成像效果如图4。

图4 各样件的切片法时域数据成像图

3.2 数据预处理

为有效训练目标检测网络，在玻璃纤维复合材料分层缺陷损伤数据集构建过程中对获取的成像数据进行预处理。

首先，对初始数据集150张图片进行数据筛选，逐一观察图片的光学效果，剔除成像效果差的样本，经筛选最后选择有效数据集图片共112张。

其次，由于太赫兹成像图为灰度图，相对背景单一，显然直接作为目标检测模型的输入可造成网络训练过拟合的现象，并且对于检测任务来说数据量不足，因此对筛选后的数据集图片进行数据增强。对筛选后的112张图片首先分别进行图像随机裁剪、图像随机旋转、添加高斯噪声操作，其次对初始数据集和以上3种增强后的数据运用CutMix方法进行数据增强。本文选用的数据增强效果图如图5。最终获取数据集图片1 120张，其中训练集和测试集分别为896张和224张。

图5 数据增强效果图

最后，选用“Labelimg”标注软件对增强过的数据进行标注。

4 算法性能与实验结果

4.1 实验平台与模型参数

操作系统选用Ubuntu18.04，CPU为Intel Core i7-9500，GPU为NVIDIA GeForce RTX 2060ti，所测试的模型均在Darknet框架中训练。

模型参数见表2。训练迭代次数到12 000次和13 500次时，学习率分别衰减10倍。

表2 模型参数信息表

4.2 评价指标

在目标检测任务中，通常当预测框与实际标注框重合的交并比(IoU)大于0.5时认为成功检测目标，由于本实验任务为单类缺陷的目标检测，AP与mAP值相同，均能评价模型整体的检测精度。本文选取的评价指标包括：准确率(precision,P)、召回率(recall,R)与平均精确率(average precision,PA)。计算公式如下：

(4)

(5)

(6)

4.3 实验对比与分析

为了测试改进YOLOv4模型的检测效果，本文设置3组实验进行对比分析：实验1为原YOLOv4模型；实验2为在原YOLOv4模型基础上利用K-means聚类算法重新计算anchor box；实验3为利用聚类算法的改进YOLOv4模型。从实验1与实验2的对比可以分析初始anchor box对模型检测效果的影响，实验2与实验3对比可以分析改进网络结构对模型检测效果的影响。为方便对比模型性能，分别将3种实验中用到的网络模型记为YOLOv4、YOLOv4-B、YOLOv4-C。

测试集包含224张图片，共含标注缺陷940个。实验结果见表3。

表3 实验结果信息表

从结果定量角度对比，包含重新对anchor box聚类的模型YOLOv4-B获得了85.23%的准确率和83.51%的召回率，较原YOLOv4模型准确率和召回率分别提高了2.66%和3.72%。特别地，改进后的模型YOLOv4-C在同一训练环境下获得了91.05%的准确率和92.02%的召回率，相比YOLOv4-B模型准确率和召回率又有3.07%和4.79%的提高。

选取检测结果见图6。(a)、(b)、(c)组依次为3种实验部分结果，其中红色框为模型检测结果，人工标注的白色框为错检现象，黄色框为漏检现象。可以看出，原YOLOv4模型检测目标的置信度不高，并且存在明显漏检现象和错检现象，对小目标的检测能力较差，模型对背景噪声敏感，模型鲁棒性较差。YOLOv4-B对部分漏检的缺陷检测虽然置信度不高但是能够进行有效识别，目标缺陷检测置信度有小幅上涨，虽然YOLOv4-B模型的检测性能较原YOLOv4虽然有一定的提高，但漏检现象仍然存在，如第3组检测结果。改进后的YOLOv4-C模型横向对比来看，对缺陷目标的检测没有漏检和错检现象，对小目标缺陷的识别效果上升到一定高度，识别的精度较高，从整体上达到期望的检测效果，满足所需性能要求，具有较好鲁棒性。

图6 检测结果

进一步分析YOLOv4-C模型的检测能力，图7(a)中检测出最小的缺陷目标像素尺寸(5×5)小于8×8，通过对anchor box重新聚类增强网络的一定定位能力，并且充分利用了4倍下采样的浅层网络特征图的目标信息，进一步提高定位能力，进而较大改善了漏检的问题。图7(b)中可以看出，检测缺陷的置信度均高于99%，对缺陷的判断达到了较高水平。图7(c)可以看出在背景噪声已经达到干扰人工肉眼识别缺陷的程度，但是我们的YOLOv4-C模型依旧出色完成检测任务，而且计算的置信度也引人注意，YOLOv4-C模型对噪声的“免疫力”较高，体现出改进后模型出色的鲁棒性。值得一提的是，在少部分检测结果中观察，目标框包含一定的背景部分，这是由于缺陷边界存在不清晰的情况，并且存在一定系统误差，例如在构建数据集的数据标注阶段，作者的标注操作习惯引起的误差。

图7 缺陷目标检测性能对比

另外，在模型测试阶段对模型的检测速度与模型大小进行观察，模型YOLOv4、YOLOv4-B和YOLOv4-C的每秒处理帧数(frame per second, FPS)分别为74.6、76和79，在检测速度上的提高是由于经过聚类初始化anchor box的作用；YOLOv4模型和YOLOv4-C模型的权重文件大小分别为244 MB和247 MB，这是由于网络结构改变参数量不同所致。

5 结语

本文针对玻璃纤维复合材料样件分层缺陷的检测任务，基于YOLOv4算法提出了一种对缺陷太赫兹图像的检测方法。通过搭建太赫兹时域光谱系统对设计的模拟样件进行缺陷检测实验，进行数据增强等预处理获取目标检测实验数据集。通过K-means聚类算法优化anchor box以小幅度提高检测精度和检测速度，对路径聚合网络中特征图的特征融合进行调整，充分利用浅层细节信息，在新的3个尺度上建立目标特征检测层。实现YOLOv4算法对搭建的数据集样本进行训练，经多次试验训练网络，在测试集上获得91.05%的准确率和92.02%的召回率，相比原YOLOv4算法提高5.73%和8.51%，漏警率降低8.51%。对于检测小目标能力有较大提高，并消除了几乎全部的漏检和错检现象，模型具有较好鲁棒性。接下来的工作，继续调研实际需求，平衡检测精度和检测速度，追求轻量化网络，构建更适合相关检测的网络模型。