基于检测图像的排水管道缺陷智能辅助分类方法

何 敏， 齐程程， 陈家雪， 户 莹

(西安理工大学土木建筑工程学院， 西安 710048)

城市地下排水管道在现代城市的正常运行过程中起着重要作用。一方面，它们是保证城市运行的重要基础设施和生命线；另一方面，排水管道故障会严重影响市民正常生活。因此，定期检查既有的排水管道，及时找出排水管道缺陷并采取合理有效维护措施尤为重要[1]。近年来，以管道闭路电视检测(closed circuit television， CCTV)检测技术为代表的管道内窥检测技术在管道缺陷检测领域得到广泛应用，但是存在耗时久，劳动力成本高及检测效果不稳定，取决于操作员的经验水平和图像质量的问题[2]。

自2006年Hinton等[3]首次提出了深度学习概念以来，出现了AlexNet[4]、VGGNet[5]、ResNet[6]等优秀的网络架构。随着深度学习的不断发展，深度卷积神经网络模型开始逐渐应用于排水管道缺陷检测。Rahman[7]分别训练多个深度神经网络，区分管道单一缺陷和正常图像，总体准确度达到90%，但是数据集类型较为单一。Sinha等[8]提出将模糊逻辑测试与神经网络(artificial neutral network，ANN)相结合的神经模糊分类器来测试管道中缺陷的分类。2018年，Myrans等[9]使用隐马尔可夫模型和顺序遗忘滤波来平滑预测序列，机器学习在静止图像上的分类检测精度达到80%以上。Cheng等[10]训练Faster R-CNN对CCTV采集的四种管道缺陷图像进行分类，并建立了一个新模型来研究模型性能的影响因素。Kumar等[11]开发了一种卷积神经网络(convolutional neural network， CNN)来对根部侵入、沉积和裂缝3种管道缺陷进行分类，其测试准确性、准确性和召回率分别为86.2%、87.7%和90.6%。近年来， Li等[12]提出了一种基于深度卷积神经网络的管道缺陷分层分类方法，该方法分类不平衡数据集的性能优于传统方法。吕兵等[13]结合排水管道的CCTV 测绘作业流程及拍摄到的视频缺陷特点，提出了一种基于卷积神经网络的CCTV视频中排水管道缺陷的检测方法，该方法极大地提高了排水管道缺陷检测的智能化和自动化，节省了内业作业的人力，同时满足城市排水管道缺陷检测的需求。王庆等[14]在Faster R-CNN算法基础上，利用聚类分析方法改进候选区域设置，提出一种优化的排水管道缺陷检测模型，优化后的Faster R-CNN网络能够有效提高排水管道缺陷检测的识别正确率。郑茂辉等[15]，结合极限学习机(extreme learning machine，ELM) 神经网络和CCTV检测，建立了一个数据驱动的排水管道缺陷诊断模型，该模型采用遗传算法(genetic algorithm，GA)算法优化ELM 神经网络输入连接权值和隐含层偏置，能够避免参数随机初始化造成的分类结果不稳定、准确率偏低的弊端。

目前，已有的基于深度学习技术的排水管道缺陷识别研究所识别的缺陷种类和数据集样本均较少，不能全面反映排水管网缺陷信息的实际情况。并且所建模型与方法在实际工程中应用也较少。为此，结合规程规范要求，结合深圳市大空港、龙岗、光明3个片区的大量管道缺陷图像人工标注成果，构建了工程常见的10种典型管道缺陷数据集样本；分别采用AlexNet和ResNet50为骨干网络的深度学习模型进行训练，对影响模型准确度的学习参数进行深入研究，对比得到稳定且分类准确度高的排水管道缺陷识别网络模型；将所建立的排水管缺陷识别模型应用到位于深圳市东北部某水质净化厂服务范围涉及的3个街的排水道缺陷识别，以辅助检测人员快速且准确地判定管道缺陷。

1 待识别管道缺陷类型的确定

根据《城镇排水管道检测与评估技术规程(CJJ 181—2012)》的规定，排水管道缺陷有破裂、变形、沉积、结构等16种功能性和结构性缺陷[16]，管道缺陷类别较多，且这些缺陷对排水管道的正常运行影响程度不一，因此根据缺陷发生概率高、危害大、特征明显的原则选取了、结垢腐蚀、树根、错口、障碍物、支管暗接、接口材料脱落、破裂、变形、沉积、浮渣十种缺陷来进行识别[17]，10种缺陷类型及特征分析如表1所示。

表1 缺陷类型及特征分析表Table 1 Defect type and characteristic analysis

2 基于深度学习的缺陷分类模型

2.1 AlexNet网络

2012年，Krizhevsky等[4]提出了AlexNet网络，网络结构如图1所示。AlexNet为8层结构，其中前5层为卷积层，后3层为全连接层，学习参数6千万个，神经元65万个。区域候选网络(region proposal network, RPN)层在第1、2个卷积层之后，Max pooling层在RPN层及第5个卷积层后，ReLU在每个卷积层及全连接层后。

AlexNet网络的特点有：①成功使用ReLU作为CNN的激活函数，相较于Sigmoid加快了训练速度，也解决了Sigmoid在网络较深时的梯度弥散问题；②ReLU得到的结果需要进行归一化，归一化有助于网络快速收敛，增强模型泛化能力；③将Dropout实用化，证实了Dropout可以避免模型过拟合；④AlexNet全部使用最大池化，避免平均池化的模糊化效果，提升了特征的丰富性。

图2 排水管道缺陷分类AlexNet模型Fig.2 The AlexNet model of drainage pipeline defect

D指管道直径图3 研究路线图Fig.3 Research roadmap

2.2 ResNet50网络

ResNet(residual neural network)由He等[6]于2015年提出，通过使用ResNet Unit成功训练152层神经网络。ResNet结构中加入了残差学习模块[18]，极快地加速了神经网络训练，也提升了模型准确率，之后很多识别和分割方法都建立在ResNet50或ResNet101的基础上完成。

ResNet50，网络分为五部分：conv1、conv2_x、conv3_x、conv4_x、conv5_x。首先，为1个7×7×64的输入卷积层，然后经过3+4+6+3=16个building block，每个block为3层，所以有16×3=48层，最后为1个用于分类的全连接层，所以共1+48+1=50层。

2.3 研究路线图

综上所述，本文中研究路线如图3所示。

3 实验

3.1 实验数据准备

数据集对深度学习算法的准确性至关重要，本文中研究的排水管道缺陷目前还没有公共数据集，所以通过网络收集渠道采集本次训练数据。经过网络收集获得每类缺陷100张图像，将其处理为256×384像素大小，jpg格式，数据集标签号按照结垢腐蚀、树根、错口、障碍物、支管暗接、接口材料脱落、破裂、变形、沉积、浮渣的顺序为1～10。

为了提高模型训练识别效果，需要对数据集进行预处理，过滤图像中无关信息，增强增强特征提取的可靠性。图像数据集的预处理分为两部分，数据增强和单个图像处理。

3.1.1 数据增强

成功的神经网络需要大量的数据进行训练，本次试验数据集数量较少，因此使用图像抖动、图像平移、图像旋转、Fancy principal component analysis(Fancy PCA)等数据增强方法来扩大初始数据集，以增加训练数据量和噪声数据，提高模型的泛化能力和鲁棒性，图像增强效果如图4所示。

关键词时区视图可以看出某一领域的研究趋势，突发词可以反映某一领域研究的潜在热点和研究前沿。在Citespace软件中选择“TimeZone”，得到网络信息行为关键词的时区视图（图5），并选择”Export”中的”network summary table”得到高频关键词的频次及突发词信息，整理可得表7。

图4 数据增强效果图Fig.4 Data enhancement map

3.1.2 单个图像处理

对数据集进行数据增强，对单个图片进行直方图均值化、归一化和白化操作。直方图均值化可以增强图像对比度、优化视觉效果，其处理结果如图5所示。图像归一化是指对图像进行一系列标准的处理变换，使之变换为一个固定标准形式的过程，本实验使用最大最小值归一化方法，归一化处理可以防止仿射变换[18]的影响，加快梯度下降求最优解的速度。图像白化处理可对过度曝光或低曝光的图像进行处理，将图像像素值转化为零均值和单位方差，从而获取图像中重要的恒定信息，降低输入数据的冗余性。

图5 直方图均值化Fig.5 Histogram averaging

完成以上预处理后将数据集随机分成3个子集，分别用于训练，验证和测试，70%的数据用于训练，剩余的30%均分为验证集和测试集。

3.2 训练和评估

3.2.1 AlexNet网络训练

由于本次训练使用的管道缺陷图像样本较少，为避免小规模样本造成过拟合现象，使用CIFAR-10公共数据集对AlexNet网络进行预训练，之后将该网络迁移应用于本文图像集，在迁移学习管道缺陷图像时，需要对网络参数进行微调，对不同的学习率(learning rate， lr)和迭代次数(epoch)组合下的管道缺陷网络收敛状况和分类准确率进行比较分析，以得到最优参数组合。部分训练集和验证集在不同参数组合下的损失(loss)曲线图如图6所示，测试集在不同参数组合下的准确率如表2所示，当epoch=25、lr=10-3时，模型误差迅速收敛趋于稳定，测试集的准确率也达到最高，所以将其设置为AlexNet管道缺陷识别网络的最佳参数。

表2 测试集准确率统计表Table 2 The accuracy of test set under different parameter combinations

3.2.2 ResNet50网络训练

同样结合迁移学习，使用本文中数据集训练ResNet50预训练模型，经过微调最终设定学习率为0.001，批次大小为16，优化算法为SGDM (semi-global block matching)，模型经过迭代40训练，训练集和验证集的误差和准确率变化如图7所示，训练集和验证集训练25次后误差分别收敛于0和0.65，准确率分别稳定在100%和80%左右。将epoch=25、lr=10-3作为ResNet50管道缺陷识别网络的最佳参数，保存该参数组合训练完成的模型。使用测试集对该模型进行测试，混淆矩阵如图8所示。由图8可见总的分类准确率达到96.5%。

图7 ResNet50网络训练损失和准确率曲线图Fig.7 Training loss and accuracy curve of ResNet50 network

图8 测试集混淆矩阵Fig.8 Testing confusion matrix

4 实际工程应用

4.1 研究区域概况

研究区域位于深圳市东北部某水质净化厂服务范围涉及的3个街道，服务建成区总面积43 km2，服务人口61.57万。

4.2 CCTV检测管段的确定

若直接对研究区域内所有管道进行CCTV检测，成本太高，排查效率低，所以借助监测手段，通过管网诊断分析，筛选重点区域，为CCTV检测提供基础依据。

(1)CCTV抽检管段。对2016—2018年已实施CCTV检测的管道，近几年已经整治及正在整治的，不进行复核，对剩余管道缺陷部分进行抽检，抽检率为10%，本次抽检管段长度约为16.2 km。

(2)根据缺陷台账确定CCTV检测管段。根据有关部门提供的缺陷台账进行梳理，对其中的对应管段实施CCTV检测，检测长度约为2 km。

(3)根据水质水量检测结果确定CCTV检测管段。根据市政管线成果，在排查分区范围内污水干管上的所有接入排口上按顺序布置快检点位，针对COD(chemical oxygen demand)和NH3-N浓度偏低的管段按照相同原则继续布点上溯至源头，找到问题管段并进行CCTV检测，检测长度约为62.9 km。

根据以上原则，研究区域需要做CCTV检测的管段范围如图9所示。

图9 CCTV检测管段分布图Fig.9 Distribution map of pipe sections that need CCTV inspection

4.3 模型应用

根据上述确定的CCTV检测管段和技术路线，对研究区域市政管道进行CCTV检测，之后在所采集的视频中进行关键帧提取，共提取5 000张管道图像，提取的部分图像如图10所示。之后对提取出的图像进行直方图均值化、归一化和白化操作等预处理，将预处理完成的图像输入训练完成的AlexNet网络和ResNet50网络进行自动识别分类。

图10 实测排水管道缺陷图Fig.10 The images of measured drainage pipe defect

两种网络均在2 min之内快速识别分类，缺陷分类结果如表4所示。以专家判断的缺陷类别为标准，对两种网络的分类结果进行准确率指标计算，准确率的计算方法如表3、式(1)所示。

表3 混淆矩阵Table 3 Confusion matrixs

表4 缺陷分类结果Table 4 The results of defect classification

(1)

从准确率的计算结果可以看出，在实际工程中AlexNet和ResNet50均取得较好的分类效果，准确率分别为85.41%和87.94%，ResNet50模型的分类性能更优。相对于其他缺陷类别，障碍物的分类准确率略低，结合工程实际分析，这是由于勘测管道中障碍物形态多样，而训练模型的图像中的障碍物形态较为单一。

5 结论

基于排水管道检测图像，采用AlexNet和ResNet50作为骨干网络，利用CIFAR-10数据集预训练后迁移应用于收集的管道缺陷图像数据集，构建了辅助检测人员快速地准确识别管道缺陷类型智能方法，得到如下结论。

(1)为了提高分类准确率，使用常用的图像数据增加方法来增加样本集的数量，并对样本集进行直方图均值化、归一化和白化处理是必要的。

(2) AlexNet网络和ResNet50网络在实际工程项目中获得较好的分类效果，准确率分别为85.41%和87.94%。ResNet50模型的识别准确率较AlexNet有所提高。实验证明，基于检测图像的深度学习管道缺陷识别方法节省大量时间，并有较高的识别能力，可以有效辅助缺陷检测人员识别管道缺陷。

(3)使用深度学习模型对排水管道检测图像进行缺陷分类，能够取得较好的识别分类效果，但是数据集即检测图像收集是构建方法的关键，本次实验数据量较少，复杂工程环境应用效果有待进一步考证。因此，今后需要进一步扩大管道缺陷样本库，进一步发展先进的卷积神经网络来识别更多缺陷，以更好地辅助管道缺陷检测人员提升识别效果。