基于人工智能与智能手机的混凝土裂纹检测

赵雪峰+李生元+欧进萍

摘 要：近年来，伴随着互联网技术的不断提高及相关硬件的支持，人工智能技术得到快速发展，也为大数据处理和应用提供了基础。同时，智能手机的普及也为采用众包模式进行大数据收集提供了极大的便利。基于此，文中提出了将人工智能与智能手机相结合，利用智能手机进行混凝土裂纹图片收集，再利用人工智能深度学习中的卷积神经网络进行图片中的裂纹识别和定位，达到裂纹检测的目的。最后提出了基于人工智能与智能手机的混凝土裂纹检测的众包模式，调动公众来收集混凝土裂纹图片大数据，充分利用智能手机与人工智能技术的优势，使得混凝土裂纹图片大数据的收集与裂纹检测成为可能。

关键词：人工智能；智能手机；卷积神经网络；裂纹；众包

中图分类号：TP368.5；TU317 文献标识码：A 文章编号：2095-1302（2017）08-00-04

0 引 言

在混凝土结构的服役过程中，裂纹是一种常见的损伤形态[1]。目前，在实际工程中，混凝土裂纹主要还是依靠专业人员定期到现场进行人工测量，费时费力。因此，发展基于裂纹图片处理的裂纹损伤检测方法十分必要。国内外许多学者也进行了相关研究，主要采用图像处理的方法。主要的研究结果可以分为两类，一类是对于图片中的裂纹进行识别，即将图片中的裂纹从背景中分离出来，这需要较好的图片预处理技术[2]，有的则利用边缘检测等技术[3-5]，在真实混凝土上进行了验证[6]，而无人机也被应用于混凝土裂纹照片的采集[7]。另一类是对图片中裂纹宽度、角度等特征进行提取，这些方法分为全自动[8-11]与需要人工参与[12]。但均利用特定的技术，对特定图片背景中的混凝土裂纹进行识别和特征提取。然而，由于图像处理方法是针对图像像素的操作，图片中的背景，尤其是光照和噪声的干扰，将会很大程度上影响裂纹的识别效果，因此发展其它混凝土裂纹检测方法十分必要。

随着互联网技术的发展，大数据时代已经到来，面对海量数据，人工智能也越来越受到人们的重视。深度学习作为人工智能的一个分支[13]，近年来取得了很大进展。深度学习的一个重要应用是利用卷积神经网络进行图片分类[14]。卷积神经网络与普通人工神经网络的最大区别在于具有进行卷积操作的卷积层，利用卷积操作实现图片的特征提取。

智能手机已成为当前最为普遍的通讯工具，其软件和硬件已经十分成熟，同时智能手机也内置了存储、传感、通讯及计算等功能。目前，智能手机已应用在人体健康监测[15]、军事[16]、交通[17]及结构健康监测[18]等领域。选择智能手机，采用众包模式进行混凝土裂纹图片大数据的收集完全可行。

1 利用卷积神经网络进行混凝土裂纹检测概述

在利用卷积神经网络进行混凝土裂纹检测时的流程图如图1所示。首先对智能手机收集到的原始图片进行人工分割，将分割之后的小图片分为无裂纹和有裂纹两类，将这些分好類的小图片作为训练样本来训练卷积神经网络模型，之后利用训练好的分类器以及一种窗口滑移技术，将一张大的混凝土表面图片中的裂纹识别并定位出来。

2 卷积神经网络检测混凝土裂纹实验

本文采用经典的深度学习框架——Caffe来完成模型的训练[19]，使用Caffe中的AlexNet模型[20]对其进行微调，修改输出类别，将训练分类结果改为两类。

2.1 整体架构

图2所示为混凝土裂纹检测卷积神经网络模型训练的流程，修改后的模型共有8层，前5层是卷积层，后3层是全连接层。模型中选用了非线性激活函数ReLU，池化操作时采用最大池化 （MAX pooling），同时进行了局部响应归一化（LRN）操作以及避免过拟合的Dropout技术。卷积层中的1、2层依次进行卷积、池化以及归一化操作，3、4卷积层则只进行卷积操作，第5个卷积层进行卷积和池化操作，第6、7层在全连接后进行了Dropout操作，第8层进行全连接，然后输出为融合了分类标签的Softmax。

卷积神经网络在训练时，输入图片经过卷积、池化等一系列操作后，数据的尺寸也会发生变化，在训练时，设置caffe中的crop_size为227，将图片进行裁剪后作为模型的输入数据。表1列出了输入数据在本文卷积神经网络中训练时的尺寸变化。表2所列为各卷积、池化时的操作参数。

2.2 卷积

卷积是卷积神经网络中较为核心的操作，它是指将输入图像中的像素在小区域中进行加权平均，然后在对应的位置输出，该小区域叫做卷积核或滤波器。卷积核的大小决定了进行卷积操作时的区域大小，卷积核中的参数称为权值，权值大小决定了卷积核覆盖的图像区域对应的像素点对卷积结果的贡献大小，权值越大，贡献越大。图3表示了输入图像大小为5×5，卷积核大小为3×3，步长为1，偏置为0的一个卷积过程。

2.3 池化

输入的图片经卷积操作以及ReLU激活函数之后，输出图像的每一个像素点都包括了对应的原始输入图片一部分区域的信息，这使得信息产生冗余，也增加了计算量。为了提高算法性能，减少运算数据量，需要对卷积结果进行池化操作来降低维度，保留有效信息，这也在一定程度上避免了过拟合。图4表示池化操作时输入的图像大小为6×6，池化区域大小为2×2，采用最大区域池化策略，进行无重叠区域池化，即滑动步长为2的池化过程。

2.4 Softmax

对于输入数据，需要有一个操作来将数据进行分类。将给定的测试输入记为x，针对每一个类别j估算出概率值p（y（i）=j（i）|x（i）；W），其中W是权重参数。即需要估计x的每一种分类结果出现的概率。因此，需要输出一个k维的向量（向量元素的和为1）来表示k个估计的概率值。具体地说，用于输入图片分类概率计算的形式见式（1）。式中 这一项对概率分布进行归一化，使得所有概率之和为1。

（1）endprint

3 训练用于混凝土裂纹检测的卷积神经网络分类器

对于混凝土裂纹检测来说，主要依赖于能够将有裂纹图片与无裂纹图片进行分类的分类器。本文所做的工作均在一台配置了GPU的工作站上完成（CPU：Intel（R） Xeon（R） CPU E5-2630 v4 @ 2.20 GHz， RAM： 32.0 GB， GPU： GeForce GTX 1080 Ti）。

3.1 图片预处理

本文中智能手机拍摄的混凝土裂纹图片的像素大小为4160×3 120，将智能手机拍摄的混凝土裂纹照片切割成256×256大小，并对这些图片按照有裂纹和无裂纹两种情形进行分类并设置标签，如图5所示。将它们分为训练集和验证集两部分，由于切割后的小图片中无裂纹的图片数量远远多于有裂纹的图片，因此人工随机删除一些无裂纹的图片，使得有裂纹图片数量与无裂纹图片数量的比例为1∶1。最终训练集图片共21 000张，其中有裂纹图片10 500张，无裂纹图片10 500张，验证集图片共4 200张，其中有裂纹图片2 100张，无裂纹图片2 100张。此外还计算了所有训练集图片的平均值，所有图片的每个像素都减去该平均值。

3.2 模型训练

采用随机梯度下降法（SGD）训练模型，设置基础学习率为0.001，学习策略为“step”，批处理大小为64，动量为0.9，权重衰减为0.000 5，过拟合丢弃率为0.5。总迭代次数设置为10 000次，图6所示为训练损失loss与迭代次数的关系曲线，图7所示为精度与迭代次数的关系。

图6、图7所示为卷积神经网络的训练结果，随着训练迭代次数的增加，loss快速减小，最终接近于0，而精度也快速提高，最高精度为98.904 8%，为第1 700次迭代的训练结果，最终精度稳定在98.666 7%，取精度稳定后的第10 000次训练结果作为本研究后期应用的混凝土裂纹检测模型。

4 窗口滑移技术

由于图片中的裂纹分布位置随机，所以无法对图片中的裂纹进行定位扫描。本文采用图8所示的窗口技术[21]。对于一张如图9（a）所示的4 120×3 160像素大小的手机照片，窗口大小设置为128×128，水平方向和竖直方向的滑动步长均设置为64，从图片的左上角开始，窗口从左到右、从上到下进行扫描，当扫描到一个位置时，先将该位置的小图片放大到227×227，同时利用得到的模型训练结果对窗口所在位置的小图片进行分类，保留分类结果为有裂纹的小图片，直至扫描完成整张手机图片，扫描结果如图9（b）所示。

从图9中可以看出，经过窗口滑移技术扫描之后的图片，去掉了图片中的无裂纹部分，达到了混凝土表面裂纹检测定位的目的。此外，在图9（b）中还可以看出，在窗口滑移进行混凝土裂纹检测的过程中，有三个位置的小窗口图片被错误分类，本来属于无裂纹的类，但被分成了有裂纹类，并保留了下来。图10将这三个位置的图片放大，可以看出这三个位置的小图片中的混凝土表面均存在小孔洞瑕疵，因此训练好的分类器误认为它们是有裂纹的图片而将它们保留了下来，这种情况可以采用扩大模型训练数据集的方法来解决。

5 基于人工智能与智能手机的混凝土裂纹检测的众包模式

智能手机的普及为人们的生活带来了极大的便利，同时也为大数据收集提供了契机。如图11所示，通过众包模式，裂纹图片收集工作无需依赖专业检测人员，普通大众人员也可以通过智能手机拍摄混凝土裂纹图片并将其切割分类之后再上传到服务器，以此来不断扩大混凝土裂纹图片库。有了数量众多的图片，就可以利用这些图片训练出拥有更高精度、更好检测效果的混凝土裂纹检测模型。公众可以通过智能手机调用训练好的模型来进行混凝土裂纹检测。基于人工智能与智能手机的混凝土裂纹检测的众包模式可以充分利用智能手机让公众参与到快速收集图片大数据的活动中来，体验人工智能强大的大数据处理优势。

6 结 语

本文提出了一种基于人工智能与智能手机的混凝土裂纹检测方法，利用智能手机拍摄混凝土裂紋图片作为数据集，训练人工智能卷积神经网络模型，得到用于混凝土裂纹检测的图片分类器，最后利用这一图片分类器和窗口滑移技术进行混凝土裂纹的检测和定位。同时提出了基于人工智能与智能手机的混凝土裂纹检测众包模式。该方法使得公众参与收集混凝土裂纹图片大数据成为可能，同时人工智能强大的大数据处理能力也使该方法具有很大的发展潜力。

参考文献

[1] Ba?ant Z P， Xiang Y. Crack growth and lifetime of concrete under long time loading[J].Journal of Engineering Mechanics， 1997， 123（4）： 350-358.

[2] Fujita Y， Mitani Y， Hamamoto Y. A method for crack detection on a concrete structure[C].Pattern Recognition， 2006. ICPR 2006. 18th International Conference on. IEEE， 2006.

[3] Abdel-Qader I， Abudayyeh O， Kelly M E. Analysis of edge-detection techniques for crack identification in bridges[J].Journal of Computing in Civil Engineering， 2003， 17（4）： 255-263.

[4] Nishikawa T， Yoshida J， Sugiyama T， et al. Concrete crack detection by multiple sequential image filtering[J]. Computer‐Aided Civil and Infrastructure Engineering， 2012， 27（1）： 29-47.endprint

[5] Yamaguchi T， Hashimoto S. Fast crack detection method for large-size concrete surface images using percolation-based image processing[J].Machine Vision and Applications， 2010， 21（5）： 797-809.

[6] Yamaguchi T， Nakamura S， Saegusa R， et al. Image Based Crack Detection for Real Concrete Surfaces[J].IEEE Transactions on Electrical and Electronic Engineering， 2010，3（1）： 128-135.

[7] Kim J W， Kim S B， Park J C， et al. Development of Crack Detection System with Unmanned Aerial Vehicles and Digital Image Processing[Z].Advances in structural engineering and mechanics （ASEM15）， 2015.

[8] Fujita Y， Hamamoto Y. A robust automatic crack detection method from noisy concrete surfaces[J].Machine Vision and Applications， 2011， 22（2）： 245-254.

[9] Ito A， Aoki Y， Hashimoto S. Accurate extraction and measurement of fine cracks from concrete block surface image[C].IECON 02 [Industrial Electronics Society， IEEE 2002 28th Annual Conference of the.IEEE， 2002.

[10] Sohn H G， Lim Y M， Yun K H， et al.Monitoring crack changes in concrete structures[J].Computer‐Aided Civil and Infrastructure Engineering， 2010， 20（1）： 52-61.

[11] Lee B Y， Kim Y Y， Yi S T， et al.Automated image processing technique for detecting and analysing concrete surface cracks[J].Structure and Infrastructure Engineering， 2013， 9（6）： 567-577.

[12] Dare P， Hanley H， Fraser C， et al. An operational application of automatic feature extraction： the measurement of cracks in concrete structures[J].The Photogrammetric Record， 2002， 17（99）： 453-464.

[13] LeCun Y， Bengio Y， Hinton G. Deep learning[J].Nature， 2015： 436-444.

[14] Le Cun Y， Bottou L， Bengio Y， et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[15]王婧婷， 王園园， 沈闵， 等.白血病移动健康智能手机应用程序的可用性评价[J].中华护理杂志， 2015， 50（4）： 485-490.

[16]钟亮，吕萍.浅析智能手机的军事应用前景[J].微型机与应用， 2016， 35（2）： 4-5.

[17]柏丛，彭仲仁，孙健.基于智能手机应用的公交车数据采集与分析[J].科学技术与工程，2014，14（21）： 293-296.

[18] Zhao X， Han R， Yu Y， et al. Smartphone-Based Mobile Testing Technique for Quick Bridge Cable–Force Measurement[J].Journal of Bridge Engineering，2016.

[19] Jia Y， Shelhamer E， Donahue J， et al. Caffe： Convolutional architecture for fast feature embedding[C].Proceedings of the 22nd ACM international conference on Multimedia. ACM， 2014.

[20] Krizhevsky A， Sutskever I， Hinton G E.Imagenet classification with deep convolutional neural networks[C].Advances in neural information processing systems，2012.

[21] Cha Y J， Choi W， Buyukozturk O.Deep learning-based crack damage detection using convolutional neural network[J].Computer-Aided Civil and Infrastructure Engineering， 2017， 32（5）： 2013-2014.endprint