基于人工智能的城市配电网运维管控新技术研究

国网天津城东供电公司 天津 300010

1 引言

由于配电设备缺陷素材较少，利用传统人工智能图像识别技术，容易因样本数据过少而导致容易出现过拟合的现象。为解决这个瓶颈，本文探索使用VGG迁移学习网络作为训练网络。

深度学习的巨大成功可以认为是表征学习的巨大成功。但是，计算机图像识别技术在应用过程中存在一些缺陷，在一定程度上阻碍了智能化技术的发展[1]。而通常当任务数据集上的数据不足以支持学习到足够多样化又有用的表征时，可以利用其他更大的数据集学到的表征并且视其为通用表征，使用这些表征并且使用任务数据集的数据来微调，可以减少对目标数据集数据量的要求。计算机图像识别要求系统高效准确地进行图像识别，智能化处理方法的应用可以显著提升计算机图像识别的性能，提升其识别的准确性及效率[2]。在这里，本文使用ImageNet数据集上训练好的VGG网络来当作初始表征提取器。

2 VGG结构模型

VGG模型可根据卷积核大小以及卷积层数目的不同，区分为A，ALRN，B，C，D，E共6个配置(ConvNet Configuration)，其中以D，E两种配置较为常用，分别称为VGG16和VGG19。因卷积层和全连接曾具有权重系数，而VGG16具有13个卷积层和3个全连接层，这也正是VGG16名字的来源。在这里本文介绍一下VGG的网络结构。VGG16网络一共由16个可学习的网络层组成。网络的特征提取部分由13个堆叠而成的卷积层组成，在卷积层后接上3个全连接层。可以把卷积核数量相同的分为一个小模块，那么整个网络可以认为是5个模块组成的，分别对应卷积核为64，128，256，512。注意最后两个模块的卷积核数量相同，是为维持计算量。VGG16的突出特点是简单，体现在卷积核的尺寸小，卷积层均表示为conv3-XXX，其中conv3说明该卷积层采用的卷积核的尺寸(kernel size)是3，即宽(width)和高(height)均为3。

3 VGG迁移学习

迁移学习一般有两种模式。第一种是在网络提取的特征空间之上直接训练一个SVM分类器。这种训练方法可以说是两步走的训练方法。另一种方法是使用finetune，即只改变Softmax层之前的全连接层数量，整个训练方式仍然属于神经网络的训练并且需要用到反向传播。

3.1 采用SVM迁移学习的电网设备缺陷检测 深度学习和传统图像识别最大的差异之一就是摆脱了人工设计特征的流程。在过去，人们使用人工设计的特征，即使取得不错的表现，但是难以表达高级的特征和概念。在深度学习时代，特征由卷积层的初始化以及训练过程共同决定，并且整个学习过程是自动的，也就是说人类不再需要设计特征。当图片从像素空间映射到特征空间，可以多多少少认为特征之间已经先行可分，这个时候可以在特征空间使用传统的算法比如SVM。

SVM是一种基于决策分类边界距离最大化思想的分类器。最常见的应用问题是在解决线性可分的空间，并且主要支持一对一的分类器构成。根据此可以看出，SVM的效果很大程度上取决于特征空间是否接近线性可分。惯例上，迁移学习使用全连接层的某一层作为特征提取的起点。不同的任务通常伴随着不同的选择，在这里选择第一个全连接层作为特征提取的起点。

3.2 端到端的Fine-tuning迁移学习 在介绍完基于SVM的迁移学习后，本文再介绍另一种端到端的迁移学习方法。在前文介绍了基于SVM的迁移学习需要分两步走，并且对特征空间有一个线性可分的要求。而端到端的做法，也被称为fine-tuning，是通过保留卷积层然后接入全新的全连接层。因为类别的数量变化，本文要求最后一层全连接层符合新任务的类别数量。

这种端到端的训练仍然使用的是反向传播。这里需要注意的是，本文不希望重新调整所有层，而仅限于新加入的全连接层，所以本文会将所有卷积层的权重设置成不可训练状态。当深度学习的框架检测到这些设置，框架将会提前停止反向传播，使得训练速度能够加快。但这种做法仍然存在缺陷，因为VGG网络的全连接层占据网络总参数量的一半以上，所以即便只更新全连接层，过程中需要储存的中间变量仍然很大。这是比起SVM的方法的劣势。

3.3 SVM使用VGG特征迁移学习的电网设备缺陷检测结果

数据集 训练集 测试集准确率 99% 88%

结果可以看出，使用迁移学习加上SVM分类器可以得到接近100%的训练精度。这可以体现使用了ImageNet的特征并且迁移学习后的VGG网络可以被很好的用来提取电网设备缺陷中关键的特征。

方法 经典卷积神经网络SVM迁移学习方法Fine-tuning迁移学习训练集正确率 0.96 0.99 0.98测试集正确率 0.82 0.88 0.90训练模型收敛耗时 2.6h 5.2h 25h测试时间/张 0.15s 0.14 0.18

可以看出，如果不需要考虑训练速度的话，使用ImageNet上预训练的VGG网络总是有更好的效果。相对而言，使用SVM作为分类器，比使用端到端的方法的训练速度要更快一点。如果训练速度是一个重要的指标，那么手工设计的神经网络也是一种不错的方法，只是限于训练数据数量不足，会出现比较严重的过拟合现象。