基于U-Net的输电线覆冰识别

庄红军,张伟,杜昊,李克明,周海,鲁彩江

(1.贵州电网有限责任公司毕节供电局，贵州 毕节 330006；2.贵州电网有限责任公司，贵州 贵阳 550002；3.西南交通大学机械工程学院机电测控系，四川 成都 610036)

受空气气温等各种环境的综合影响，在冬季温度低、水汽充足的情况下，附着在电力线上的过冷水滴由于释放潜热而固化最终极易形成覆冰。而寒冷时节，大量覆冰可能引发电力线路断股、绝缘子倒转甚至杆塔倾斜或倒塌，造成重大安全事故[1]。

目前国内外对覆冰电力线识别的研究取得了重大进展。传统的做法是用数字图像处理的方法来检测覆冰电力线，如自适应阈值分割、形态学滤波[2]，但这两种算法只能从背景简单的图像中检测出覆冰电力线且无识别功能；LOG算子[3]、融合多尺度小波变换[4]的边缘检测算法结合Hough直线检测可以很好地识别出覆冰电力线边缘，但Hough直线检测易受阈值大小、复杂背景的影响；依照“先验特征”先对电力线区域进行分割后再用Hough直线检测可以消除复杂背景的影响、结合最小二乘法的Hough直线检测算法可以有效解决Hough直线检测受阈值大小影响的问题，但Hough直线检测对于形状各异的覆冰(带有冰柱、边缘为曲线)则无法识别。

深度学习中的语义分割具有准确度高的特点，尤其在U-Net网络结构被提出后，该网络一直在图像分割领域因其优异表现受到人们的关注。语义分割其目标是对图像中的每一个像素分配语义标签[5]，虽然输电线的覆冰形状各异也可准确的识别。为准确识别输电线的覆冰，本文提出了一种基于改进的U-net输电线路覆冰识别方法。基于卷积神经网络的开山之作全卷积神经网路FCN[6]，网络结构如图1所示，首次提出了反卷积的概念，对最后一层卷积层的输出特征实施上采样直至恢复原始输入图像大小；另外，为了提高分割的精度，FCN还引入了Skip结构，分别FCN还使用skip结构，将卷积层第5层的32倍、第4层的16倍和第3层的8倍上采样特征图融合在一起，这些低层次的特征信息的加入使得分割结果更为精细[7]。

图1 FCN网络结构Fig.1 FCN network structure

1 U-Net神经网络介绍

图像分割简单来说就是选择出同一区域的图像并且施加标记，为后续的视觉分析过程做准备。基于深度学习的语义分割方法，所需数据集往往非常大，而且要达到较高精度的识别要求，经常需要数天甚至数周的训练时间。因此如何针对覆冰线路、小样本、非规则结冰的图像进行语义分割一直是覆冰线路识别的难题。而近些年来，适用于小数据集的U-net作为全卷积神经网络的一种变形，通过对图片中单个像素进行分析处理，加以分类，可以显著提高目标的准确率，因此对于深度学习中较少样本的覆冰导线识别有很大帮助，并且与其他网络结构相比，U-net的检测速度，大大提高。经典的U-net是一个2D全卷积神经网络，由于生物医学采样代价高，采样数量小的特点，特别适合采用U-net处理生物医学图像分割网络,同样的，当然适用于其他采样率低的领域[8]。鉴于此，本文基于改进 U-net 语义分割的输电线路覆冰识别，对下采样、上采样做出了改进，以实现对形状各异的覆冰线路进行快速准确的识别。

1.2 下采样

下采样的目的是提取输电线覆冰的特征以便于分类，通常是通过连续的卷积、池化实现[9]。卷积，其过程是多个卷积核在输入特征上作滑动操作，对滑动过程中覆盖的区域作乘加运算，当滑动操作遍历了整个输入特征最终得到该卷积层的输出特征，最后将这些特征输入到下一个卷积层做进一步的运算。其计算公式如下：

y(i,j)=∑s∑tw(s,t)f(i+s,j+t)+b

(1)

上式中y(i,j)为输出的特征值，w(s,t)为卷积核的值，f(i+s,j+t)为输入特征值，b为偏置。假设输入特征的大小W×W，卷积核的大小为F×F，步长为S，填充的像素数为P，则输出特征的大小N为：

(2)

在卷积操作后，往往会增加一个池化层，对卷积后的输出特征进行压缩，提取主要特征[10]，在提取特征的同时使特征图变小，减小参数量，从而简化整个网络的计算复杂度。

1.3 上采样

在下采样中，通过连续的卷积与池化完成特征的提取，随着网络的加深，提取到的特征维数越来越多、而尺寸却越来越小。与此相反，上采样是使特征从小变大的操作，常用的上采样包括反池化、双线性插值和反卷积等[11]。U-Net可以保留池化的具体信息，而这些信息保留了图像的位置信息，使用这些图像的信息实现上采样，一方面会提高语义分割的精度，另一方面会减小网络的计算量，但同时也会增加计算机内存的消耗，提高准确性。在U-Net网络中，使用反卷积来完成上采样，以扩大特征的尺寸恢复至原图大小。如图2所示为反卷积过程的示意图，对于一个3×3的输入特征，使用3×3的卷积核，步长为2、填充为1时，最终输出特征的尺寸为5×5。

图2 反卷积过程示意图Fig.2 Schematic diagram of the deconvolution process

1.4 U-Net网络结构

U-Net对FCN网络进行了改进所提出网络结构。由于其强大的性能表现，广泛应用于医疗诊断、自动驾驶、遥感分析等领域。其网络结构如图3所示，它由左半边的下采样和右半边的上采样两部分组成，因其网络结构呈U型，故称作U-Net。下采样部分是典型的卷积神经网络结构，它重复采用2个3×3的卷积层和1个最大池化层的结构，在每经过一次池化操作后特征图的维数就增加1倍、大小缩小1倍；在该部分经过4次池化后特征的尺寸由416×416变为26×26，缩小为前者的1/16。在上采样部分，通过连续的卷积与池化，虽然提取到了有利于像素点分类的高层次特征，但同时也丢失了与目标物体边缘、位置等相关的细节信息[12]，故需要上采样恢复特征尺寸的大小；首先，对下采样的1/16倍特征运用反卷积上采样得到1/8特征，然后将上采样得到的1/8特征与下采样的1/8特征进行拼接，并用连续的2个卷积层进行特征提取，紧接着再次使用反卷积上采样得到1/4特征；并重复上述过程直至得到与输入图像相同大小的特征。

图3 U-Net网络结构Fig.3 U-Net network structure

在网络的最后，需对特征进行归一化处理到0-1之间。在深度学习中，尤其是多分类场景，softmax函数常常被用来对输入数据作归一化处理[13]，它能将多通道的输入数据归一化到0-1之间，得到预测概率，且每个通道上的值的总和也为1。其表达式如下式所示：

(3)

上式中xi为某个像素的一个通道的值，yi为预测概率，C为通道数。

U-Net所需训练样本较少，速度快，比滑动卷积网络效果更好．使用输电线图像和对应的分割图谱来训练网络。最后运用Softmax函数完成对图片中每个像素进行分类，低层次的特征信息的加入使得分割结果更为精细。

2 实验参数设置

损失函数用于描述模型的预测值和真实值之间的差距大小，在本文中，选用均值平方差(Mean Squared Error，MSE)作为损失函数，均值平方差也叫均方误差[14]，简单来说就是求取每一个预测值与真实值之差平方的平均值，如式所示，其中f(xi)是预测值，yi是真实值，MSE的值越小，表明模型越好。

(4)

选用Adam算法对训练过程中的参数进行更新，Adam通过计算梯度的一阶矩估计和二阶矩估计为不同的参数设计独立的自适应学习率，其参数更新方式如下：

(5)

上式中β1、β2分别为一阶矩估计vt和二阶矩估计st的指数衰减因子，α为初始学习率，ε是为了防止分母为0的非常小的正数。为了加快模型的收敛速度，本文选用Adam算法作为参数优化器，并设置参数β1=0.9，β2=0.999，α=0.001，ε=10E-8。

3 实验结果及分析

为了验证改进的U-net网络模型在覆冰线路识别中的优越性和可行性，本文进行了仿真实验，为了模拟真实的电力线路覆冰环境，特意在户外搭建实验测试平台，模拟输电线路结冰环境，选取一定覆冰厚度的导线，架设相机，顺光拍摄，尽可能避免建筑物、植物、天空等干扰背景，然后进行图像采集。

3.1 数据源

首先，根据模拟覆冰环境，拍摄覆冰导线，收集相机拍摄的图片，由于需要的照片数量居多。常常控制相机转动一定角度以改变相机位置获得不同图片，所以拍照的照片，往往会有覆冰图像模糊、目标不明显或者拍摄角度不佳等问题，因此需要进行清晰的可视化处理，从照片集中筛选出结冰边缘分辨率高并且视野在整体图像中适宜居中的图片，以便后期对图像中输电线路的结冰边缘部分分析。覆冰输电线上结冰边缘是本实验的研究重点，边缘的识别决定了识别的精确度。所以在选择数据集时，主要选择输电线覆冰清晰可见。

其次，通过摄像仪采集覆冰线路的表面情况，采集的线路图像尺寸为3840×2160，如果直接使用原始覆冰线路图像进行深度学习，由于处理的数据量庞大，会极大地增加网络模型的训练与使用时间，从而降低识别效率；但是如果缩小原始覆冰图像的尺寸以后，在进行基于改进U-net网络的深度学习，图像会丢失很多覆冰的特征，从而减少模型可以学习的原始特征，最后导致深度学习的识别性能不佳[15]。为避免出现以上两种现象，本文最终采取对原始覆冰图像进行切分的方法，这样不仅可以在降低处理数据的基础上保留覆冰图像的特征，还增加了覆冰线路原始数据的多样性。

最终制作了输电线覆冰数据集，该数据集包含输电线、覆冰和背景三类对象，包括800张训练集200张验证集和200张测试集。在仿真实验中，通过搭建的覆冰导线实验台获取覆冰线路图像数据后进行网络模型的训练和测试，进而验证改进U-net网络模型在线路覆冰图像识别中的优越性。

3.2 检测结果分析

对U-Net网络的训练过程中的参数设置如上节所述，使用均方平方差作为损失函数、Adam算法作为优化器，使用方向传播算法进行训练。在训练过程中对验证集的损失值和准确度进行监控，其值变化曲线图如图4所示：蓝色的线为训练过程中的损失值，对于训练集，当最开始训练epoch=0时loss值较大为3.48，随着训练次数的增多，loss值整体呈现快速减小趋势，直到epoch=62时loss值降为0.105，此时模型收敛停止训练；红色曲线为机器学习训练过程中验证集上的准确度，当模型收敛时在测试集上的准确度为0.98。

图4 训练损失值与准确度随着迭代次数的变化

用收敛的模型在测试集上作测试，最终的实验结果如图5所示：该图分为三横排，从上到下依此为原图、标签图和U-Net网络的识别结果，其中标签图由语义分割标注软件labelme经过精细标注得到，红色的区域为输电线覆冰，绿色的区域为输电线，黑色区域则为背景。从最终的识别结果，我们可以看出，基于U-Net的输电线覆冰识别方法，能够在复杂的背景下准确无误的识别出输电线覆冰，而传统的依靠边缘检测+Hough直线的数字图像处理方法在这种情况下识别效果较差，因此基于U-Net的输电线覆冰识别方法适应性更强，具有较好的现场应用价值。

图5 U-Net网络在测试集上识别结果Fig.5 U-Net network recognition results on the test set

当覆冰识别模型分别在训练集和验证集上收敛后，我们用上面的测试集测试该覆冰模型的精度。近些年以来，语义分割任务发展出许多标准可以从不同方面衡量识别算法的精度，常用的有像素精度、均像素精度、均交并比和频权交并比，其中，均交并比因其分割精度的显著提高收到大多数语义分割研究人员的喜爱。因此，本文使用语义分割领域常用的评价指标均交并比(Mean Intersection over Union，MIoU)来评价该算法的识别精度[16]。其定义如下，为了方便描述，假设共有k+1类(从L0到LK，其中包含背景类)，pij表示属于i类但被预测为j类的像素个数，pii表示预测正确的像素数，而pij、pji分别表示分类错误的正样本和分类错误的负样本[13]，则MIoU的值：

(6)

U-Net在输电线覆冰数据集上的识别精度如表1所示，MIoU值为80.1%。于编码网络的低层次特征具有大小、方向等位置信息，融合这些位置信息进一步提高了分割的精度。

表1 U-Net在输电线覆冰数据集上的识别精度Tab.1 U-Net's recognition accuracy on the transmission line icing data set

从表1可以看出，本文所采用的U-Net卷积网络模型在覆冰数据集的识别方面取得了优异的表现，均交并比的指标较好。主要原因是传统的FCN网络在对覆冰图像多次下采样的过程中丢失了部分特征信息，并且对图片的跳跃结构的上采样以后，图片结果比较模糊，而且图像细节也不敏感；而U-Net对下采样、上采样做出了改进，在下采样中，通过连续的卷积与池化完成特征的提取，使用反卷积来完成上采样，以扩大特征的尺寸恢复至原图大小，大大提高均交并比[17]。

为了进一步说明基于改进的U-net输电线覆冰识别的有效性，本文分别对简单背景和复杂背景的输电线覆冰图像分割结果进行比较分析，如表2。分析发现，对于简单背景的输电线覆冰，FCN检测方法也能达到一定检测效果，但由于下采样过程中，池化层的扩大导致了部分覆冰图像信息的丢失，一些与覆冰信息部分相近的背景被误检为覆冰；相比于U-net检测方法，基于改进的U-net网络的输电线覆冰识别方法可以有效的排除相近背景对覆冰的干扰，有效分割出背景，检测结果良好。对于复杂背景的输电线覆冰，FCN检测方法同样由于池化层的扩大，导致了部分覆冰图像信息的丢失，容易将导线覆冰周围部分误检为导线覆冰，难以排除复杂相近的背景影响，干扰较大；相比于FCN检测方法，基于改进的U-net网络的输电线覆冰识别方法，用连续的卷积与池化，提取到了有利于像素点分类的高层次特征，虽然有位置信息的丢失，但是能够排除复杂背景和遮挡物的干扰，同时上采样恢复特征尺寸有效分割出覆冰图像，检测效果良好。

表2 输电线覆冰识别效果对比Tab.2 Comparison of icing recognition effect on transmission lines

从表2可看出，基于改进的U-net网络覆冰识别算法较FCN检测算法在识别精度上有了一定的提高。基于少量覆冰图像数据训练模型，实现了对覆冰导线快速准确检测。通过FCN与改进的U-net比较可以发现[18-20]，本文算法在识别精度上有了一定的提高。从检测结果与人工实地验证可知，对于不同背景类别的覆冰导线覆冰都具有很强的鲁棒性，基于统计结果，检测准确率达到了85.9%以上，该算法具有较高的可靠性。另外，可以发现，用该方法来识别输电线覆冰不可避免会带来误差。基于以上分析，可以采取以下的方法来提高覆冰识别的准确度：首先，我们可以提高相机的分辨率，提高监控图像的分辨率可以提升测量精度；其次，对覆冰识别方法进行进一步研究，提高算法的准确度，进而提高覆冰检测的精度。

4 结论

(1)本文首先总结了通过视觉对输电线覆冰识别的研究进展，并分析了输电线覆冰识别利用传统的数字图像处理和深度学习方法的优缺点，最终确定了基于U-Net的输电线路覆冰识别方法，充分发挥深度学习的语义分割在覆冰导线领域识别卓越优势。

(2)提出将语义分割算法应用在输电线覆冰检测中，通过下采样网络提取覆冰特征、上采样网络恢复图像大小，能在更大的图像范围上进行特征提取，同时上采样时融合了低层次特征以提高最终分割精度；在训练过程中使用均方误差作为损失函数、Adam优化算法对网络参数进行更新研究了基于U-Net的输电线覆冰识别方法，选用均方差作为损失函数，Adam法作为优化器对网络的参数进行更新。

(3)在输电线覆冰数据集上的实验结果表明，该方法能够在复杂的噪声下准确无误的识别出输电线覆冰，其MIoU值为80.1%，相对于传统的基于数字图像处理的方法，本方法识别速度较快，加快了运算资源，优化提升了模型的训练与识别速度和效率，运行时间满足工程化的需求具有更好的应用价值。

(4)本文基于改进的U-net网络，基于少量的覆冰导线数据，实现了随覆冰导线快速准确检测。通过与FCN算法测试比较,可以发现本文算法在识别精度上有了一定的提高, 提升了输电线覆冰识别智能化检测准确度。