基于深度学习和图像识别的变电站虚端子连接校核技术

成佳富，罗振华，廖惠琴，汤野，孙迪飞，刘世丹，陈磊

(1.广东电网有限责任公司电力调度控制中心，广东 广州 510055；2.南方电网广东惠州供电局，广东 惠州 516001；3.武汉凯默电气有限公司，湖北 武汉 430223)

近年来，随着智能化、互联化电网的飞速发展，作为智能电网核心设备的智能变电站建设快速推进，智能变电站自动化系统也得到大规模推广。同时，智能变电站中的设备设计方式发生了巨大的转变，以变电站配置描述(substation configuration description，SCD)为主的配置方式，相较于传统方式在设备的开发设计、组装调试、检修维护等方面提出了新的挑战[1-3]。

传统的保护装置主要靠节点通断、电缆硬线连接来传递输入、输出信号，智能变电站设备设计过程中，以SCD为核心的“配置”方式取代了传统的“定制”方式，通过不断研发更新，现有智能化变电站实现设备之间通信的方式主要是传输相应的面向通用对象的变电站事件(generic object oriented substation event，GOOSE)、采样值(sampled value，SV)等信号，利用网络进行通信。为方便设计与使用，国内外的生产厂家或集成商家协商统一，在设计中引入虚端子形式来体现设备之间的虚连接。生产厂家或集成商家依据虚端子表，在SCD、IED Inputs ExtRef子元素中实现信息的表述[4-5]。通过现场实际使用发现，SCD文件的正常使用和配置对于智能变电站的安全稳定运行起着决定性作用，如何对虚端子表和SCD文件的正确性和对应性进行校验，一直是困扰工程调试验证的难题。现有SCD软件查找SCD虚端子的操作较繁琐，目前的解决办法以人工审核为主，设备的虚端子信息量庞大，人工审核耗时长且容易出现错判、跳判，工作效率低。

针对上述问题，本文提出一种基于深度学习和图像识别的虚端子连接智能校核技术。该技术不仅能够实现工作量庞大的SCD校验，而且能够很好地解决人工校核效率低、准确率低的问题，进一步实现智能变电站安全可靠运行。

1 智能变电站图像识别技术

为了实现SCD虚连接信息与虚端子表信息自动校验，需要先进行SCD虚连接图的识别，再与虚端子Excel表进行自动匹配校核。实现图像的自动识别，主要分为图像中的保护和测控智能电子设(intelligent electronic device，IED)模块识别、文字信息识别、连接线识别3个部分。具体流程如图1所示。

图1 SCD虚连接图识别流程Fig.1 Identification process of SCD virtual connection graph

1.1 图像中的保护、测控IED识别

图像中的保护、测控IED识别是图像信息处理的基础，其准确率关乎信息校验的精度[6-10]。针对SCD虚连接图的识别问题，通过研究对比发现，虚连接图中各保护、测控IED模块有以下特征：形状固定，布置方位不定，尺寸不一。要实现SCD虚连接图的精准识别，需要模型能够精确地找到保护、测控IED模块所在位置并准确识别其方位和尺寸。

通过对比选择，基于Faster R-CNN的多尺度融合检测算法最为适合本文的研究。Faster R-CNN算法实现过程是先利用特征提取网络进行输入图像特征图的提取，主要目的是为全连接层和区域生成网络(region proposal network，RPN)共享做准备，然后通过RPN得到相应的候选区域。在Faster R-CNN算法过程中，感兴趣区域(region of interest，ROI)池化层收集候选区域和输入的特征图信息并进行相应处理，筛选有用信息送入全连接层，提取出目标类别信息，利用回归方法取得检测框的最终精确坐标信息[11-12]。

针对分辨率较大的SCD虚连接图，为使算法适用于不同尺度的保护、测控IED模块，本文提出一种多尺度融合的检测算法。检测过程中利用整张SCD虚连接图和其等分4块后的小SCD虚连接图构建的数据集进行训练，最终训练得到对应的大图模型和小图模型，即相应的Faster R-CNN模型。大图模型对于尺寸较大的保护、测控IED模块的检测效果更加明显，对于尺寸较小的保护、测控IED模块，则容易出现误检或跳检的现象。计算大、小图模型检测结果的交并比(intersection over union，IoU)，结合小图模型的检测结果来弥补大图模型的误检或跳检，有效实现了对SCD虚连接图中大小不一的保护、测控IED模块的智能识别。具体流程如图2所示。

图2 SCD虚连接图多尺度融合检测算法流程Fig.2 Multi-scale fusion detection algorithm for SCD virtual connection graph

1.2 图像中的文字识别

SCD虚连接图的信息量大而且复杂，字符信息是SCD虚连接图中信息提取的关键内容[13-14]。SCD虚连接图中的文字信息字形多变、大小不一、位置无律、方向错综，样式有数字、字母、符号等，使用现有的检测方式很难实现SCD虚连接图中文字信息的提取、识别，准确率和效率都不佳。为此，研究适用于SCD虚连接图特点的识别模型，以提升SCD虚连接图中相关文字信息的识别准确率和效率。

SCD虚连接图文字识别流程如图3所示。第1步对SCD虚连接图进行图片预处理，为接下来的文字识别打下基础；第2步进行文字检测定位，提取SCD虚连接图中的文本坐标信息；第3步进行文字识别，提取文字信息；第4步进行识别前处理，将文本信息进行一定的预处理；第5步对识别的内容进行再次处理，进一步提高文字识别准确性。

图3 SCD虚连接图文字识别流程Fig.3 Recognition process of SCD virtual connection graph text

1.2.1 基于两阶段识别方法的文字识别算法

基于两阶段识别方法的文字识别过程主要分为2步，先通过Advanced EAST模型对SCD虚连接图文本框进行检测，然后使用Tesseract OCR[15-16]模型对检测到的SCD虚连接图中文本信息进行相应识别。由于SCD接线图分辨率较大，可以采用四等分图来相应提高识别准确率，最后通过IoU方法进行信息的合并融合，得到最终识别信息。

Advanced EAST主要是依靠VGG16提取SCD虚连接图中的特征信息，然后利用U-Net算法将特征信息进行合并融合，从而得到SCD虚连接图中文本信息的位置信息和置信度。对于字形多变、大小不一、位置无律、方向错综、样式多样的文本信息，Advanced EAST算法的识别和提取效果优于其他算法。Tesseract OCR主要通过2个阶段完成文本识别：单字切割和分类任务[11]。先将从SCD虚连接图中提取和识别出的文字信息进行分割，以字符作为基本量，然后对分割后的信息进行计算、处理、分类，利用自适应分类器将特性相同的字符进行归类，实现对SCD虚连接图中文本的准确识别。

1.2.2 基于端到端的文字识别算法

端到端的文字识别模型主要由文本检测和文本识别2个部分组成，模型的主要作用是缩短识别时间，提高识别速度。本文端到端的文字识别采用Attention-OCR模型。在SCD虚连接图输入到Attention-OCR网络之前，可以通过级联R-CNN[17]模型将文字信息进行文字分割预处理，以提高识别准确率。

级联R-CNN在工作过程中主要进行训练和回归，训练和回归的主体是通过级联不同的IoU阈值检测模型筛选相应质量的样本。在整个文字识别过程中，级联R-CNN作用比较单一和直接，主要是作为区域卷积神经网络(region-based convolutional neural network，R-CNN)的多级扩展。通过级联R-CNN实现SCD虚连接图中相应文本区域的提取和识别，然后将其检测到的信息进行汇总和分割，由Attention-OCR对分割出的文字进行提取和识别。Attention-OCR文字识别过程主要是利用空间注意力原理：通过卷积网络实现特征的提取，得到特征矩阵f；计算当前时刻t的SCD虚连接图中文字的空间注意力值αt，文字区域的概率由αt值决定；利用αt值来选择特征矩阵f中的文本区域特征，并通过循环神经网络(recurrent neural network，RNN)对识别区域的文本进行识别。

时间不同，相应的空间位置也会存在差异，即

(1)

式中：下标C表示特征图通道，i、j表示相应的坐标信息；ut，C为不同坐标信息下加权后的特征向量。

RNN在当前时刻的计算、识别输出结果最终为ct：

(2)

针对分辨率较大的SCD虚连接图，为保证算法速度和精度，同样需要进行分割处理，可等大小地切分为4片、9片或者更多，如图4所示。当SCD虚连接图切成4片后，在切割处容易出现信息缺失现象；将SCD虚连接图切割为9片后，相应的识别速度会降低。为了提高SCD虚连接图中文字识别速度和正确度，本文提出在9分片中选取第2、4、5、6、8这几张图片来实现对4分片切割处遗失信息的增补。

图4 SCD虚连接图文字识别分割Fig.4 Text recognition and segmentation of SCD virtual connection graph

1.3 SCD虚连接图中的连接线、连接关系识别

通过上述识别方法，目前可以得到SCD虚连接图中各保护、测控IED模块的独立信息。如果要得到各保护、测控IED模块之间的关系信息，需要进一步对SCD虚连接图中各模块之间的连接线进行识别，通过分析计算实现SCD虚连接图的完整识别。

本文采用以下方法对SCD虚连接图中的连接关系进行识别：利用OpenCV[18]技术实现轮廓跟踪，识别每条连接线所连接的模块，梳理出各个模块之间的相应关系；利用数字图像处理技术和目标检测技术，获取SCD虚连接图各模块间的连接信息。

首先，将从SCD虚连接图检测得到的各保护、测控IED装置的坐标、方向、种类等信息存档至提前约定的文件中。对保存的信息进行计算、处理，提取出各保护、测控IED装置信息。

然后，对SCD虚连接图进行图像预处理。采用高通滤波器计算和过滤SCD虚连接图中的无用信息和噪声。为提高识别效率，通过黑白转换技术将待检测的SCD虚连接图由三通道图像形式转换为单通道图像形式。利用二值化处理技术使线条轮廓更加清晰，便于后期线条识别。高通滤波器过滤原理中的高斯函数

(3)

式中：θ为正态分布的标准偏差；(x，y)为像素值的坐标信息。

为方便识别模块间连接线，需要对SCD虚连接图进行预处理，剔除图像中的目标保护、测控IED模块信息，只保留框架和连接线信息。

根据SCD虚连接图像素信息的特点，利用轮廓追随算法获取轮廓位置信息并保存。并利用式(4)进行筛选，剔除与目标模块没有关联的轮廓，只保留与目标模块有连接关系的轮廓位置信息：

xmin≤x≤xmax∩ymin≤y≤ymax.

(4)

式中：xmin和xmax、ymin和ymax分别为相应被检测信息坐标的最小值和最大值。

轮廓追随算法信息处理效果比较优良，根据其提取到的连接线外轮廓位置信息和保护、测控IED模块位置信息，可以推导和判断SCD虚连接图各模块连接线的连接去向及相应连接方式，进一步将连接线的连接关系转换为各模块及端口的连接关系。

2 虚端子连接智能校核

通过上述深度学习和图像识别方法，分别获得SCD虚连接图保护和测控IED模块、文字标识、连接关系信息，汇总得到SCD虚连接图中各模块连接信息(即SCD侧虚连接表)，与Excel侧虚端子表进行智能核对。

首先一次识别多个虚端子表文件，经分析处理得到虚端子表中原始虚连接记录，并筛选出所有保护、测控IED模块中文名称[3]。然后识别解析出各自的简化表述，进行相应的拓展得到虚连接。将虚端子表所有模块名称与SCD侧所有保护、测控IED模块描述分别进行比对，筛选出匹配度最高的SCD侧设备描述信息，从而得到Excel侧名称与SCD侧设备描述的对应表。

典型的Excel侧虚端子文件的格式及其简化表示见表1，后期重点需要处理的是将Excel侧发送、接受端设备编号名称转换成SCD侧设备描述信息，结合Excel侧的接收、发送端虚端子号信息，得到后期比对使用的Excel侧虚连接。

表1 典型的Excel侧虚端子文件的格式及其简化表示Tab.1 Format and simplified representation of typical Excel virtual terminal files

将每个SCD侧、Excel侧虚连接进行比对，分为正、反2个方向，可以得到4种可能结果：完全正确；SCD中存在而Excel中不存在；Excel中存在而SCD中不存在；只比对到接收端或发送端虚端子号，没有虚连接信息。以表格形式在控制显示屏上将比对结果进行分类显示。通过设计程序保存比对信息，以便随时调阅和检查，并且可以实现信息拓展和链接。利用软件进行比对，如果比对结果提示超出阈值范围不匹配现象，根据报告结果找到相应位置进行修改和保存。然后重复使用软件进行比对，直至软件不再提示错误信息，最终实现虚端子连接智能校核。虚端子连接智能校核流程如图5所示。

图5 虚端子连接智能校核流程Fig.5 Virtual terminal connection intelligent verification flowchart

3 工程应用及效果分析

SCD虚连接图的保护、测控IED模块识别部分采用基于Tensorfiow框架的Faster R-CNN模型。以某实际变电站为例，选取SCD虚连接图进行训练，其中72张用于训练，12张用于测试。采用多尺度融合的检测算法进行处理，利用分割图的数据集训练得到小图模型，并将大图和小图的识别结果进行融合取舍，最终得到较为准确的结果。

在分割图训练中，可以将学习率初始值设置为0.001，动量设置为0.9。通过Faster R-CNN进行迭代循环，200 000次训练后，损失函数值逐渐稳定在0.4。规定当IoU大于0.5并且类名正确的情况下，该样本可以判定为合格样本，将合格样本数与总样本数的比值作为本次应用效果的检测准确率。最终实验结果显示准确率为97.9%。

为选择效率与准确率高的方式，分别采用“Advanced EAST+Tesseract OCR”模型和Attention-OCR模型对SCD虚连接图中的文字、数字、字符进行识别。

第1种方法是Advanced EAST模型和Tesseract OCR模型搭配共同工作。基于Keras框架的Advanced EAST模型率先工作，利用SCD虚连接图集进行训练，训练结束后得到SCD虚连接图文字区域的图片；然后通过一系列计算和分析，提取、识别图中的文字信息，并对识别的每个字符进行标注；最后，应用Tesseract OCR模型建立针对本次SCD虚连接图的专属文字数据库。

第2种方法是应用Attention-OCR模型，以Tensorflow框架作为工作基础，ResNet101-FPN 作为级联R-CNN主要框架，由ICDAR2017RCTW数据集提供预训练权重信息。InceptionV4作为Attention-OCR模型的骨干网络，预训练模型由ImageNet数据集提供，然后对模型进行训练。训练数据主要为COCO-Text等多个包含不规则多方向的文本数据集。

上述2种方法实验结果对比见表2。可以看出，Attention-OCR方法在文本区域检测和文本识别2个方面的检测效率和准确率均有明显优势。

表2 文字识别实验结果对比Tab.2 Comparison of experimental results for text recognition

SCD虚连接图连接关系识别主要采用的是图像处理技术，最终得到结果的拓扑关系准确率为96.7%。

分别形成SCD侧和Excel侧虚连接后，进行正、反2个方向比对。运用此方法对某变电站的3 000条虚连接SCD进行比对与修改，原先需要3日的工作量，现在6 h就完成一次性比对，并成功校核出402条SCD与Excel虚端子表文件不一致的信息，大幅提高了虚端子连接校核工作的效率和准确率。

4 结束语

本文提出了一种基于深度学习和图像识别的虚端子连接智能校核技术。利用Tensorflow框架的Faster R-CNN模型对SCD虚连接图中的保护、测控IED模块进行识别；对比两阶段识别方法和端到端识别方法，选择准确率较高的Attention-OCR端到端识别方法实现SCD虚连接图中的文字、数字识别；利用图像处理技术实现SCD虚连接图连接关系识别，分析计算后得到SCD侧虚连接表；通过SCD侧虚连接表和Excel侧虚端子表正、反2个方向的比对，最终形成核对报告，筛选出不对应的信息，有效解决了传统人工比对效率低、准确率低的问题。

该技术在应用方面可以大幅提高工作效率，但是目前深度学习和图像识别还存在一定的局限，识别精度不能达到100%，智能校核还存在一定误差，需进一步研究优化。