基于修正Mask R-CNN算法的继电室机器人微小特征识别

陆颖杰，苏淼，黄超

(国网宁夏检修公司，宁夏 银川 750011)

0 引言

继电室主要用于电力系统的发电、输电、配电、电能转换以及在消耗中起通断、控制和保护的作用，其可靠性关系着电力系统电能质量及供电的可靠性[1～3]。目前对继电室开关柜的检测仍采用定期人工检修，该方法检修周期长，不能及时发现在两次检修之间发生的缺陷，还可能对无故障的设备检修过度，造成资源浪费及成本增加[4-5]。设计继电室机器人可以使得检测智能化，并减轻人工检修的工作量。

视觉是机器人感知外部环境的重要方式[6]，可配合机器人的结构运作来完成检测和监控以及数据读取，故要求其识别模块具有实时性、可靠性、同步性以及高精度。传统的视觉识别采用滑窗法[7]，以窗口的形式对图片遍历分割，效率较低；文献[6]中提出的基于Mask R-CNN(Mask region convolutional neural network，Mask R-CNN)算法模型的双目视觉技术，可以准实时的速度进行物体的识别和定位，满足监控模块的实时性。本文把深度学习Mask R-CNN算法模型和双目视觉技术相结合的方法应用于继电室机器人的实时监控模块，采用修正的Mask R-CNN算法来实现对开关柜上的锁孔和开关两个微小特征的识别。

1 继电室机器人

继电室开关柜的智能检测主要包括柜门上的开锁动作、柜内的开关操作以及电压瓦数读取等，其中锁孔和开关属于微小特征，其直径仅为10mm，如何高效识别这些微小特征将直接影响智能检测的效率以及智能化的程度。由于双目摄像机对物体定位的精度较低，而一般基于深度学习的对象检测仅用于二维图像，将深度学习与双目视觉相结合，利用深度学习在二维图像上的精准定位和分类效果，结合双目摄像机返回深度信息，最终实现三维图像的定位识别。Mask R-CNN具有较高的精度和较快的速度，满足继电室机器人监控系统实时同步性和高精度的要求。

继电室机器人的实时监控模块运用于两个场景：第一阶段使用传感器检测暂态地电压，判定开关柜运行状态时，对于异常状态的开关柜识别其锁孔位置，并执行开锁操作；第二阶段识别开关柜柜内的状态信息(指示灯状态)，必要时进行开关断电操作。图1为继电室机器人在继电室内进行锁孔识别的情形，其要求为：识别距离>50cm，且识别特征为10mm的锁孔和开关。对于第一阶段的开锁操作和第二阶段的开关操作，其定位精度要求较高；而第二阶段的对指示灯状态读取没有定位要求。环境中角度、光线以及模糊等对图像识别有干扰，并且锁孔以及开关的材质反光也会对图像识别带来较大影响。

图1 锁孔识别现场

根据对实时监控模块的基本框架要求，得到如图2所示的系统执行流程。

图2 实时监控模块的系统执行流程

2 图像识别技术

2.1 修正的Mask R-CNN算法

卷积神经网络模型(convolutional neural network，CNN)是一种典型的深度学习网络模型[8]，用于图像识别的目标检测，分为定位和分类两个步骤，包括卷积层、池化层和全连接层，分别进行特征提取、降维汇聚特征以及分类整合。式(1)为卷积公式[9]，其中f(x,y)为图片像素点矩阵，g(x,y)为卷积核(即图片像素点的权重)，改变卷积核则可以提取不同的特征。区域卷积神经网络模型(region convolutional neural network，R-CNN)则是在CNN的基础上，通过选择性搜索操作确定候选区域，先对输入图片进行候选区域划分，再通过CNN网络模型提取特征，最后进行分类识别，避免了对没有特征信息的区域进行无意义的卷积。

(1)

Mask R-CNN基于R-CNN网络，延用的区域生成网络(region proposal network，RPN)提取候选框，结合特征金字塔网络(features pyramid network，FPN)以及感兴趣区域校准(region of interest Align，ROI Align)，对尺度不同物体的识别效果进行优化并得到更精确的分割。

FPN融合了高层特征和低层特征(图3)，式(2)为FPN的算法公式[9]，Ci为卷积生成的不同尺寸的特征图，Pi为融合的特征，sum为元素的对位求和，conv为卷积。其中P6为P5的最大池化，即在划分的区域网格内选择最大值作为该区域的像素值。ROI Align保留小数计算，取消量化操作，提升准确性。

图3 FPN示意图

(2)

RPN基于P2、P3、P4、P5、P6特征图(图4)，对每一个特征向量回归一个5n维的向量，然后用以描述锚框Anchor的修正值(锚框中心坐标偏移△x、△y，锚框宽高偏移△w、△h，前后景置信度p)，根据修正值来修正锚框，式(3)为修正计算公式。

图4 Mask R-CNN网络示意图

(3)

2.2 双目Mask R-CNN系统

双目视觉下，深度的测量基于视差[10]。如图5所示，01、02分别为左右两个摄像头，同时拍摄同一物体P(x,y,z)，f是焦距。在距摄像头f距离的平面上得到点P的对应点Pl(xl,yl)、Pr(xr,yr)。令视差d=xl-xr，Tx为两相机间的距离。已知视差d，两个相机光心距离b，焦距f，可以根据式(4)求出深度z。

图5 双目视觉视差图

(4)

二维图像和位置的识别均使用单目摄像头(左摄像头)，以左摄像头的坐标系确定各物体位置，再使用双目摄像头测量物体深度。标定时，为提高相机精度，先进行单目标定后进行双目标定，并使标定的图像和位姿尽量多一些。

3 实时监控模块的实现

3.1 微小特征的识别

开关柜的分布如图6所示，其中图6(a)为开关柜上的锁孔分布，图6(b)开关柜内的开关分布。从图6中可以看到开关柜的器件分布比较简单，且背景单调容易分辨出开关柜上的各种特征。

图6 开关柜的分布

1) 锁孔的识别

由于执行开锁任务时涉及具体操作，不仅需要获取准确的三维位置，还要使得钥匙对准锁孔，这就需要对锁孔进行像素化定位。本文利用Mask R-CNN模型，由CNN网络和RPN网络实现对于锁孔的基本识别和中心点的二维定位；通过Mask R-CNN的掩码部分，获取锁孔的精确像素掩膜(图7)，通过最小外接矩算法[11]对掩膜矩阵计算分析，获取锁孔的角度信息。开启双目摄像机，获取锁孔的深度信息，系统将以上信息综合，并返回给机械臂，完成开锁操作。

图7 锁孔的定位和识别

2) 开关的识别

开关的识别和锁孔的识别原理一致，其掩膜识别如图8所示。

图8 开关的识别

现实环境中存在角度、光线、模糊等对图像识别的干扰。为模拟开关柜室内环境，增加模型鲁棒性，对神经网络的训练图像添加不同的扭曲、光照及模糊效果，并与未处理过的训练图像一起构成新的训练数据集，不同情况的识别效果如图9所示。

图9 不同情况的掩膜识别

对以上几种变形情况，计算每个类在区域级上的平均精度[12](AP)；此外，对50cm范围处的10mm特征进行识别和定位，测试所用的时间T；用AP和T来标定Mask R-CNN算法的识别性能。AP计算如式(5)所示。其中，TP和GT分别为检测和目标真实检测结果的像素点个数，AP为NGT个P值的求和平均。计算和测试结果如表1所示。

(5)

从图9中可以看出各种变形的开关图像均被像素化定位，相比传统的Mask R-CNN，其精度有所提高，且双目定位效率高、用时少，实现目标的高效定位及识别。

由于时间与成本限制，在训练图像分类模型时，对每一种类的训练数据控制在200～500张，属于小型数据集。借助图像识别底层的特征提取的相似性，本文通过微调在ImageNet 1000上预训练的卷积神经网络，修改预训练模型的softmax层，将已训练好的参数作为初始化值，并通过冻结底层参数、训练高层参数的方式，弥补数据量较小的不足。

3.2 指示灯颜色识别

对于指示灯的颜色识别，定位要求低，仅需要读取颜色信息即可，本项目使用的开关柜内置3种指示灯(图10)：红色(故障)，绿色(正常)，黄色(异常)，分别代表3种不同状态，每种状态只亮1盏灯。训练模型时，分别对3个指示灯进行明暗判断，并用one-hot编码标注状态。

图10 指示灯示意图

指示灯部分的标签片段为{c1,s1,s2,s3}，其中c1表示是否检测到指示灯：若c1为0，表示模型未检测到指示灯，则不关心s1-s3的值，即标签片段为{0,?,?,?}；若c1为1，表示检测到指示灯。

分别用s1-s3判断各个灯的明暗情况，其中：s1，故障(红)；s2，异常(黄)；s3，正常(绿)。用1和0分别代表指示灯的亮与暗。代表正常状态的标签片段为{1,0,0,1}，故障为{1,1,0,0}。

4 结语

本文结合深度学习和双目视觉技术，基于双目Mask R-CNN系统，设计了继电室机器人的实时监控模块，针对需要精准定位的锁孔和开关，进行扭曲、光照以及模糊等不同变形处理的图像训练，形成一个小型数据集，最终经实验检测，该监控模块能够实现对锁孔和开关的高效定位和精准识别，在50cm的范围外对10mm物体(锁孔开关直径)进行定位与识别。继电室机器人有了实时监控模块便能感知定位，配合机械臂运行，真正意义上完成智能化检测，减轻人工负担，并可承担繁重的检测任务，对于大型继电室具有一定的经济价值。