基于BERT预训练语言模型的电网设备缺陷文本分类

田 园,原 野,刘海斌,满志博,毛存礼

(1.云南电网有限责任公司信息中心,云南 昆明 650000;2.昆明理工大学 信息工程与自动化学院,云南 昆明 650500)

利用信息技术实现智能电网设备故障分析具有十分重要的价值[1]。电网设备故障分析传统的方法主要有基于数据挖掘方法、基于分类的方法、基于聚类的方法。韩博闻[2]提出基于Apriori关联算法的配电网运行大数据关联分析模型,挖掘配电网运行维护中各运行因素与运行维护指标之间的显性或隐性关联。刘科研等[3]提出了基于数据挖掘的配电网故障关联因素分析与风险预警方法,有效提高了配电网风险预警的准确性。洪翠等[4]提出以故障分量均方根及欧氏距离为特征量,结合改进多分类支持向量机(Support vector machine,SVM)的配电网短路故障识别方法。张斌等[5]提出结合降维技术的电力负荷曲线集成聚类算法,解决电网中由于电力负荷过低引起的异常问题。然而,这些方法都是基于特征工程的方法,进行设备故障分类时很大程度上依赖于故障数据的数据集大小以及特征选取的准确性,由于电网中的故障数据无规律、关联程度小等特点,基于特征工程的方法受到了一定程度的局限。近年来,随着深度学习技术在图像处理、语音识别、自然语言处理等方面取得显著的效果[6-8],一些学者尝试将深度学习方法应用于设备故障任务中。朱元振等[9]提出基于深度学习直流闭锁判断的高风险连锁故障快速搜索方法,能够快速给出高风险交直流连锁故障的传播路径和故障概率,可用于在线安全预警和防控决策。……