基于Spark和图论的电力脏数据智能动态检测方法

余 通 宾冬梅 凌 颖 杨春燕 黎 新 谢 铭

（广西电力有限责任公司电力科学研究院，广西 南宁 530023）

0 引言

脏数据是指数据不在给定范围内、数据格式非法或不规范编码的数据，它是影响数据质量的主要因素。在电力系统中，要保证数据质量、提高数据利用效能的效率，同时为了有效利用电力数据来支撑电力系统运行的决策管控和决策知识，电力行业数据中的脏数据检测是其基础和重要保障，对电力系统稳定运行管控具有重要支撑意义。随着数字化和信息化在工业和能源等行业中的推进，应用数据呈指数级不断增长，每年应用数据的体量以TB数量级在增长。体量的不断增长在一定程度上使得数据的维度和密度在发生巨大变化，并且表现出了价值密度低的特点，并且掺杂了高比例的脏数据，这给传统的脏数据检测方法造成了困难。因此，研究人员提出了基于Spark和图论的脏数据智能动态检测方法。

长期以来，对脏数据检测的研究取得了大量成效。在文献[1]中，基于聚类分析思想将数据的重复问题映射为聚类分析问题，进而就可以数据的相似性问题；针对设备状态信息噪声的数据，提出了基于时间序列分析的数据清洗方法；而基于相似性测度的描述方法在判定记录的一致性方面也有一定表现，例如在文献[1]的文献综述中，针对模式匹配问题，提出了基于实体解析的模式匹配算法。上述方法在处理低维度的小数据集时具有良好的性能，但面对维度高、规模大的数据时，其检测性能大幅度降低，难以有效完成海量高维电力数据的脏数据检测。……