基于Apache Spark的配电网大数据预处理技术研究

徐 宁， 王艳芹， 董 祯， 王 勇

(1.国网河北省电力有限公司经济技术研究院，河北 石家庄 050000;2．国网河北省电力有限公司，河北 石家庄，050000)

0 引 言

随着诸如传感器、摄像头等数据采集技术的不断发展，数据采集、存储的成本越来越低，意味着各种规模的企业可以以非常低廉的价格获得大量数据。电力行业作为国民经济命脉之一，近年来不断扩大对智能设备的投资，使得配电网中的各类传感器数量不断增加。数据采集、存储的规模达到了拍字节(Petabytes)级别，形成了包括设备基本资料、运行状态监测数据、电力营销数据等多源异构的配电网大数据[1-2]。

对贯穿生产、输送、消费全过程的配电网大数据的高效分析不仅可以满足科学规划、经济调度、的工作需要，还可以解决未来分布式电源接入、需求侧响应中潜在的智能化管理问题[3]。如何挖掘海量数据中潜在的信息已成为当前学术界和产业界共同关注的研究方向。文献[4-5]构建了一套大数据平台，利用并行计算技术提高负荷预测的精确度和计算效率；文献[6]将大数据技术与人工智能结合，提出了数据驱动的配电网无功优化方案；文献[7-8]从宏观角度分析大能源思维与大数据思维的融合方式与前景。挖掘配电网大数据中包含的信息有助于配电网的管理控制精细化，为智能电网的经济稳定运行提供有力支撑[9-10]。

与此同时，数据的大规模采集和存储使得电力行业面临大数据处理的技术挑战[11-12]。各类数据在采集、传输过程中会受到外界干扰，导致系统传输错误、短暂失效等问题[13]。……