基于海量机器数据的实时流处理技术研究

吴丽贤, 林钰杰, 陈灏生, 张远雄, 陈磊

(1.广东电网有限责任公司 佛山供电局, 广东 佛山 528000; 2.广东卓维网络有限公司, 广东 佛山 528000)

0 引言

随着我国电网智能化的升级和改造，电网的规模在不断的扩大，输变电网络产生的数据也不断的增多[1]。因此，对数据的处理技术要求也越来越高，如何高效地解决电力设备和机器运行过程中出现的问题，提高设备的使用效率和降低电力机器设备的运维成本，这些问题是电力企业智能化升级改造的重点内容[2]。传统的数据存储模式是静止的、定量的，适用于数据体量比较小的实时存储和处理。传统的数据实时流处理技术是将数据存储到数据库中，需要对设备的运行状况进行判断时，从数据库中提取相应的数据进行处理[3]；这种数据处理模式可以较好地反应出电力设备运行的状况，但是不能够实时地对电力设备的状况进行了解。

为了更好地解决大数据和智能电网环境下，电网设备的实时运行状况，研发出了基于大量机器和大数据的数据实时流处理技术[4]。该技术可以对电力设备上传的监测数据进行实时的处理、分析，并对电力设备的运行状况进行预判。在数据分析的基础上，可以实时监测电力设备和机器的状况，提高运维人员的工作效率和电力设备的使用效率，实现智能电网环境下电力设备的精细化管理[5]。

本文在电网海量机器数据处理技术的基础上，进一步研究电网设备监测数据的流处理技术,提升数据处理性能，提高电网的运维效率，保障电网的安全运行。……