浅谈电力大数据平台关键技术研究与应用

付盼++刘晓龙

[摘  要]近年来，经过SG186工程、SG-ERP建设，国家电网公司积累了丰富的数据资源，但随着公司业务系统数据量的不断增大，数据价值挖掘需求的增长，电力大数据平台需要横向扩张，进一步整合优化数据资源。本文研究探讨了电力大数据平台关键技术研究与应用，充分分析现有数据中心平台组件待优化点基础上，开展公司大数据平台基础组件的研究，以实现统一为公司各类应用建设提供海量数据采集处理、存储处理、计算处理、分析挖掘等基础性支撑功能。

[关键词]大数据平台;关键技术;数据整合;数据存储

中图分类号：F426.61 文献标识码：A 文章编号：1009-914X（2016）24-0194-01

1 引言

随着国网公司“三集五大”管理体系和调控、运监、客服三中心的全面建设，信息系统已全面融入公司生产经营管理业务的各个方面，积累了大量的结构化数据、非结构化数据、海量历史准实时数据和地理信息数据。按照“统筹规划、协同推进、统一平台、规范建设”的总体策略，在充分继承现有信息化建设成果和一期大数据平台试点建设经验的基础上，2016年公司将全面推广大数据平台建设工作，以提升公司内外部数据资源整合处理和价值挖掘水平，促进管理提升和业务创新。

2 关键技术研究

1）关系数据与分布式存储同步技术

关系数据库与分布式存储同步技术是指可以将关系数据库的数据抽取到分布式存储中，又可以将分布式存储中的数据回写到关系数据库中。

大数据平台中的数据通常采取分布式存储技术进行海量数据存储，数据主要来源于公司现有的关系数据库、数据仓库。……