基于异构计算与实时可视化技术的综合能源大数据平台研究与应用

赵少东， 王程斯

(1.深圳供电局有限公司， 深圳 518001;2.深圳市数聚能源科技有限公司， 深圳 518010)

0 引言

大数据时代的最突出特点就在于海量的信息数据，这些信息多数产生与信息用户个人网络操作行为，并且因为用户个人计算机带有异构性，所以在对数据进行储存时，往往会将数据以独立的形式储存。在电力企业视角下，现代用户的电力信息同样庞大，以往为了对庞大电力信息进行管理，电力企业的会采用电网系统进行监控，但在应用结果上可见，电网系统的监控存在实时性、准确性不足的问题，之后通过分析发现，造成此问题的原因在于，电网系统所采集的数据信息为单纯的电能供给信息，无法对电力用户的用电行为、用电特点等信息进行采集，缩减了电能供给分析的范围，所以为了对此进行改善，需要进行相关的研究。

1 异构计算实时可视化综合能源大数据平台建设概述

因为现代网络环境的复杂，许多网络信息都出现了较强的独立性，形成了“孤岛信息”的现象，此现象在电力能源供给领域同样存在。在“孤岛信息”的影响下，容易降低网络信息的价值以及资源浪费的问题，所以为了对此进行改善，需要进行异构计算实时可视化综合能源大数据平台建设[1～6]。

在建设当中，本文主要采用了Hadoop、Spark、GPU计算等多种计算技术以及云化ETL技术、数据智能化修复、数据分析与挖掘模型市场、海量数据实时可视化框架组成异构计算实时可视化综合能源大数据平台，在这些技术的应用之下，可以实现对海量用户用电数据进行多元化计算能力、多源数据整合与开放、用电地址结构化管理、电能生产与消费统一化管理、可视化海量数据多维度实时分析等目的[7～9]。

2 异构计算实时可视化综合能源大数据平台关键技术分析

2.1 Hadoop技术分析

在本质上，Hadoop技术属于分布式系统框架，能够为平台建设提供基础框架。在Hadoop技术的应用之下，工作人员能够在不了解分布式底层细节的前提下，进行分布式程序开发，同时因为框架效应可以使海量数据形成集群，之后在集群的基础上可以进行储存以及高速计算，下文将对Hadoop的储存与高速计算功能构成进行分析。

1.储存。Hadoop的储存功能主要来自于HDFS，HDFS是一种分布式系统框架，与线上文件系统相似，即以文件的形式将数据分类并保存，在以往的应用当中HDFS体现出容错率高、高吞吐量的优势[10]～[11]。

2.高速计算。Hadoop的高速计算功能主要来自于MapReduce，MapReduce本身属于编程模式，具有高效率、高容量的特点，在以往的应用当中MapReduce可以对大于1TB的数据进行计算，在Hadoop环境下的应用中，能够自行将程序运行在Hadoop的分布式系统当中，使计算工作的便捷性得到提高[12]～[14]。

2.2 Spark技术分析

Spark属于一种通用的计算引擎，其是专门针对海量数据而设计的，在应用当中具备效率较高的特点。在相比之下，Spark与Hadoop MapReduce基本相似，所以两者之间具有很好的融合性。此外，Spark计算引擎与Hadoop MapReduce的不同点在于，Spark的计算结果可以直接被保存计算机内存当中，不需要通过HDFS的低些，所以相比之下Spark的性能要高于Hadoop MapReduce，但在本文设计当中，不需要将此两项区分，所以本文将此两项技术融合为并行框架[15]。

2.3 GPU技术分析

GPU是一种图像处理器，主要针对计算机显卡数据进行处理，在以往的应用当中GPU常被用于移动端、PC端、工作站等多项领域，所以在本文的电力企业背景下，GPU同样可以被应用在电力企业的移动端、PC端、工作站当中。本文在GPU的功能下，能够将上述计算技术所得出的结果形成二维或者三维图像，同时工作人员可以直接对图形进行处理，实现了电力能源可视化监控平台基本框架[16]。

2.4 功能性技术分析

为了增强平台的功能性，本文主要采用了云化ETL技术、数据智能化修复技术、数据分析与挖掘模型市场搭建技术、海量数据实时可视化框架搭建技术来实现目的，下文将对此人类技术构成进行逐一分析。

1、云化ETL技术。云化ETL技术主要用于信息的归纳与收集，在电力企业背景下，可以将其企业内营销系统、计量自动化等数据进行整合形成数据集。在数据采集方面，本文在此项技术当中，加入了数据交易、网络爬虫运作模式，通过两者的应用，可以从互联网等信息渠道获取社会经济指标、企业信息等数据，再结合Hadoop技术实现了数据分布式存储以及整合。

2、数据智能化修复技术。本文主要采用通用修复软件与智能化技术实现目的，即当新数据产生之后，智能化技术可以自动进行备份，并智能分类储存在通用修复软甲年当中，在数据出现遗失等现象时，即第一时间通过历史数据与现下数据的数量、类型对比，发现遗失数据，最终在启动通用修复软件的备份修复功能，实现智能化修复、

3、数据分析与挖掘模型市场搭建技术。在综合能源大数据中心数据资产优势之下，采用通用性的算法、模型组件化建设市场模型，通过该市场可以有效控制运作成本。

4、海量数据实时可视化框架搭建技术。结合GPU技术构建海量数据实时可视化框架。

3 异构计算实时可视化综合能源大数据平台搭建

3.1 总体架构

在Hadoop+MPP架构基础上(MPP为软件Project的文件格式)，结合大数据技术进行构建，为了实现异构计算机可视化监控，首先对电力企业的数据类型进行了分析，分析据诶过显示电力企业数据类型主要可以分为：电力管制性业务数据资产、外部渠道数据资产、各类综合能源业务数据资产等。依照数据类型，对平台建设架构进行设计，结果显示架构流程为：应用层、平台层、数据源层、网络层、终端层，平台建设总体架构,如图1所示。

对各架构分层进行分析，如下文所述。

1) 应用层。主要实现分析挖掘服务、数据共享服务、数据交互服务功能等，为了对多项功能进行管控，本文采用了Kafka集群系统，该系统能够实时获取对于应用功能的数据流，在通过人工操作以及智能化技术的介入，实现应用层管控。此外，Kafka集群系统还能够实现数据筛选，可以适当减少数据集群当中的无用数据。

2) 平台层。主要由数据管控、平台管控、能力层、计算层、存储层、数据获取层组成。在数据管控、平台管控主要采用数据管理技术，此项技术能够实现数据的收集、组织、储存、处理等功能，为了给工作人员提供操作服务，通过编程技术将此项技术编译成VB功能按键，工作人员可以直接通过按键实现数据管控；在能力层、计算层、存储层、数据获取层方面，主要将GPU、HDSF、MPP技术结合应用。

3) 数据源层。采用大数据挖掘技术以及天地图技术构建而成，该层主要能够提供给平台层提供数据支撑。

4) 网络层。由4G网、以太网、载波技术组成。结合OCPP协议、104基础通信协议对4G网、以太网进行规划建设，实现WIFI接入、非侵入式终端接入。

5) 终端层。主要负责数据的产生，通过网络层进行通信。

3.2 应用架构

应用架构主要涉及平台管理能力，该架构分为4个部分，即数据管理、平台能力管理、计算引擎管理、存储与同步管理如图2所示。

图1 平台建设总体架构

图2 应用架构图

下文将对此进行逐一分析。

1) 数据管理。采用CRM软件实现数据管理，CRM软件是一种用户关系管理软件，能够良好的接收来自用户的数据信息，之后通过相应的功能，将用户数据进行存储备份，并建立相应的数据模型，在需要调用数据时，通过检索操作即可。

2) 平台能力管理。采用SQL服务器提供支撑，再依靠MDX服务、FTP服务于API服务四种类型实现数据接入管理；采用基于BP神经网络的统计分析技术、数据挖掘、机器学习等技术实现数据分析与挖掘；采用云化ETL技术、时空可视化技术、热力渲染功能技术构建。

3) 计算引擎管理。在Spark计算机引擎基础上，采用GPU计算任务管理、SQL任务管理、机器学习任务管理、图计算任务管理等功能程序增强计算引擎功能性。

4) 存储与同步管理。采用云储存技术实现数据分类存储与同步管理功能。

4 异构计算实时可视化综合能源大数据平台应用

结合某实例电力企业应用情况进行分析。

4.1 实例业务结构分析

实例电力企业的业务架构主要可以分为电动汽车充电云平台、居民智能用电应用、掌上营业厅、网上营业厅、微信公众号、客户全方位服务六项，通过多年的累积，该企业现已拥有约90万用户。

4.2 实例业务应用过程

因为实例中的六项业务在平台中的运行流程一致，所以不需要分开分析，对此本文将针对上述六项业务中的掌上营业厅来对实例业务应用过程进行分析，因为掌上营业厅在现代较为普及，其分析结果较具代表性。分析内容包括数据采集、数据分析、数据服务功能实现方法，具体如下。

(1) 数据采集

主要通过平台中的数据共享功能来获取相关数据，获取过程当中操作人员可根据数据检索功能来便捷的找到所需数据，采集流程上，通过SQL、FTP、API、MDX中任意一项接入协议进入数据共享储存库，再通过人工检索输入关键词，来实现数据获取。

(2) 数据分析

针对数据进行分析，首先通过数据可视化功能将上述采集得来的数据进行展示，其次进入开发管理模块来对数据进行相关分析，排除无用数据并对数据进行分类，了解数据与哪一项工作任务相符，最终将数据输入计算引擎管理模块，进行任务分配。此外，在此步骤当中还会启动数据分析与挖掘模块，平台会自动对数据进行挖掘，并对挖掘结果进行学习(记录)，给下一次操作提供帮助。

(3) 数据服务功能实现

根据工作任务分配结果，操作人员依照服务需求可以通过工作流引擎管理模块对任务调度模块进行控制，相应也就控制了其中的任务数据，实现了数据服务。

4.3 应用效果

从3个方面对实例电力企业异构计算实时可视化综合能源大数据平台应用状况进行分析。

(1) 计量数据、能源管理准确性

通过平台应用，实例企业的计量数据、能源管理准确性得到了提高，根据统计结果显示，该企业在处理数据业务时的准确率达到98%以上。

(2) 平台服务表现

平台提供了各类客户用能特征类模型、客户负荷需求类模型和充电桩运营类模型服务，以及相关数据的共享和计算服务等提供了有效支撑，在数据上来看平台内各模型和服务每日应用均值为1 600余次。

(3) 平台功能性表现及可控性表现

平台可以实现数据可视化监控管理，后台工作人员可以针对某项业务，采用相应的功能按钮，或者直接在图像上进行操作，以此即完成了管控。此外，因为CRM软件的关系，后台人员可以实时了解到用户的用电习惯、用电特点等，使操作更加贴合用户需求。

4 总结

大数据技术对于现代社会的发展具有重大影响，在此背景下出现了许多不同种类的大数据应用形式，其中就包括了异构计算实时可视化综合能源大数据平台。本文为了了解该平台的原理以及应用情况，首先针对性的展开了开发研究，研究当中先对平台建设的必要性以及建设思路进行了阐述、对平台建设当中的关键技术进行了分析，之后进行了平台建设。建设主要分为两个部分，即总体架构搭建以及应用架构搭建，其中总体架构主要功能在于提供平台总体框架，应用架构主要实现了框架内的各项功能。最终，为了验证本文建设是否有效，结合实例进行了相关分析结果显示良好。