基于边缘计算网关的企业用电行为可视化分析

沈 颖, 李 昌

(1.上海市软件行业协会, 上海 200125;2.上海申瑞继保电气有限公司, 上海 200233)

0 引 言

可视化能够把科学数据,包括测量获得的数值、图像或是中间计算过程信息,变为集中的、图形化的直观信息,通过多种图表把数据信息、中间过程随时间和空间变化趋势一并呈现在研究者面前,方便研究人员对信息进行观察、模拟和计算。

实现用电可视化,面临2大难点:用电大数据处理和实时呈现。在传统电力系统中,数据可视化的实时性是重点关注的内容。文献[1]讨论了电力系统实时运行状态可视化,把可视化划分为3类:数据显示、运行安全状态显示和运行趋势。其中,数据显示可归结为网络结构、节点数据和线路数据等基本显示。

大数据方面,随着物联网和智能电网的发展,高压电网业务逐步向低压电网业务延伸,低压电网由更多的客户网络构成,其网络数据已从传统应用数据发展为各级系统互联、互通后的海量数据集形式,带来存储、通信、分析、业务模式更新[2]。在物联网和云业务大力推动下,越来越多客户需要获取更深度信息,这种需求对加工数据的实时性、可视性提出更高要求。当前的云计算,采用集中数据、规模处理方式已经不能很好地解决众多客户、新业务出现的实时性问题,带来了客户体验感和信息直观性之间的矛盾。时效性方面,从入户段阻抗、茎线路阻抗,以及结合用户电路负荷曲线建立阻抗分析模型,提出用户异常用电研判需求[3],进一步按照用户端负荷信息进行负荷分类,完成动态需量控制[4]。

大数据解决数据源多样性问题,可视化解决数据分类结果呈现问题。从这种角度看,大数据和可视化相互促进,密不可分。但是海量的数据存储、传输、加工导致数据成本直线上升,为解决这类问题,近年来众多企业和学者提出了边缘计算,力图用其来解决这类海量数据和实时响应的矛盾。

边缘计算指在网络的边缘来处理数据,能够减少请求响应时间、提升通讯设备的续航能力、减少网络带宽,同时保证数据的安全性和私密性。

在处理智能电网大数据和云平台方面[5],本文给出具有通用性的电力大数据平台总体架构,并从电力大数据的集成管理技术、数据分析技术、数据处理技术、数据展现技术4个方面深入探讨符合电力企业发展需求的大数据关键技术。

在数据集成管理关键技术方面,针对现有业务系统在数据规范和分析手段等方面的局限性,通过对 NAT 技术、VSM 技术、负载均衡技术的研究形成了电力调度自动化系统多前置系统集群虚拟网关关键技术,并开发满足二次安防和实时冗余性能的专用集群虚拟网关,提升了多数据通道的业务流数据处理能力[6]。文献[7]提出了一种数据网关,以哈希算法为索引的共享内存实时库和文件型存储为数据存储介质,以消息总线为系统中间件用于网关机内部各应用进程之间的数据交互,可以提高数据访问的响应速度,减少客户等待时间,提升客户探索体验。从系统架构方面文献[8]提出特高压电网调度自动化系统的整体架构和支撑平台主要功能设计。该系统为满足特高压电网运行和监控的需要,采用最新的计算机技术和电力系统可视化技术实现,可以直接得到揭示电网运行趋势和本质的高层次信息。

在可视化技术方面,把这些数据预处理及运算,对负荷特性指标及其影响因素进行数据特征及可视化需求分类研究[9]。基于互联网的云平台,及大量数据资源,采用丰富的可视化组件可以从多个角度展示大数据分析结果,包含了结构化的采集数据和非结构化的巡视数据、多媒体流、企业内部数据。

本文介绍了基于边缘计算网关的企业用电行为可视化方法,阐述其数据结构和可视化展示功能。该方法实现了分布式,跨时域、地域企业用电行为可视化。该方法采用端-管-云模式实现,端为基于边缘计算的数据网关,建立企业结构化业务数据模型;管为物联网通讯层;云为数据中心的可视化服务。这种在企业客户端建立企业用电行为分析模型,采用边缘计算的网关设计方法,在大数据中心开展可视化分析研究,可以有效解决大数据和可视化的时效性问题。

1 可视化分析架构

用电信息涉及电力客户数据信息,遵循《电力行业网络与信息安全管理办法》相关规定,网关数据交互通过防火墙或者物理隔离,数据采用AES进行加密。可视化分析3层架构如表1所示。

表1 可视化分析3层架构

端包括网关和数据采集层,是分析数据的来源,承担企业大部分数据处理和加工数据后存储、发送和接收指令的功能;云包括云平台和数据应用,是所有数据的呈现端,也是企业客户加工后的信息存储、交互节点;管是数据转运通道采用NB或者LoRa通道。

2 端边缘计算网关

在企业用电数据中,相当部分数据属于企业内部数据,需要在内部完成分析计算,并不需要集中在数据中心完成分析。对这类数据进行合理选择可以减轻数据中心的存储、计算压力。

通常,采用边缘计算网关可以减少数据规模扩展带来的不可预期投资,在网关即可完成企业的数据分类、冗错纠正,实现历史数据的整理和统计,摈弃大部分中间数据,存储加工数据,利于大数据可视化的实现。

企业用电行为涉及企业电能管理及生产、生活性质各个方面。在大数据背景下,可以从相当长一段时间的用电数据来分析企业用电习惯,探查企业用电规律,以发现用电过程中的不当行为,帮助企业掌握自身的用电特点,从而减少不必要的浪费,节省开支。可视化系统中边缘计算网关就承担企业大部分数据加工、处理及存储、发送和接收指令的功能。

2.1 企业用电数据选择

企业用电负荷可采集的数据类型众多,除了网络拓扑数据外,本文还选择15 min平均有功、无功负荷来分析及可视化展示。15 min平均有功、无功负荷指企业用电负荷15 min有功电度的平均值,采用5 min时间间隔,每天有288个点数据。

(1) 企业用电计费点的数据S1:如果企业有多条进线供电或者有多个变压器供电,则有多组计费点,这个计费点和企业用电账单一一对应。

(2) 企业主要用电设备数据S2:主要用电设备数据虽不用作企业对外费用结算,但是企业生活、生产主要耗能设备,是控制月度最大需量和需求侧响应的负荷点。

设数据集合为φS,则

φS=φS1∪φS2

(1)

式中:φS1、φS2——用电数据S1和S2集合,两者数据均含15 min平均有功、无功负荷及用于分析计算的企业电网拓扑数据。

2.2 云与端的数据结构

在可视化数据结构中,划分如下:云数据含可视化的数据集Q1;端数据含可视化的数据集Q2、非可视化数据φS。

数据集Q1、Q2有如下关系:

Q1=[Q2.1,Q2.2,…,Q2.i,…,Q2.n]

(2)

式中:Q2.i——端的第i种数据,总数目为n。

可视化数据结构如图1所示。

云包含端的可视化数据结构,公共核心数据结构相同,云、端地址为一一映射关系,定义如下:

Struct edge_datamodel{

datamodel Data;

int address;

}

Struct cloud_datamodel{

edge_datamodel nData;

}struct datamodel{

int lzid;

varchar content[20];

int type;

int subtype;

varchar value[20];

varchar unit[20];

}

其中datamodel、edge_datamodel、cloud_datamodel分别为公共核心数据结构、端数据结构、云数据结构。

2.3 云与端的镜像数据结构

本文中数据结构设计为云、端公共模式,保证数据之间的直接镜像,极大提高了云可视化应用服务的访问速度,同时可提升端和云之间通讯效率。数据之间镜像映射关系如图2所示。

2.4 边缘计算网关数据模型建立

可视化数据结构中datamodel是核心,为云和端数据映射的基础。datamodel数据结构如表2所示,用来存放可视化数据。

表2 datamodel数据结构

表2中,对于同一个企业客户lzID,具备相同的可视化类型type,则必定在同一组可视化组件中显示。

子类型subtype指同一个type中不同的数据类型,则在同一组可视化组件中显示,比如同一个用电设备的有功、无功在同一个组件中同时可视化。

数值value为可视化显示的数值,多个数值以逗号分隔,比如同一个断路器的照明分项、空调分项、动力分析等。

单位unit为value一一对应的数值单位,是可视化显示的数值标注。

2.5 边缘计算datamodel.type的类型定义

企业用电行为从多种角度可以划分为多种类型来分析企业某段时间的用电数据,本文根据地域、时域划分类型。

第一类:地域类。不同地域相同类型数据可以进行对比,以找出差异。在这种类型下,本文根据用电性质按照分项类型划分,如洗煤车间的动力用电、洗煤车间的照明用电、洗煤车间的空调用电。根据企业的需求,还可以按照生产性质来划分,如洗煤车间的生产用电、洗煤车间的生活用电、洗煤车间的运输用电。

第二类:时域类。不同时间相同位置数据可以进行工艺改进、生产班组、同一个生产线的不同产品用电对比,以找出工艺用能、设备改造、季节变换的差异。在这种类型下,本文根据用电性质还按照峰谷平类型划分,如企业峰用电、谷用电和尖用电。还可以按照固定时段来划分,如24 h用电、上/下班时间用电、休息日/非休息日/节假日用电。从设备能耗来分析,还可以按照待机用电、生产用电划分。

不同type表示不同可视化内容,如某工厂要实时监测洗煤车间的6种主要用电设备的用电情况,设置type=1,subtype为1～6;监测动力工厂3个班组的用电情况,设置type=2,subtype为1～3,同时还需要浏览动力工厂本月、上月、上年的同环比数据,设置type=3,subtype为1～3,数值单位kWh。

2.6 边缘计算datamodel.value计算

采用边缘计算及数据可视化完全分离方法。value为边缘计算的结果,也是可视化分析的输入来源,表达横向、纵向客户用电行为信息。根据不同的类型,采用不同的算法进行分析计算,把结果直接保存到网关datamodel结构中,中间计算及中间结果由其他进程完成。

2.7 端-云分离的流程示意图

网关数据流程及云端可视化流程如图3所示。

3 数据可视化算例

算例选取某制造行业用电数据,其大数据平台稳定运行5年,有完善的用户端主站能耗监控系统。该企业有4个动力工厂,每个动力工厂有若干车间,有选煤车间、洗煤车间、粉碎车间等。

洗煤车间主要用电分为压力泵、传输、锅炉、空调、照明、搅拌;从班次上来分有A班、B班、C班3个时段。

3.1 数据网关处理用电数据

边缘计算网关从云端下载企业非结构化数据φS,存储在网关,作为网关计算的边界。

网关从采集传感器获取实时用电数据后,结合φS进行分析处理,结构保存到网关可视化结构datamodel中。

3.2 物联网上行数据

网关可视化结构datamodel保存了企业可视化计算结果,通过物联网网络直接映射到云端datamodel结构中,由云端可视化模块完成可视化服务。以NB-IoT为例,其中一条数据上行指令为AT+NSOSD=1,25,681600070A00020100060000 000000010A00002D0E12031489。

指令格式为socket号+数据长度+指令内容,上面指令内容为681600070A00020100060000 00 0000010A0 0002D0E 12031489。

指令内容包括如下信息:报文头+报文长度+起始序号+可视化内容+校验信息。可视化内容格式为type+subtype+ value+unit+lzid。

上面指令中type=0002,subtype=01,vaue=0006 0000,unit=0000,lzid=0001为十六进制,表示上送某企业ID为00010A0的动力工厂A班能耗值为0006 0000(千克标煤)。

3.3 云端数据访问接口

云端可视化模块直接访问云端的datamodel数据结构,无需发起下行数据请求。

云端接口响应时间如表3所示。接口共返回12组类型值,以15 min的数据间隔计算,该接口每个网关每天数据量为:96×12组数据,每组数据包含72个字节,共82 KB,带宽10 Mb。

表3 云端接口响应时间

同时,列出了不采用边缘计算网关,采用云端计算相同数据响应时间。由表3可见,采用边缘计算后效率有大幅度提升,有助于实现云端用电行为的动态可视化。

3.4 基于echart的数据可视化用例

echart可以流畅地运行在PC和移动设备上,兼容当前绝大部分浏览器(IE6/7/8/9/10/11,chrome,firefox,Safari等),底层依赖轻量级的Canvas类库ZRender,提供直观、生动、可交互、可高度个性化定制的数据可视化图表。创新的拖拽重计算、数据视图、值域漫游等特性大大增强用户体验,赋予了用户对数据进行挖掘、整合的能力。

对表3数据进行时长为30天的一组数据可视化,echart的洗煤车间用电可视化如图4所示。echart的动力工厂A、B、C班用电可视化如图5所示。

采用可视化后,把大量信息集中在图表中,由上面例子中可以看到:重点用能设备为锅炉,而不是空调设备,其负载和时间关系不大,属于较稳定用能设备,压力泵用电变化太大,需要进一步分析原因是否和生产有关,还是设备工作效率的突变。对比传统采用不直观的表格方式的用电报表,有显著优点:直观展示能耗对比信息;能耗趋势有助于用户分析用电设备是否正常工作,提供设备维护的数据参考,利于开展设备运维业务及数据分析业务。

4 结 语

采用边缘计算网关可以减少数据规模扩展带来的大量数据存储、处理,加快可视化响应速度。本文采用结构化的数据存放核心可视化模型数据,建立端-云之间的数据映射,采用物联网作为通讯管道层,可大大减少可视化服务处理时间,现场可视化响应时间算例数据说明了此方法的可行性。这种数据和业务的分离方式,采用核心可视化结构datamodel,保留了数据业务的可扩展性,把数据处理和可视化业务分离,减少了建设成本,同时有利于可视化业务的推广。