基于云平台的分布式资源智能监控结构体系研究

庞宁，黄安子，李颖杰，陈喆，王琦，易潇然，成谦，任磊

（1.深圳供电局有限公司，广东 深圳 518000；2.深圳电网智慧能源技术有限公司，广东 深圳 518000）

0 引言

随着新能源发电装机量的大幅增加和全社会用电量的增加，电网系统对保障电网安全稳定的优质调节资源需求逐渐增多。储能、中央空调和冰蓄冷等用户侧分布式资源可调节的潜力巨大，能够较好地实现电网的响应需求[1-6]。鉴于该类分布式资源对保障现代电网的安全稳定运行具有重大作用，有必要及时准确地掌握配网分布式资源的实时运行状态和能量信息[7-11]。然而由于储能、中央空调和冰蓄冷等用户侧分布式资源数量以及需要采集的信息量越来越多，且多分布式资源所监测的数据特征存在多样化形式，海量的多源异构数据给分布式资源监测终端带来了压力，给现分布式资源响应能力分析和能量管理带来了较大挑战。因此研究分布式资源运行状态的远程在线监控具有重大实际电网工程应用需求，能够帮助用户减轻工作量，提高分布式资源的运行和管理效率。

目前电网公司存在多种分布式资源监控体系建设方案，如企业资源计划、面向服务架构的监控体系、信息集成监控体系等，该类方法在更大范围内对资源进行优化配置，以集约化管理作为监控重点，包含了能量信息采集、风险评估、故障诊断以及全寿命周期管理等业务[13-18]。上述监控体系所涉及的方法仍采用的是传统的数据存储、计算和管理系统，系统成本高、监控时效性差以及扩展性差。智能电网环境下的多分布式资源数据量巨增，对监控系统的数据时效性提出了更高的要求，针对分布式资源的海量、多源异构的数据特征，常规监控体系的数据存储及管理方案难以满足实际运行需求。

针对上述分布式资源远程监控体系所面临的问题和挑战，目前被广泛应用的方法之一是采用分布式数据处理的智能监控方式[19-20]。近年来，云计算平台技术的快速发展推进了电力系统的智能化建设进程，基于云计算平台的远程监控技术在电网企业以及科研院所等得到了广泛关注和应用，该技术在目前电力系统设备远程监测、故障诊断等应用也日益成熟[21-24]。国家电网公司将云计算平台的概念引入到电力系统中，并针对云计算平台在电力系统不同应用业务中应用说明了云计算平台对提升电网应用业务能效的提升具有重大支撑作用[25-27]。

因此，本文提出基于云平台的分布式资源智能监控结构体系，整合云计算平台的分布式资源运行状态信息融合共享优势，采用分布式存储、计算和管理资源功能，提高分布式资源监控分析的速度、效率和可靠性，实现分布式资源的高效运营和管理。

1 智能监控云计算平台

1.1 需求分析

云计算平台的基本含义是通过互联网将多种设备资源采用服务的模式来提供给用户，而用户无需了解如何来对云计算平台基础设施进行管理，云计算平台基本组成见图1。云计算平台是在并行计算、分布式计算以及网格计算基础上所发展而来，是效用计算、虚拟化等概念演化而来，能够形成一个虚拟的、抽象的以及可动态扩展的资源池，再通过互联网按需提供存储能力、计算能力以及开发平台等服务。该云计算平台的主要功能包括：1）对大规模异构资源能够进行计算和整合；2）能够灵活方便地动态扩展；3）能够利用虚拟化技术实现不同资源到服务形式的转换；4）能够利用互联网技术实现不同设备之间的互联通信；5）能够有效整合闲置资源，具备较强的规模经济效益。云计算平台可实现多分布式资源的信息存储计算以及相互之间的信息交互，能够对采集的多源信息数据有效整合，从而提高分布式资源监控的可靠性以及可用性，从而优化多分布式资源响应能力和能量管理的运行。

图1 云计算平台基本组成Fig.1 Basic composition of cloud computing platform

因此，分布式资源智能监控结构体系建设能够支撑分布式资源接入系统的智能化、数字化和信息化管理水平，为构建分布式资源需求响应能力和能量管理提供技术支撑。采用基于云平台的分布式资源智能监控结构体系以先进性、灵活性、可靠性以及动态扩展性等为基本原则和目标。分布式资源智能监控结构体系以基于云计算的支撑平台为基础，与终端感知采集系统以及互联网系统组成的信息采集网所连接。

1.2 系统架构

应用于分布式资源智能监控结构体系的云计算平台系统架构见图2，其基本组成包括计算平台的软件部分和硬件部分，其中软件部分包括Web层、负荷分配层、数据管理层、计算逻辑层；而硬件部分包括物理存储设备层和物理计算设备层。对于软件部分，Web层主要功能是实现云计算平台站点，该站点即是访问云计算平台的接口。负荷分配层是云计算平台的核心部分，其主要完成的功能包括：1）对用户的计算任务进行不同的划分，并制定每一个计算设备的执行任务；2）对采集待存储的数据按照类型划分，并进行存储规划；3）整合计算逻辑层所返回的计算结果，并将该结果反馈至用户；4）依据数据读取的基本要求，指令管理数据层对数据进行读取，并对该数据进行整合并且输出。数据管理层主要是对数据存储设备进行控制，使其完成数据的读写操作。计算逻辑层主要是根据负荷分配层所下发的任务要求，对计算设备进行操作并将结果返回。对于硬件部分，物理存储设备层和物理计算设备层是云计算平台的物理设备。

图2 云平台系统架构Fig.2 Structure of cloud platform system

在云计算平台基础上，分布式资源智能监控系统实现总体过程如下：首先通过采集层以终端感知采集系统对监控任务进行接收并优化监控策略，且实现对储能、中央空调和冰蓄冷等用户侧分布式资源基本信息的采集和处理；然后将所采集到的分布式资源通过通信网络传输至云计算平台，计算平台对分布式资源智能监控业务的海量数据进行存储和管理，实现多源数据信息的互通和共享；最后在云计算平台的作用下完成分布式资源响应能力和能量管理的智能监控。

2 分布式资源智能监控系统方案

2.1 云计算平台管理系统

云计算平台管理系统是分布式资源智能监控的核心模块，其具备分布式存储、计算和能量管控等功能，能够实现监测系统传感网络对分布式资源状态信息的智能化处理。在云计算平台系统架构基础上，结合储能、中央空调和冰蓄冷等用户侧分布式资源响应能力和能量管理等信息监控的实际需求，设计了分布式资源智能监控的云计算平台管理系统，其基本架构见图3，其基本组成部分包括基础设施云、数据管理云、存储和计算分配云以及能量管理云。

图3 云计算平台管理系统基本架构Fig.3 Basic architecture of cloud computing platform management system

1）基础设施云。基础设施云包括云计算平台管理系统的硬件部分和软件部分，其中平台硬件组成部分主要包含存储系统和通信系统；而软件部分主要组成有操作系统、虚拟化管控软件、分布式文件系统、分布式数据库、分布式管理软件、监测任务处理、分布式资源响应能力分析、能量管理以及云计算模型开发等。

2）数据管理云。数据管理云主要是对采集的分布式资源多源异构数据进行管理，该类数据主要包括两部分：分布式资源的实测运行状态数据和响应能力分析、能量管理方法。由于分布式资源的实际运行数据和响应能力分析、能量管理方法之间的关联信息采用分布式存储在监控系统传感网络中，因此数据管理云需要准确的获取分布式资源采集海量信息数据之间的关联关系。

3）存储和计算分配云。由于所采集的分布式资源数据量庞大而需要较大的存储量，需将终端感知采集系统获取的海量多源信息数据存储在云计算平台中，因此采用基于云计算平台的分布式存储技术。而基于该数据对分布式资源进行响应能力分析、能量管理时，采用基于云计算平台的分布式计算方法对海量数据和能量管理算法进行分析和处理，以实现计算任务的合理有效分配。

4）能量管理云。基于云平台的分布式资源智能监控系统需要对分布式资源的运行状态、响应能力以及能量管理进行分析，该项任务在云计算平台管理系统的能量管理云中实现。能量管理云在数据管理云的基础上，采用分布式计算方法来实现分布式资源的运行状态监测以完成响应能力、能量管理的分析，实现分布式储能电站和用户侧可调负荷等分布式资源的高效运营和管理。

2.2 智能监控体系结构

分布式资源智能监控系统的基本功能是以数据信息整理存储以及能量信息管控为主，其基本架构如主要包括基础设施云、平台层、业务应用层以及服务访问层等4个层次，见图4。

图4 分布式资源智能监控体系结构Fig.4 Intelligent monitoring structure of distributed resources

1）基础设施层。基础设施层依托于云计算平台管理系统的基础设施云，是经过虚拟化处理之后的硬件资源以及各种管理功能的组合，采用虚拟化技术对硬件资源的抽象描述，实现数据管理、资源部署以及资源监控等内部资源的优化管控，从而给用户提供响应能力管理、能量管理、系统监控等基础设施层服务。基础设施层可实现计算、网络以及存储等资源池化管理，能够根据具体需求来弹性分配，为分布式资源智能监控提供实时、高效、安全和可靠的云平台基础设施服务。

2）平台层。平台层是智能监控系统软件资源的集合，为云计算平台提供应用编程接口和软件开发套件等开发测试环境。平台层适配不相同的基础设施层资源，以实际需求分配方式向基础设施层来提供具有资源隔离功能的运行环境，为基础设施服务提供软件集成、资源调度、资源部署等基础问题。

3）业务应用层。业务应用层基本功能是开发各种管理和服务功能，提供分布式资源在线监测的相关业务应用，实现分布式资源安全生产与控制、需求响应能力评估和能量管理应用的开发、运行、部署和集成，具备决策分析、管控处理和业务操作的智能化功能。

4）服务访问层。服务访问层是一种全新的商业运行模式，为用户提供基础设施服务、软件即服务和平台即服务等服务访问模式，能够满足用户的不同需求。其中基础设施服务访问能够为用户提供硬件资源的需求；软件即服务访问能够提供可为企业运行提供支撑的一般软件；平台即服务访问能够为用户提供业务需求的基本运行环境。

2.3 智能监控实现方法

考虑到分布式资源业务种类多、数据量庞大，采用Hadoop开源云计算技术，提出分布式资源智能监控实现方法流程，见图5。该系统采用服务器集群和虚拟机技术实现分布式资源的虚拟化，采用基于列存储的数据管理模式，结合云平台分布式计算和分布式存储功能来实现海量数据的存储和管理，确保海量分布式资源运行数据的可靠性。另外，采用MapReduce技术来对状态数据进行并行处理，为分布式资源状态评估、能量管理提供安全可靠的并行计算功能。

图5 分布式资源智能监控实现方法流程Fig.5 Process of realizing method of distributed resource intelligent monitoring

分布式资源需要在运行状态基础上完成各种业务的计算和应用，如状态评估、能量管理和预测评估等。采用MapReduce的分布式资源状态数据并行处理方法，能够为实时运行状态评估、需求响应能力评估和能量管理提供有效、可靠的并行计算能力，并提供通用可扩展的并行算法开发环境，基本组成包括算法调用和任务管理。其中算法调用通过第三方插件形式来开发神经网络、小波分析等智能算法；任务管理采用基于MapReduce的并行模式，能够实现分布式资源的运行实时状态监控、任务管理以及能量调度。MapReduce并行算法能够对海量的数据节点进行任务分割，使得某一任务能够被多机器并行处理，从而提高计算效率。

3 关键技术

鉴于基于云平台的分布式资源智能监控结构体系的技术需求，远程智能监控系统方案需要解决以下几个关键问题。

1）异构资源集成和管理。监控系统数据平台存在不同的分布式资源业务应用，因而具有不同的应用平台以及数据格式，存在较为分散的信息和资源，数据呈现强多源异构特性，数据间的互通和交互存在一定困难。例如：储能系统存在运行状态监控、响应能力评估、能量管理和市场运营等各类信息，该类信息数据大都分离而难以有效结合，数据间的集成共享存在较大难度。

因此云计算平台需完成的关键技术是充分整合多分布式资源的多类型业务数据，建立多资源多业务的协同交互信息平台满足分布式资源能量管理对多源异构数据的高度集成和共享需求。云计算平台构建服务、网络、存储、应用等虚拟化技术，将多类型资源虚拟抽象为一种服务形式，用户通过互联网即可实现资源的管理，从而能够采用不同方法对在基础设施和系统软件之间的差异不同服务。

MIDAS Civil双单元加固计算误差主要由以下原因引起：① 梁单元划分精度,双单元可实现主拱圈拱轴方向划分单元，但现有通用分析软件难以实现拱轴方向与截面方向同时划分单元(纤维单元)，② 结合面新老混凝土粘结作用与相互作用，如原结构混凝土开裂对截面整体刚度的降低，界面收缩、徐变影响等，③ Civil对双单元共节点约束原理与约束形式的选择，相比构件梁，双单元构件柱与实体单元仿真结果基本一致。

2）海量数据分布式存储和管理。在分布式资源智能监控系统中，多源异构的数据量繁多，具有巨大的用户服务请求量，需满足多源异构数据信息的存储和管理需求。云计算平台需完成的关键技术是采用分布式存储方式来对海量的数据进行存储，且利用冗余存储方式来确保存储数据的可靠性。数据存储系统采用的是Google文件系统，该系统主要包括主服务器、数据块服务器以及客户端等3部分，其中主服务器主要功能是对文件系统元数据进行存储和管理，起到一个管理节点的作用；数据块服务器负责具体的文件冗余存储工作；客户端首先对主服务器进行访问，然后访问与之交互的数据服务器来完成数据存储。由于客户端和主服务器之间采用控制流的交互方式，而与数据块服务器之间采用数据流的交互方式，主服务器负载得到有效降低。因此云计算平台可满足分布式资源监控系统的海量多源异构数据存储需求。

另外，分布式资源数据种类较多，包括历史数据、实时数据、报表数据以及文本数据等不同类型的半结构化和结构化数据，需实现的关键技术是完成该类数据的高效管理。云计算平台数据管理技术对所有数据进行处理对象，构建一个海量多源异构数据的分布式多维数据表，并将数据采用字符串的形式进行索引，可提供不同类型数据的管理。

3）并行计算与分析。为满足分布式资源多业务应用需求，云计算平台需实现的关键技术是为智能监控系统提供资源计算的并行处理能力和并行编程模式。云计算平台的并行处理和编程同样是基于Google的MapReduce，能够对大规模数据集进行并行计算，其运行环境的基本组成包括客户端、主节点以及工作节点。并行处理作用通过客户端传送给主节点，主节点将任务自动的分解为Map任务以及Reduce任务，并将该类任务调度至工作节点，最后工作节点来完成对应的任务。整个过程中，MapReduce对数据操作都是通过分解后的Map函数以及Reduce函数来完成，仅需要对Map函数以及Reduce函数进行定义。因此基于MapReduce的并行计算与分析能够屏蔽底层的实现细节，具备强大的并行计算开发功能。

4 实际应用

为了验证本文基于云平台的分布式资源智能监控结构体系的实际效果，以某省供电公司的配网侧分布式资源储能运行数据为例，对储能运行情况进行了监测分析，并与传统的监控系统进行了对比和分析。

调取配网某个储能在不同时间段的有功功率作为监测对象，监测结果见表1。由监测结果可知，本文设计的智能监控系统监测的有功功率结果与实际结果的误差更小，因而具有更高的监测精度，验证了智能监控结构体系的准确性。

表1 有功监测结果Table 1 Active monitoring result

另一方面，分布式资源智能监控系统的效率主要取决于多资源数据的存储、计算和管控效率，该效率可通过监控画面时间读取、监控数据解压来综合反映。分别对本文设计的监控系统与传统方法在监控传输效率方面进行了分析和对比，见表2。由结果可知，本文所设计的智能监控体系结构传输效率远远大于传统方法，验证了本文基于云平台的分布式资源智能监控结构体系的高效性。

表2 监控系统传输效率结果Table 1 Transmission efficiency result of monitoring system

5 结语

针对我国多分布式资源远程监控的实用化需求，提出了基于云平台的分布式资源智能监控结构体系。给出了云计算平台技术在远程智能监控中的应用需求和云计算平台总体架构。从云计算平台管理系统、智能监控体系结构和智能监控实现方法等方面详细阐述了分布式资源智能监控结构体系方案的总体实现方法，并分析了远程智能监控体系中的异构资源集成和管理、海量数据分布式存储和管理并行计算与分析等关键技术。实际应用结果表明：设计的智能监控结构体系能够提升分布式资源实时监控的准确性和高效性，为分布式资源的能量安全管理提供了可靠有效的技术支撑。