电力大数据分析技术及应用

文/李洋 蒋禾青

（北京华电天仁电力控制技术有限公司 北京市 100039）

近年来，在国家政策的大力扶持下，电力行业获得快速发展，由此使得相关的行业数据发生爆发式增长，在这一背景下，电力大数据技术应运而生。通过该技术的应用，促使电力行业的整体生产经营水平获得进一步提升。借此，下面就电力大数据分析技术及应用展开探讨。

1 电力大数据及其技术优势

1.1 电力大数据

电力大数据是大数据技术在电力行业的实践应用，涉及产、输、变、配、用、调等多个环节。电力大数据由两类数据组合而成，一类是结构化数据，另一类是非结构化数据。近年来，随着国家逐步加大智能发电的建设力度，以及对物联网技术的应用，使得电力行业中非结构化数据的比重持续增长，在量级上已经超过结构化数据。电力大数据具备大数据技术的“5V”特征，即数据量大、数据类型多、处理速度快、精确性高和价值大。电力大数据中的关键技术有数据挖掘、数据可视化、高性能计算和统计分析。

1.2 技术优势

1.2.1 促进管理水平持续提升

电力系统具有复杂且庞大的架构，其中涵盖的内容非常之多，在电力系统中引入大数据技术后，为智能发电的顺利实现提供了强有力的支撑，各种数据信息的共享，使电力生产精细化管理成为可能。借助电力大数据，业务和技术人员能够在较短的时间内，对电力设备当前的运行参数与以往的运行数据进行整合、分析，为电力设备的稳定、可靠、经济运行提供保障。同时，通过电力大数据，还能为生产运行过程中的风险防范提供指导依据。

1.2.2 有助于节能降耗

电力大数据能够对各种不同类型的数据信息进行分析，通过对该技术的运用，可以设计出与用电需求相符的生产计划，从而为电力用户提供较为准确和经济的产品和服务，有助于节能减排目标的实现。

2 电力大数据分析技术及应用

2.1 电力大数据的可视化应用

2.1.1 图表可视化

所谓的图表可视化具体是指以最为基础的图形和表格，对相关数据进行直观展示的方法。在图表可视化的前提下，对数据进行获取的过程中，可在相对较短的时间内，找到其中存在的问题，并借助数据的规律，对问题进行解决处理。对图表可视化系统进行构建时，需要使用以下三种可视化展示方法：折线图、柱状图、表格，其中折线图能够对某个时间段内，数据随时间变化的趋势进行描述；柱状图则可通过柱状体的长度对数据的差异情况进行展示；表格的作用是对数据进行详细记录，相关的数据资源可通过搜索的方式进行获取。

2.1.2 SVG 可视化

SVG 是现阶段较为流行的一种图像文件格式，具体是指能够进行缩放的矢量化图形。对于不同的电力数据，SVG 可以不同的颜色进行显示，由此可使数据变得直观化。在这种可视化方法下，需要对某个特定区域内的电力数据进行掌握，按照相关的参数和指标，赋予电力数据不同的颜色，并用颜色的深浅程度对电力数据的实际情况进行表示。当需要对某个时间段内，各生产单位的情况进行了解时，便可使用不同的色块进行直观呈现，如果要对其中某个数据进行调用，则可借助SVG 来完成控制，由此可使数据资源的查询和使用变得更加方便。

2.2 数据分析技术的应用

在电力体制改革进程不断加快的推动下，我国的发电方式越来越多，除常规的火力发电之外，水力发电、风力发电、太阳能发电、核电等，都得到了快速发展，由此使得发电领域呈现出多样化的态势。因此，通过运用电力大数据中的分析技术，可将常规电能与清洁型电能之间存在的关联性进行全面、具体地分析，借此来发现二者的契合点，为电力资源合并工作的开展提供依据。以风电并网为例，在合并时，会对电网的运行造成一定的影响，如谐波、线损等等，由此将会导致电网的运行可靠性下降。通过电力大数据的运用，能够对各种影响因素进行分析，据此制定出合理可行的应对策略，确保风电并网安全有序进行。

2.3 数据库索引技术的应用

Hadoop（海杜普）的Hive 是一个较为典型的数据库系统，其能够对数据进行提取、转化、加载、查询、分析和存储。但在实际应用中发现，Hive 在索引方面略显不足，很难全面、具体地搜索电力大数据，从而导致系统的CPU 资源浪费，电力大数据的分析效率也随之下降。由于电力大数据本身所具备的多维区间查询特征，从而使其在各个维度的查询上都相对比较固定，因此，可依托电力大数据进行多维索引。如，某电力系统采用的索引方式为以单位和时间两种代码为标准，通过多维度可以辅助电力大数据进行索引，由此能够将各种无用的数据信息全部滤除掉，索引效率随之提升。利用电力大数据多维索引可以构建相应的系统，该系统能够对Hive命令进行使用，并在引入解析技术的前提下，对相关的代码进行快速解析，从而进一步丰富了可索引的维度区间，由此获得的数据可存储到Hadoop 当中进行处理，提高数据的利用效率。

2.4 在谐波治理中的应用

谐波是电网安全、稳定、可靠运行的主要影响因素之一，电力行业对谐波的治理非常重视。大体上可将谐波产生的来源归纳为以下几个方面：电源端、输配电过程、电力设备等。谐波会使各种仪表及计量装置产生误差，高次谐波还会对断路器的正常开断造成影响。因此，在对谐波进行治理时，可对电力大数据进行合理应用，依托相关数据，分析谐波源的特性，预测谐波风险，为谐波治理提供详实可靠的依据。在谐波风险分析中，电力大数据的具体应用如下：

2.4.1 数据抽取与存储

谐波监测数据可存储在开源数据库当中，为使从数据库中抽取的数据能够实现共享，可以引入MySQL 对数据抽取结果进行存储；以相关元件和参数指标对数据表进行划分，额定电压单独成表，有功与无功功率合并在同一个数据表中，基波与谐波电流存储在同一个数据表中，这样可以为数据查询提供便利。在数据提取的过程中，基于Hadoop 的虚拟机，采用Spark 从开源数据库中提取数据。

2.4.2 电力数据与谐波计算

可在电力大数据中，引入与谐波计算有关的频谱文件，通过对基波和谐波电流的计算，生成谐波含量。在MySQL 中，数据的传输过程如图1 所示。

2.4.3 谐波风险分析

在对谐波风险进行分析的过程中，需要对谐波源特性数据进行使用，可将这些数据带入到预测模型中，模型能够给出谐波在未来一段时间的变化趋势，据此可确定出谐波的影响范围，并制定相应的治理措施。为确保预测结果的准确性，应当对预测模型进行合理选用，推荐ARIMA 模型，在使用前应对模型进行训练，从而使其达到最优。

2.5 数据治理在电力行业的应用

在电力行业的运营监控数据管理中，经常会遇到数据错误、不完整、不规范、不一致等问题，为解决上述问题，可结合桑尼尔·索雷斯大数据治理框架、DAMA 数据知识管理以及DMM 数据管理成熟度模型等方法构建起数据治理体系，为提升电力行业数据管理能力提供解决方案。数据治理体系的构建方法如下：

2.5.1 建立大数据管理组织

采用RACI 模型明确各部门职责，辨识业务流程，根据数据生命周期POSMAD 理论确定各个阶段中的活动角色，结合DAMA 数据知识管理体系理论确定各部门数据管理中的必须角色，建立起数据管理虚拟组织。

2.5.2 梳理业务流程数据

参考国际电工委IEC 系列标准中的CIM 模型和IBM-FSDM 数据模型理念，划分电力行业的主题域，建立起主题域之间的联系。之后，按照固定分类+业务分类的方法，对业务流程数据进行分类，识别各分类数据的实体属性，确定各数据实体的信息项。

2.5.3 制定大数据治理标准

数据治理标准主要包括业务、技术、安全、管理和稽核标准，要求统一各类数据的名称、编码、属性等，完成对数据的标准化处理，生成数据标准清册。在数据治理标准框架下，对新增数据进行严格管控，对存量数据要按照重要性进行划分，优先治理重要程度高的数据。其中，存量数据的治理是大数据治理的重点，需构建数据包络分析DEA 模型，借助数学规划和决策单元对数据进行治理。先对存量数据进行盘点，划分基础类明细数据和指数类数据，再对数据进行差异化治理，考察数据是否存在缺失、重复等问题。通过对基础类数据和指数类数据进行治理，可提高电力行业的数据质量。

2.6 分层处理与混合存储技术的应用

电力行业在综合数据分析处理中可引入分层次数据技术，构建起具备多种功能的结构化管理系统，提高电力信息收集、存储和利用效率。电力行业可根据实际业务情况，利用大数据分层处理技术建立起系统之间的关联，实现跨组织、跨应用的信息资源共享，同时还可结合云计算、SQL 数据库等技术，满足电力大数据实时分析和计算的需求，提升大数据处理效率，使大数据层次化分析管理系统适应电力行业的整体发展。为适应业务数据量呈几何倍数增长而扩大数据存储容量，满足数据更新、删除以及快速处理的要求，可使用混合存储技术提高数据资源利用率。混合存储技术利用主表与附表可记录实时更新数据和非实时更新数据，降低大数据对系统资源的占用空间，有助于提高系统运行效率。

图1：数据传输过程示意图

2.7 ETL技术的应用

ETL 是数据仓库的简称，该技术在智能发电生产运行管理中具有非常重要的作用。电力行业在生产运行过程中会产生大量的数据，这部分数据已经超出系统的运算能力，由此进一步增大电力分析难度，各种业务的开展随之受到影响。通过对电力大数据中的ETL技术进行合理应用，能够使该问题得到有效解决。具体的应用要点如下：按照电力数据的类型，对相关的数据进行分类采集，并对采集到的数据信息进行转化处理。由于大数据技术无法对电力数据进行直接分析，所以需要进行数据转换，使所有采集到的电力数据变为可读数据。在此基础上，对转化后的数据进行加载，保证每一条数据都能与数据源相对应。电力大数据中的ETL已经成为核心技术，对它的应用能够促进电力系统运行稳定性的提升。

3 结论

综上所述，在信息化时代到来的今天，各种数据信息呈几何数倍增，通过对这些数据的合理利用，能够为相关工作的开展提供依据。电力在社会经济建设中占据着不可替代的地位，是非常重要的物质基础之一，为推动电力行业的持续、稳定发展，应当对电力大数据技术进行应用，通过数据挖掘、分析、提取、存储，为电力生产的安全、稳定、可靠运行提供保障。在未来一段时期，应加大对电力大数据技术的研究力度，除对现有的技术进行改进和完善之外，还应开发一些新的技术，从而使其更好地为电力行业服务。