基于大数据价值挖掘的电网企业监测分析成果转换及共享设计与应用研究

郑高峰 秦丹丹 刘 丽 韩学民 刘朋熙 肖家锴 侯 凤

(国网安徽省电力有限公司，安徽 合肥230000）

1 概述

企业经营绩效和生产运营情况监测分析作为电网企业的重要工作之一，在能源供给侧不断改革和信息技术水平不断提升的背景下，当前手工分析和生成报告的工作方式已经无法满足政策和科技发展变化对企业管理经营效率的更高要求。现阶段已有的成果转化工具普遍存在缺少模板、展现形式等自定义功能，用户体验不佳；同时转化成果难以在企业内普遍共享，成果的利用率和利用价值有待提升。本文借助数据分析技术，基于永洪BI 大数据分析平台设计监测分析成果转换系统，新增自助式模板定义和企业级数据库功能，实现业务部门间报告数据信息互通，促进业务数据价值挖掘、业务数据治理、数据文档共享以及电网企业基层人员工作减负。

2 监测分析报告的特点及需求

监测分析工作对及时了解、指导运营和辅助战略决策具有重要的意义。具有以下特点：

（1）监测数据来源方式复杂，涉及专业较多，获取难度高；

（2）分析报告多以线下获取数据、人工编写的方式产出，准确性、及时性难以保证；

（3）分析报告多用于指导企业安全运转、支撑应急决策等场景，时效性要求高；

（4）分析报告和结果数据应尽可能的服务多专业领域，价值共享需求大。综上所述，当前监测分析和成果转化工作方式难以满足电网企业管理需求，实现监测数据自动化分析已成为必然要求和必然的趋势。

图1 监测分析成果转换及共享系统结构与流程图

3 系统设计

3.1 系统结构设计

本系统以业务数据为分析对象，基于大数据分析技术，通过数据建模分析、展现组件选取等功能生成报告，最终统一纳入企业知识库管理，主要涉及功能包括数据采集、模板生成、数据分析、报告编制和知识共享等，监测分析成果转换及共享系统结构与流程如图1 所示。

3.2 系统功能设计

为实现监测报告自动生成，系统需具备数据分析自动化、智能化功。系统子功能主要包括模板生成、数据建模、自助分析和企业知识库。

3.2.1 报告模板生成

报告模板生成是监测报告生成系统的基础，其主要流程分为：业务指标标签收集、业务指标表现梳理、指标标签归集、报告模板生成。

首先，通过生产、经营、管理等关键指标数据形成企业负责人、同业对标和综合计划三大指标体系，涉及营销、基建、规划等多个专业领域，结合主题监测和专题分析指标体系，选择关键性指标构建报表可应用的数据标签。

其次，依据数据标签制作常态化监测和其他可配置型报告模板，构建日、周、月季、年报等报告、报表框架，建立模板内数据域内容与数据标签的一一对应关系。

最后，用户通过拉拽形式匹配数据标签至模板数据域，形成自定义分析报告模板。

3.2.2 数据建模

数据建模提供底层数据源对接和数据业务包制作，包含数据源管理、ETL 预处理、业务包管理、内存预加载等模块。其中数据源管理和ETL 支持用户通过B/S模式管理底层数据源，并且可以对原始数据进行简单的加工预处理和空值替换、数据剪裁等复杂处理操作，同时匹配图形化多表关联；智能化建模可一键导入数据，构建数仓模型，自动识别指标、维度、关联关系等，拖拽式操作完成数据分析；提供关联分析、序列分析、分类、预测、聚类分析及时间序列分析等多种数据挖掘算法。

图2 系统功能架构

3.2.3 自助分析功能

自助分析功能包含模板配置、选取展示组件及报告生成。模板配置提供菜单选项和图形界面，可打开、修改和保存报告模板，实现模板定义、设计、上传、发布、编辑、下载的全流程管理，建立报告报表模板信息与数据库关联关系，实现信息的相互联动和自动统计汇总。展示组件选取功能提供多种可视化组件和图形效果控件，通过B/S 在线拖拽或手动配置等方式，实现信息化数据报表和分析结果的多样化展示。报告生成功能可根据监测数据特点，通过配置各类模板进行报告汇编和自动生成，用户只需选取相应模板并输入时间，即可查看并下载监测分析报告。

3.2.4 企业知识库

收集各专业部门的信息成果，依据组织架构、业务体系等维度梳理构建企业知识体系。企业知识库提供成果报告的存储、查询、查看、下载、编辑等功能，通过绘制企业知识目录，构建多维度筛选查询方式，方便用户快速定位分析报告，有效引导不同的专业用户获取所需知识，促进信息成果价值共享和部门间的协同、协作发展。

4 系统架构及技术实现

4.1 系统功能架构

系统功能实现要求可提供源业务系统数据接口、标签配置、建模和算法及报表配置、查询服务，为报告生成提供数据基础。系统应具备模板管理、报告自动生成、成果订阅和企业级知识库等子应用，面向决策者、管理者和操作者等用户群体实现知识资源共享。系统功能架构如图2 所示。

4.2 关键技术

系统关键技术包括大数据处理技术、数据算法和图表展示技术。综合应用的大数据计算处理技术包括分布式文件存储技术、列式存储数据库（批量数据处理）、批量计算（大批量、不能全部加载到内存的数据）、迭代计算、SQL 交互查询和其他结构化查询语言等。

系统采用ETL 数据抽取清洗转换技术，利用Kettle 开源工具实现数据抽取、转换、装载；利用回归分析、聚类、偏差分析、网络分析等先进数据挖掘技术，实现数据预处理、建模和分析应用；对于非结构化信息，采用语义处理、文本建模等实现非结构化数据自动解析。

系统采用的图表展示技术基于Echarts 图表组件实现，可实现报告及报表的折线图、柱状图、散点图、饼图和K 线图等。

5 成果应用

电网企业监测分析成果转换及共享系统依托于企业在线监测平台，成功应用于国网安徽省电力公司。本系统实现了包括数据入库、数据查询、图形报表、报告生成和企业知识库管理等功能，实现对95598、废旧物资等业务场景监测数据自动整理分析以及指标计算，形成专业的监测分析报告。系统实现了监测报告的自动化生成，极大的提高了报告质量和生成效率，满足监测分析报告的时效性要求；同时极大的方便了监测数据的实时整理和异常值及时反馈，提高了电网企业运营管理效率。

本系统突破了人工编写监测分析报告的传统模式，解决了监测专业人员缺乏的问题，提高了监测分析的规范性和专业性，实现公司业务部门成果共享，整合与优化了内部知识，初步形成公司知识库，全面提升公司风险管理水平。该系统适应现行电网企业的业务和信息化需求，具有推广应用价值，可以为同类监测分析报告成果转换及共享系统开发提供参考。