电力大数据高速存储和检索关键技术浅谈

国电南瑞科技股份有限公司 王 均

近年“智能电网”与“能源互联网”成为电力营销企业发展的关键词，如何更好发挥多种现代化技术优势，将能源与信息网络紧密衔接，加强电力市场有限信息的多重交互与多方参与，构建大数据管理与应用系统，是进一步推进电力营销企业现代化发展的主要方向。在实际过程中，电力营销企业考虑“智能电网”对企业市场变化敏感性要求，考虑“能源互联网”对企业数据变化与内在规律的掌控要求，积极引入大数据、物联网给技术，加强对高速储存系统的构建，大量存储电力系统运行数据，同时运用检索关键技术精准、实时、有效获取多元化数据资料，为进一步展开电力营销提供依据[1]。

1 电力大数据发展背景

1.1 电力大数据已有发展成果

2019年国家电网公司明确提出“三型两网、世界一流”的能源互联网战略目标，提出电网状态全息感知、运营数据全面连接、业务全程在线的阶段性战略目标。为积极响应上级单位战略思想，鹰潭供电公司通过多次研发提出了在110千伏月云线铁塔避雷器安装在线监测装置的工作理念且已付诸实践。在装置安装中利用窄带物联网技术对铁塔避雷器进行实时在线检索，目前已对该线路上安装了数百台在线监测装置。

2019年5月22日国网江西省电力分公司召开电力物联网启动会，建设电力物联网综合示范区，这一举动推进了电力与物联网技术之间的融合，开启了电力大数据之路[2]。如今该地区已实现了HPLC智能电表改造目标，构建电力数据管理系统，全面获取地区电网运行数据，以数据分析与数据挖掘技术展开同期线损管理、多维度精益管理等，大大提升了电力企业营销管理水平，将物联网、云计算技术、大数据技术等多种技术融入电力营销中，积极开发业务统一的数据中心平台，致力于开发系统高级应用功能。

1.2 电力大数据发展背景

电力大数据是实现能源互联网、智能电网建设的主要手段之一，也是目前为止电力企业开发电力营销数据系统的重要核心。2021年3月国家电网提出《泛在电力物联网建设大纲》，发布相应建设方案，将推进泛在电力物联网与电力电网融合作为主要工作目标，致力于打造能源互联网生态圈。在2021年上半年泛在电力物联网建设取得显著成效，各地区电力企业将营配贯通试点停电信息系统、配网故障研判技术等投入电力营销工作中，同期线损治理取得显著成果，具体体现为：负损线路已消除9349条；负损台区已消除9.3万个。

可以看出，泛在电力物联网是进一步深化电力大数据的主要方向，其对于发掘电力大数据价值具有重要作用，且对于我国电力行业的发展具有较强的经济效益价值。基于此，如何把握“泛在”构建技术，积极引入大数据技术，构建基于电力系统运行的数据高速储存模式，提高电力数据检索高效性，是充分满足电力企业营销管理需求，推进电力营销现代化的主要手段。

2 新时期背景下电力大数据高速存储模式构建路径

根据上述对电力大数据系统发展背景分析，泛在电力物联网的本质，是借助物联网、大数据技术搭建具有高速、高效特征的电力数据储存与检索模式，发掘数据价值，为电力营销中的线损管理、业务工作、电力市场分析等提供精准依据。因此，本次可分别从高速储存模式构建与关键检索技术运用两个方面入手，搭建电力大数据高速储存模式，广泛获取电力系统运行多元化、多维度数据。

2.1 数据采集与储存

根据“10千伏月云线在线监测”可看出，搭建业务驱动的数据环境、获取不同形态的业务数据，是进一步开展电力大数据的主要趋势；如何进行数据采集、数据传输与数据高速储存是其中关键技术。电力大数据系统的数据采集模块，不仅要满足海量数据采集与传输需求，还需能够应对集成内容、多维度的动态信息管理工作。在安装大量线路监测系统、引入移动终端后，大量数据具有明显的时空特点，这也增加了数据采集的复杂性。因此工作人员要加强对数据采集技术体系的研究，同时加深对数据标准、数据规范的研究，在多维尺度数据环境下设计明确采集与管理标准[3]。

在实际过程中，基于电力大数据系统构建数据采集与储存模块，可针对电力数据来源范围、传输特点等进行规划，从“多源多态”角度入手，设计不同来源数据分类与传输渠道；根据不同形态的电力系统运行数据设计采集标准，数据形态包括文字类数据、图像类数据与视频类数据。为更好应对网络流量限制与通信延时问题引入数据压缩技术，从而提升数据储存效率，促使数据储存模块初步具有高效特征。引入Hadoop 框架，借助其中的分布式文件系统、HBase 数据库搭建高效储存数据库，且提出高性能的实时数据库、关键核心业务数据库、基础数据库等，将大量的电力运行数据以半结构化、非结构化的方式进行储存与处理。

2.2 基于储存库的数据分析

在构建数据库后要分别引入数据分析技术与数据处理技术，具体过程如下。

数据分析技术的应用。数据分析是在数据采集、储存之后的工作环节，也是开发数据内在价值的关键步骤，是电力企业利用电力数据展开营销管理、线损管理的重要手段。利用大数据技术展开数据分析，能够从电力数据中心获取有价值的信息构建潜在模态，发现隐藏的电力市场发展规律，甚至能发现电力市场与电力环境因素间的关系。展开基于高速储存的数据分析，需借助具有强大运算能力的云计算技术对海量数据展开并行运算，使用各种算法深入探索电力数据内部价值[4]。

数据处理技术的应用。数据处理技术的基础条件为离线处理、实时计算、计算机学习、多维度分析、全文检索等。结合目前的电力大数据——数据梳理模块，可发现其中包括分布式计算、内存计算与流式计算，这三种计算方法分别满足大规模计算需求、高效数据处理需求、实时到达的随机业务数据梳理需求等。

因此，构建基于高速储存的数据分析与处理模块，以数据分析构建数据模特，借助可视化形式呈现电力数据规律；同时灵活利用三种计算技术并行完成针对三种不同数据的处理工作，以此实现“高效”目标。

2.3 架构整合实现高效储存目标

基于大数据采集、储存、分析与处理环节后，要进一步引入大数据架构整合技术，全面衔接大数据技术各个环节，构建集成了数据采集、数据处理、数据储存、数据检索的高效高速储存框架，为电力大数据的融合应用与精准检索提供保障。能源互联网背景下，针对海量数据的大规模并行处理技术大大提升了电力企业系统的业务能力，且泛在电力物联网的提出再一次推动了电力大数据系统的发展，促使其在以数据价值支持业务方面有质的飞跃[5]。

在架构整合过程中要分别搭建业务中台、大数据中台、AI 中台，明确不同中台的运行能力，如大数据中台运行功能包括数据中台管理、大数据技术（分析算法模型、分布式计算、批量处理、流处理、数据显示）、数据中台建设（数据标准、数据规范、数据模型），之后要加强底层建设，以云计算为框架基础，针对多维度、多源数据展开不同的计算方法，从而优化底层建设，形成具有丰富功能、内部逻辑、高速储存特性的电力大数据融合架构（图1）。

图1 融合架构

3 电力大数据储存模式的检索关键技术应用路径

构建电力大数据高速储存模式是实现“泛在电力物联网”的基础工作，在此之后要重点展开检索关键技术的应用，明确现阶段电力大数据系统的检索需求，构建数据检索平台，引入针对多维度数据的检索技术，如单纯文字检索技术、图像检索技术与视频检索技术，灵活应对多元化的电力监测数据，为之后开展电力营销管理提供更丰富、真实与准确的依据，充分体现泛在电力物联网特色。

3.1 明确检索需求

根据国家电网提出的电网状态全息感知、运营数据全面连接、业务全程在线战略目标及泛在电力物联网建设思路，要分析目前电力大数据系统的运行内外环境需求，明确内部检索需求为能够获取多源多维数据、具有精准检索功能、能够满足内部电力营销、电力线损管理、市场发展分析等；外部检索需求为：具有“全息性”，能实时获取电力系统运行的文字数据、图像数据与视频数据，具有多维数据检索功能；检索作业能满足运营数据分析、营销分析需求；检索作业能满足业务需求；能为线损消除与治理提供依据。检索环节，考虑电力大数据系统中的原始视频、待检图片、待检数据资料，优化设计具有密集性质的计算模块，配置相应的高精度计算机，满足后期系统运行日常检索的并行检索、检索同步数据分析需求，保证在数据量不断增加的同时兼顾检索效率[6]。

3.2 构建检索系统框架

基于电力大数据的高速数据储存之上运用关键检索技术，需优化设计检索系统框架，明确数据检索流程与规范，这样才能提升系统整体运行水平；在系统中数据是极为宝贵的资源，采用何种方式连接数据储存模块、如何更好构建网络结构是这一环节重点。在检索系统框架搭建环节要考虑分布式计算、提取数据过程中各网络节点间的数据传输量是巨大的，这对网络宽带具有较高的要求。可引入Hadoop 集群技术，通过集群间数据传输的方式实现数据传输目标，充分发挥局域网络组的安全性、抗干扰性、传输效率较高的优势，有效提升各网点、设备之间的数据传输效率。本次系统框架设计中，首先选择了多源多维储存的方法发挥多种储存技术优势，之后基于此种多源多维架构引入不同的检索技术，搭建以Hadoop 技术为主的分布式检索架构。

在完成基础框架搭建后，要分别设计视频检索部分、图像检索部分、基础数据检索部分、检索结果展示部分；可先将海量数据储存在高速储存库中，之后对高速储存库中的数据进行预处理，将其按照一定标准、维度与数据源分割成不同的数据类型，将基础数据（非图像视频）按照时间节点划分，将视频数据切割形成一个个镜头形成图像数据。之后利用计算模型搭建模态模型，利用LIRE 框架提取数据特征进行索引；若用户在系统客户端输入相应的图像、视频元素、数据关键字词时，系统能够对用户提交的信息提取特征给你，之后对比分析索引库中的数据特征，将检索结果呈现给用户。

3.3 搭建多维度检索平台

多维度检索平台的构建是为应对现代社会电力系统运行过程中所产生的多维多源数据，“多维”指多维尺度的数据，包括图像数据、基础数据与视频数据，为提升电力大数据系统的检索高效性，满足其不同的检索需求与业务需求，在检索与高速储存模块进行优化调整形成多维检索平台。结合上述检索方式，借助扫描、特征提取的方式构建索引库，这种方式改变了以往全盘扫描的方法，有效节省大量CPU 资源且提高了检索效率。

借助GeidFile 文件设计多维度检索平台，引入分布式哈西表，设计多维检索平台运行框架为拓展命令行—扩展解析器—索引创建器—索引数据检索器—Hadoop 计算构架—HDFS 文件系统—索引元数据管理模块—分布式哈希表呈现。考虑到数据检索精准定位需求，采用拓展命令与拓展解析器的方法辅助识别检索命令，实现对数据的快速精准定位；之后将数据传输到Hadoop 模块进行计算，形成检索记录、生成检索记录表，为之后的检索提供元数据[7]。

3.4 灵活运用多种检索技术

多维检索平台中，运用关键检索技术可在完成上述基础数据检索后引入视频检索技术与图像检索技术。其中视频检索技术的应用可选择关键帧提取技术，就是根据电力系统运行视频数据，在一个镜头内确定关键帧数目，通过给定、动态良好总方式提取视频的镜头关键帧。在提取过程中需遵循保证关键帧的准确性，对视频中的运动物体、摄像双色板运动、图像底层特征底层不同角度进行提取。图像检索技术的应用可选择Lire 图像检索技术，这是一种针对图像的索引库，能通过颜色柱状图、自动色彩分布、多媒体内容描述工具、视觉关键词等不同的方法进行索引，促使获得所需图像（图2）。

图2 Lire 图像检索技术

3.5 完善索引与搜索机制

在完成上述内容后要进一步完善电力大数据的索引与搜索机制，以此满足后期的使用需求。检索技术的应用是基于电力大数据高速数据储存的基础上，从海量数据库中提取关键数据、视频关键帧、图像关键特征等对数据进行进行对比索引；关键帧提取、Lire 等多种检索技术的应用是让用户能通过不同的检索方法构建索引，提升索引系统操作流畅性与便利性，进一步满足对电力系统数据检索的需求，为展开线损管理、业务管理、市场分析等提供精准、实时、有效的数据资料。

综上，能源互联网背景下，电力市场呈现出能源流、信息流、业务流的高度融合数据特点，此时引入大数据、物联网与云计算等技术，对技术进行综合运用，搭建电力大数据高速储存系统，能进一步推动电力企业营销模式的转型升级，促使其营销管理重心从市场管理转变为数据管理，实现了数据内容向生产资料转变。在今后的电力大数据系统构建中，要以大流量、多为尺度数据形态为基准，通过数据采集、储存、数据分析、建设架构等方式，构建能满足广域数据的数据储存与检索提取模式；之后要明确检索需求，搭建检索平台，引入文字、视频、图像等多维度数据检索技术，优化检索机制，为电力企业的营销发展提供新的支持。