基于大数据处理技术的电力通信网资源预警分析系统的研究与实现

沃潇潇 王 烨



基于大数据处理技术的电力通信网资源预警分析系统的研究与实现

沃潇潇1王 烨2

1.国网湖南省电力有限公司信息通信分公司，湖南 长沙 410004 2.南京南瑞集团公司，江苏 南京 210003

随着电力通信网资源数据的海量激增，大数据处理技术在电力通信网中的深入应用，如何高效地使用“海量”通信资源数据，对电力通信系统的资源管理提出了更新、更高的要求。从海量实时数据的汇聚和处理方式着手，对如何建立多维度的电力通信网资源预警分析模型、如何实现资源预警场景实现进行研究并提出建设方案。本系统能够通过对电力通信资源的紧缺和薄弱环节进行分析，提供智能分析决策功能，实现通信资源的自动预警和闭环管理。

电力通信传输网；通信资源；大数据处理；预警

引言

近年来，中国大数据产业的发展正在从信息技术驱动向数据驱动方向进阶，大数据趋势正从互联网向各个领域延展，各行各业的决策正在向“数据智能驱动”转变，未来在数据挖掘、机器学习、人工智能等技术的基础上，还将以智能化的形式赋能各行各业。

电网公司经过近十年的信息化建设，积累的海量生产运行和经营管理数据，奠定了电力大数据应用基础。作为电力系统安全稳定运行的三大支柱之一的电力通信网，随着公司快速发展和业务创新、网络规模日益扩大、网络结构的日趋复杂、通信资源海量激增，如何更好地发挥电力通信网对电网的支撑作用，对电力通信资源海量数据实时采集接入、关联分析挖掘能力提出了更新、更高的要求。

1 电力通信资源管理存在的问题

电力系统已建立覆盖全国各级电力骨干通信网、交换网、支撑网、接入网等在内的统一通信管理系统（SG-TMS系统），通过系统对大量通信资源进行管理，建立纵横交互的管理体系，提高了通信资源的管理效率，但是在目前电力通信网资源管理中仍存在不足，考虑建立通信网资源预警分析系统，用以解决以下几个方面的问题[1]。

一是解决数据关联分析能力不足问题，用数据辅助决策分析，提升精益化管理水平。虽然经过近几年的电力通信信息化建设，通信管理系统中已积累了设备配置、运行维护、业务通道关联等海量原始数据，但由于缺少强大的数据关联分析能力，无法从海量基础数据中获得真正有价值的、智能的、具有辅助决策的信息。

二是解决通信资源“被动”运维问题，通过系统主动发现资源问题、主动预警。目前资源管理主要通过SG-TMS系统对通信资源进行统计，但分析、管理很大程度上还需人工干预，现有通信资源的使用情况、预留额度、稀缺程度缺乏自动预警监控，维护人员往往无法及时发现资源问题，有时将直接影响通信网络规划、建设、方式安排和设备运行维护，影响管理效率。

三是解决“海量”数据填报准确性无法校验问题。通信管理系统中的原始数据，部分仍需通过人工方式录入和维护，无法通过有效手段发现错误数据，严重影响对通信资源统计、分析的准确性。

2 基于大数据电力通信网资源预警系统构建思路

由于通信管理系统（SG-TMS系统）中已积累海量原始数据，因此通信网资源预警分析可借助海量实时数据的及时汇聚和分析处理技术，依托SG-TMS系统开展，同时借助外部数据源，对SG-TMS中的数据进行提取与比对，从而对设备、光缆、业务等通信资源对象开展多维度分析、预警和优化[2]。

2.1 体系构建

结合电力通信资源管理的实际需求，构建资源预警体系，进行资源评估、及时预警、后续跟踪，实现“预警分析—预控治理—效果评估”的闭环管理。考虑将资源预警从4个方向、4个对象、9个关键点来构建整个体系，实现资源优化、系统安全、自主运维3个目标。

2.2 功能构建

建立资源预警分析系统主要包括4个功能点，资源预警分析子系统总体功能结构如图2所示。

（1）指标计算引擎：提供高性能的指标计算引擎，从业务安全、网络安全、风险点、利用率4个维度，定时从TMS资源信息管理中提取相关数据，根据指标分析算法，结合用户设置的权重和阈值（标准和规范）进行对比，产生网络预警及预警报告。

图1 电力通信传输网资源预警体系架构图

图2 总体功能结构

（2）预警规则：提供各预警指标的规则参数的管理维护功能，包括预警的分析范围、权重、阈值等。

（3）处理建议：提供各预警指标的处理建议的管理维护功能，可以为各预警结果添加个性化处理建议。

（4）预警处置与疏导：对于发现的预警结果，提供相关方式调配的路由方案支撑，执行通道疏导、光路疏导或下发方式单。

3 基于大数据电力通信网资源预警系统设计与实现

3.1 系统构建

构建资源预警分析系统，需建设统一的计算框架支撑多维度预警指标的分析计算。资源预警分析系统的功能架构如图3所示。

3.2 功能实现

由于系统采集数据存储和统计分析均涉及海量数据，基础组件应该满足大数据处理能力的要求，主要通过分布式任务调度和分布式缓存等实现对海量数据的批处理[3]。

图3 系统架构

（1）计算任务调度

由于数据的统计分析将会涉及大量分组统计、子查询、嵌套查询、窗口函数、聚合函数、排序等数据的聚合运算，对系统资源的影响较大，因此采用基于分布式集群的任务调度机制，可按月、按周、按天、按小时间隔灵活配置任务的调度周期，计算节点支持横向扩展，通过数据库进行间接沟通，根据系统负载情况选择合适的计算节点执行任务。

（2）数据缓存

通信资源模型分为物理资源模型、逻辑资源模型和业务资源模型。物理资源模型从物理角度描述网络及网络中各种资源关系，逻辑资源从逻辑角度描述网络及网络中的各种资源的关系，业务资源模型以逻辑资源模型为基础，统一描述各类业务资源及属性模型，如图4所示。

由于大部分预警分析都需要依赖TMS系统中原始数据，同时分析过程中也将产生大量过程性数据，因此预警分析任务生命周期中产生或使用到的原始数据、中间数据等过程性数据，采用分布式缓存，在存储通信资源模型的中间层加工数据，避免各个计算任务再重复采集加工数据。

（3）指标算法注入

图4 电力通信资源模型关系

资源预警系统基于多处理阶段模型，对预警指标的算法模式进行抽象建模，将处理过程拆分为数据选择—数据预处理—数据变换—数据分析四个阶段，实现对传输系统、光缆网络、机房资源、辅助系统四类资源的指标明细计算，定时从TMS系统中抽取数据，并根据指标计算公式进行计算结果。根据用户设置的权重和阈值（标准和规范）进行对比，发布预警工单并生成预警报告。

（4）计算结果归集

资源预警系统对不同维度预警指标的计算结果统一建模，记录网络预警及预警报告历史记录，系统根据历史记录比较生成网络各指标的总体发展趋势。

3.3 主要应用场景

为适用方式专责、设备专责、机房专责等不同用户、角色对资源预警的需求，建立从业务安全、网络安全、资源风险、资源利用率等多个预警场景，提高对传输系统、光缆网络、机房资源、辅助系统4类资源的安全性和运维效率。

（1）业务安全

该场景以保障业务安全为目标，以设备、光缆、业务通道组织方式为载体对全网重要业务的运行安全情况进行分析、预警和监视，主要包括设备/光缆重载情况、业务主备通道同路由情况、业务通道路由可靠性等，相关用户（角色）可通过此预警及时对业务安排方式进行调优。

（2）网络安全

该场景以保障传输网络安全为目标，以站点、光缆、设备为载体对传输网络的运行安全情况进行分析、预警和监视，主要包括主备路由同缆、设备单电源供电、末端站单光路接入、枢纽站单节点接入、超大环、超长链路、超大节点等，相关用户（角色）可通过此预警及时对网络进行调优，同时为通信网规划、建设等提供重要支撑数据。

（3）资源风险和利用率

该场景主要是统计目前通信相关资源风险情况和使用情况。风险情况主要针对光缆和设备服役年限及故障情况进行统计分析。资源利用率主要针对光缆和设备的物理资源以及逻辑资源进行统计分析。物理资源利用率主要统计分析设备槽位、端口利用率及光缆段纤芯利用率等。逻辑资源利用率，主要统计分析带宽利用率。相关用户（角色）可通过此预警及时对业务安排方式进行调优，同时为后续的资源调配和网络规划提供重要支撑。

（4）故障处置与业务疏导

该场景主要是在突发故障后为快速恢复业务提供相关方式调配的路由方案支撑，与业务安全、网络安全、资源风险、资源利用率等应用场景紧密相关。例如在光缆、设备或板卡发生故障时，及时提供疏导建议，快速恢复业务。此场景还可以对预警资源查看关联的站点、机房、机柜、设备、板卡、光缆段资源的台账信息，查看预警资源涉及的承载业务、临近光路、缺陷单、纤芯占用情况等子资源或相关资源信息，以便于对资源的进一步定位和分析。可通过创建工作联系单等方式，对故障处置和业务疏导进行闭环管理。

4 结束语

电力通信传输网资源预警分析成果已在国网湖南省电力有限公司进行了试点应用，资源预警分析系统的应用较改善了以往通过人工统计分析、问题暴露后再进行整改的被动运维模式，由“被动”转为“主动”，通过数据挖掘、关联分析等技术的应用，实现了及时有效的预警分析服务，实现隐患分析和定位辅助技术手段的自动化和主动性，为建立以预防为主的主动运维模式提供重要支撑，大大提高运维效率，有效提升通信资源精益化管理水平。

[1]国网湖南省电力有限公司信息通信分公司. 电力通信传输网资源预警分析可行性研究报告[R]. 2017.

[2]吕顺利，周澍，洪自欢，等. 基于门限的电力通信网资源预警的设计和实现[J]. 中国电子商情：通信市场，2013（2）：78-82.

[3]林炳花，林丽萍，等. 大数据技术在电力通信网的应用分析[J]. 贵州电力技术，2017，20（10）：35-38.

Research and Implementation of Power Communication Network Resources Early Warning Analysis System Based on Big Data Processing Technology

Wo Xiaoxiao1Wang Ye2

1. Information and Communication Branch of State Grid Hunan Electric Power Co., Ltd., Hunan Changsha 410004 2. Nanjing NARI Group Corporation, Jiangsu Nanjing 210003

With the rapid increase of resource data of power communication network and the in-depth application of big data processing technology in power communication network, how to use “massive” communication resource data efficiently, puts forward newer and higher request for the management of power communication system. Starting from the aggregation and processing of massive real-time data, the paper proposes a construction planon how to establish a multi-dimensional early warning analysis model of power communication network resources and how to realize the implementation of resource early warning scenarios. The system can provide intelligent analysis and decision-making functions by analyzing the shortage and weak links of power communication resources, and realize automatic warning and closed-loop management of communication resources.

power communication transmission network; communication resources; big data processing; early warning

TP311.5；TN915.853

A

沃潇潇（1982—），女，湖南长沙人，高级工程师，从事电力通信调度运行管理工作。王烨（1986—），男，江苏南京人，工程师，从事电力通信管理系统研发工作。