基于云计算的智能电网的调度系统建设研究

2023-08-22 01:24
通信电源技术 2023年11期
关键词:硬盘子系统调度

庞 鹤

(中博信息技术研究院有限公司,江苏 南京 210000)

0 引 言

我国的电力系统在新时代取得了快速发展,形成了以特高压为中心,其他子电网互相连接的基础架构[1-4]。另外,由于各种分布式电源技术的发展,风力发电、光伏发电等可再生能源逐渐投入使用,扩展了传统发电方式。更多样的发电方式、更大的电网规模加上电力市场的改革,都需要电网系统在供电能力上有更高的水平[5,6]。显然,传统电网技术无法满足更高的要求和未来的发展需要。智能化是现代科学技术发展的潮流,智能化电网也不例外,将经典的电网系统与新兴技术相结合,能够对电网企业的运营提供一定程度的技术支持和探索[7-10]。在考察了目前电网自动化系统发展和运行的需求后,提出了一种基于云计算的智能电网调度系统。

1 基于云计算的智能电网的调度系统总体设计

智能调度系统的总体架构如图1 所示。该平台可以共享多个系统之间的信息,以此协调各系统之间的工作,并且建立收集数据和业务信息的中间平台,能够整合电网的信息。

图1 智能电网调度系统

1.1 云端计算、存储和管理技术架构设计

智能调度系统在云端基础架构中,只有被选中的管理节点具有不同的结构,其他普通节点的结构都是相同的。

本实验设计的调度系统采用分布式文件系统,其原因是该系统具有自监控、自检测能力,并且当硬件在运行过程中产生故障导致系统瘫痪时,可以即时恢复。另外,该系统采用一次写入、多次读出的数据读写方式,编程模型采用Map-Reduce 模型,该模型常被用于大规模数据的并行运算。它具有以下几个主要功能:一是系统会自动分析出一个作业中的大数据块,并将其分割成多个小块,每个小块对应一个任务,之后自动调动计算节点处理这些任务;二是系统能够进行代码和数据之间的互相定位,从而减少数据通信;三是系统通过合并中间结果来减少数据通信的开销,并且为了防止数据相关性问题,输出中间结果时会进行一定的划分处理;四是为了增加数据存储的可靠性,采用多备份冗余存储机制,该机制的特点就是能够及时检测出错误数据,并对它进行修复。

1.2 智能电网调度系统功能架构设计

智能电网调度系统功能的实现需要4 个子系统协同工作,分别是管理数据的数据交换与共享子系统、管理资源调度和负载分配的子系统、储存大量数据的存储子系统以及用于运算的集成运算子系统。智能电网调度系统的功能架构如图2 所示。

图2 智能电网调度系统功能架构

(1)数据交换与共享子系统。该子系统管理云计算环境下各个分布式平台之间的数据交换和共享。为方便电网调度员对子系统的管理和操作,调度命令可以跨级通信。

(2)动态负载均衡与资源调配子系统。该子系统管理资源调度和负载的动态分配,其资源调度作用如下:当系统的某个节点或任务由于分配的资源不够而难以继续正常运行时,调度系统利用其调度模型进行资源计算,将资源不足的部分调到其他有足够计算资源的工作区中,由这些工作区分担计算职责,直到这部分完成任务为止。

(3)海量数据存储子系统。该子系统用于存储调度系统的大数据,特别是操作或者运算过程中的中间数据。这些中间数据的快速读写和管理关系到整个系统的正常运行,也便于对大数据进行规律辨识等后续工作的开展。

(4)集成计算子系统。该子系统集成了各种类型的计算资源,主要与资源调配子系统协同工作,当需要进行可利用资源任务计算时,该子系统会分解计算任务到对应的工作区中,从而增加了计算效率和分析速度。

1.3 云计算分布式存储架构设计和云端容错性方法

因为简单直观、连接方便等优势,选择交换机为调度系统的中心架构(数据转发的任务全部落在交换机上而不分配给服务器)。云端容错性采用基于纠删码的方法,纠删码是一种前向错误纠正技术,主要是防止网络传输过程中的丢包,可以提高存储系统的可靠性,这个技术兼顾了可靠性和数据冗余度。

2 系统应用构建

2.1 平台部署

本研究构建的智能调度系统,最基础的目标是要满足500 台以上云终端的接入需求。这就要求智能调度系统具有电网内部信息交互能力、电网与外部网络的交互能力以及能够满足电网特殊客户需求的能力。该系统的设计理念基于操作层面的虚拟机,能够建立和运行一个在完全封闭环境中的完整计算机系统,因此虚拟机完全独立,主要用来提升主机的运行速度。对于虚拟机的管理问题,本研究引入了OpenStack 技术搭建的基础平台,该平台的特点是具有强开放性,随时都可以根据需要进行扩容。

为了确保同一个HA 下的机器在遭遇意外情况时不至于同时死机,需要各个机器不使用同一个不间断电源(Uninterruptible Power Supply,UPS)和防雷装置,这就要求硬件进行分布式部署。管理群的部署为“3-3-3”结构,即部署3 台服务器,每台服务器完成同样的工作。这些工作交给3 台虚拟机,每台虚拟机运行3 类服务,包括K&H 服务、父Cell 服务和子Cell服务。通过负载均衡技术将任务平均分配给各组。

本研究采用Ceph 构建存储子系统。Ceph 是一种分布式存储系统,可以联结多台服务器组成一个大资源池,再根据用户的需要按需分配。其优点如下:一是支持3 种存储接口,分别是对象存储、块存储、文件存储;二是采用CRUSH 算法,数据具有高并行度,并且分布均匀,大大降低了数据维护难度;三是具有高度的数据一致性;四是由于没有固定的中心节点,能够灵活的扩展集群。Ceph 是一种性能优秀且可靠的分布式文件系统,能够满足本研究的需要。智能电网云平台访问数据的输入/输出通路如图3所示。

图3 智能电网云平台访问数据的输入/输出通路

关于存储选择,考虑到成本和存储容量之间的取舍,本研究使用混合存储,即同时使用机械硬盘和固态硬盘,选择的型号为SATA 7200RMP 机械硬盘和SATA 固态硬盘。由于是混合存储,需要考虑2 类硬盘的优缺点,机械硬盘读写较慢但是存储可靠性高,当硬盘损坏时也有恢复手段,于是用于存储Ceph 方案中的数据;而固态硬盘读写速度快,但可靠性和可恢复性不如机械硬盘,多用于存储方案中的日志。

基础服务群相比集成的计算节点群,需要有更高的可靠性,因此需要统一采用实机安装。基于计算速度考量后,计算节点不用实机而是采用虚拟机。

控制节点包括网络基础服务节点和OpenStack 控制节点,这2 类节点分别都有3 个,前者不需要进行复杂运算,所以相比高性能,更需要极高的可靠性。

Fuel 节点侧重于输入/输出通路带宽,该节点对硬件配置有较高的要求,需要高速的网络、硬盘和运行内存。

2.2 性能优化

针对以下5 种可能会发生的问题,本研究对平台云计算缓存采取下列优化措施。

(1)节点过热。若个别节点的容量耗尽,且具有很大的并发,则增加虚拟节点个数。

(2)缓存预热。若线上压力过大,需要对集群进行扩容,则需要对服务器预热。

(3)分散部署。由于服务器不会占用过多中央处理器(Central Processing Unit,CPU)和磁盘资源,这极易性能浪费,需要尽可能多的部署服务器。

(4)缓存雪崩。为了预防机器死机时造成的请求处理拖慢缓存,需要预留足够多的内存冗余,参考阈值为70%。

(5)缓存穿透。在某些情况下,应用发出的请求会直接进行数据查询,然后返回一个NULL 结果,从而导致大量的无用空查询,这会加大系统的压力。可以采用缓存NULL 结果的方法来解决这个问题。

3 系统性能测试

在设计完电网调度系统后还需要对系统在高负荷状态下的各个指标进行性能测试,如性能、配置等。使用网络服务压力工具(Web Serve Stress Tool,WSST)进行性能测试,WSST 能够模拟大量用户访问系统,创造了一个模拟的高负荷环境。

本次实验选择逐步加压的压力测试,并发系统访问用户(Vuser)按照2 s 的周期启动,约在8 min后,所有的Vuser 都会被启动。该过程中,设置系统能够自动执行用户登录操作。另外,具有不同权限的用户,其访问请求时间也不同,下面是测试准备和场景部署。

(1)随机选择2 台性能正常且能够稳定运行的计算机,根据查阅的资料,每台计算机需要部署大约80 个Vuser。

(2)随机选择一台性能良好的计算机,该计算机除了需要部署60 个左右的Vuser 外,还需要作为上位机对测试工具进行控制,并且在本机上观察测试情况。

场景吞吐量测试结果如图4 所示。由图4 可知,场景吞吐量随着时间先上升,再下降到一个平稳状态直至结束,这是由于Vuser 随着时间增加而增加,在Vuser 全部登录后就进入了稳定运行状态。

图4 场景吞吐量测试结果

4 结 论

智能技术的迭代更新和电网规模的扩大,都使得电力数据信息分布更广、数量更大、结构更复杂,这就要求更高的信息处理能力,然而传统的电网控制技术已经无法满足需求。为提高电网的智能化水平,尝试在电网控制上结合云计算技术以提高电网调度的能力。本研究以接入500 个云终端作为基本目标,以结合云技术为主要创新,设计一套智能电网调度系统,并进行了算例验证,结果验证了该系统的可行性。

猜你喜欢
硬盘子系统调度
不对中转子系统耦合动力学特性研究
GSM-R基站子系统同步方案研究
HiFi级4K硬盘播放机 亿格瑞A15
Egreat(亿格瑞)A10二代 4K硬盘播放机
《调度集中系统(CTC)/列车调度指挥系统(TDCS)维护手册》正式出版
一种基于负载均衡的Kubernetes调度改进算法
虚拟机实时迁移调度算法
驼峰测长设备在线监测子系统的设计与应用
我区电视台对硬盘播出系统的应用
车载ATP子系统紧急制动限制速度计算