基于多层双向递归神经网络的短期电力负荷预测

许道林，谢兵，伍毅，刘兴栋，谢颜斌

（1.国网重庆市电力公司，重庆 400000；2.国网重庆市区供电公司，重庆 400015）

0 引言

准确的电力负荷预测对于确保电力系统的安全稳定和经济运行具有重要意义[1-2]。电力负荷预测是根据电力负荷、经济性和天气状况等数据探索电力负荷历史数据变化规律对未来负荷的影响[3-4]。同时，根据电力负荷与相关因素间的内在联系，可对未来电力负荷进行科学预测[5-6]。通常，短期电力负荷预测可以衡量日负荷率，合理安排供电负荷对保证电网的稳定性和经济性至关重要[7-8]。因此，提高短期电力负荷预测的准确性有利于提高发电设备的利用率和经济调度的效率[9]。

近年来，将电力负荷数据应用于负荷预测已成为电力系统负荷管理研究的重点内容，国内外众多专家学者对此展开了大量研究。文献[10]提出了一种基于时间序列的预测模型，能够对线性电力模型的负荷进行精准预测。文献[11]提出了一种基于自回归移动平均模型算法的滑动窗口预测模型，用于对线性智能电表的短期负荷预测。但短期电力负荷的随机因素较多，非线性比例占比较高，传统的基于时间序列和基于自回归移动平均模型算法的模型，其基础理论主要是线性模型，无法描述负荷数据的非线性和随机性。

近几十年来，机器学习算法在处理各种影响因素和非线性数据方面表现出优异的能力，因此被广泛用于短期电力负荷预测。文献[12]提出了一种优化的年度负荷预测灰色模型，该模型可以显著提高年度负荷预测的准确性。文献[13]提出了一种基于粗糙集的反向传播神经网络方法（rough set back propagation，RSBP），可对具有动态和非线性因素的复杂短期电力负荷进行精准预测。文献[14]提出了一种基于改进SVR方法的负荷预测模型，通过使用特征选择算法生成模型输入和后续模型输入，可有效提高短期电力负荷预测精度。文献[15]提出了一种组合预测方法，该方法可建立一个用于智能社区净负荷预测的自调整实时预测模型，与传统预测方法相比，可有效地优化预测模型参数。但上述预测模型中，未考虑到天气对负荷波动的影响，不同季节下的预测精度难以保持较高水平。

目前，递归神经网络（recurrent neural network，RNN）由于具有强大的非线性处理能力和良好的学习能力被应用于短期电力负荷预测中，但是传统的RNN算法会记忆之前的输入信息，从而对输出造成影响。而长短期记忆（long short-term memory，LSTM）是一种特殊的RNN架构，与深度神经网络和传统RNN相比，他可以更精确地学习时间序列和长期依存关系。另外，门控循环单元（gated recurrent unit，GRU）的使用不仅能够使RNN记忆过去的信息，同时还能选择性地忘记一些不重要的信息而对长期语境等关系进行建模。鉴于此，本文针对电力负荷预测的非线性问题和预测精度受天气因素影响大等问题，结合LSTM和GRU方法的优势，提出了一种基于LSTM和GRU的多层双向递归神经网络（RNN）模型用于短期电力负荷预测。首先，提出一种包括多层双向RNN的整体架构，在向前和向后传播期间，将LSTM和GRU进行有机结合；在短期电力负荷预测之前，考虑到天气对负荷波动的影响，同时对周属性和假日属性进行编码，以提升短期负荷预测精度。最后，通过两数据集对模型进行仿真实验，验证所提方法的有效性。

1 理论基础与数据预处理

1.1 理论基础

RNN是Saratha Sathasivam在1982年提出的Hopfield网络方法。由于RNN具有良好的预测精度和可靠性，能够有效补充完全连接的神经网络和传统的机器学习算法的不足。RNN是一种序列化的序列模型，典型的RNN可看作是同一神经网络的重复复制的结果，其网络架构见图1。

图1 RNN及其展开的网络Fig.1 RNN and its expanded network

图中：xt为时间步长t的输入；ht为时间步长t的输出；St为时间步长t处的隐藏状态，即网络的存储单元；W、U、V为网络的共享参数。

在正向传播中，当前时刻的输出由存储器和当前时刻的输入确定，其数学表达如式（1）和式（2）所示。

式（2）中，softmax函数的本质是将一个K维任意实矢量映射到另一个K维实矢量中，矢量中每个元素的取值均介于[0，1]之间。

softmax函数的数学表达式为

式中，j=1，2，...，k。

但RNN存在一个问题，即传统RNN连接到正面和背面关系的能力非常有限。随时间间隔的增加，长时间的内存对输出的影响会大大减小，从而导致梯度消失。

而基于LSTM改进的RNN，可通过将隐藏层的简单节点更改为存储单元，有效解决梯度消失的问题，图2所示为LSTM的结构示意图。

如图2所示，LSTM的单元由3个门和存储单元组成，3个门分别为输入门、输出门和遗忘门。其中，输入门决定当前时刻存储在存储单元中的输入量；输出门控制存储单元输出多少信息到LSTM的当前输出值；遗忘门确定当前时刻可保留的最后时刻的存储单元状态的数量。

图2 LSTM的结构Fig.2 Structure of LSTM

整个过程的数学表达式为

式中：i、f、o分别为输入门、遗忘门和输出门；c为存储单元的状态，该状态随时间序列不断更新；h为隐藏层的输出；c等于隐藏向量h；W和b分别为相应的权重系数矩阵和偏差；σ和tanh分别为Sigmoid和双曲正切激活函数。

Sigmoid为激活函数，其输出值限制在[0，1]之间，0表示完全放弃，1表示完全通过，双曲正切激活函数将输出值限制在[1，-1]之间，其数学表达式为

基于改进的LSTM，通过对“门”的优化设计和改进，可得到GRU。即GRU将LSTM中的输入门和遗忘门组合成一个更新门，并成为两个门的单元结构，即更新门和重置门，将存储单元的状态与输出向量相结合，如图3所示为GRU的结构。

图3 GRU的结构Fig.3 Structure of GRU

其中GRU过程的数学表达式为

通常，GRU单元由两个门组成，即更新门Z和重置门r。类似LSTM，h代表隐藏层的输出，W代表相应的权重系数矩阵。

1.2 数据预处理

本节将通过实验数据集以及对数据集和天气因素的预处理，提出基于LSTM和GRU的多层双向RNN模型。同时，使用EUNITE的负荷预测样本数据集和包含斯洛伐克东部电力公司在2017年和2018年运营电厂的实际负荷数据进行实验测试，其中还提供了2017年和2018年的每日天气数据。负荷数据显示了该地区的用电量，并且每分钟记录一次负荷值，包括日常天气条件和温度等因素。

对负荷数据进行标准化处理，将负荷数据标准化为[0，1]，其数学表达式为

式中：xmin和xmax分别为负荷数据中的最小值和最大值；x为未处理的负荷值；xnorm为规格化值。

在第2个数据集中，每分钟记录一次负荷值，但同时会出现在一分钟内数据丢失的现象。对于这种情况，可采用填写前后两分钟的平均负荷作为取值。由于负荷数据中通常存在“噪声”，需要对异常数据进行及时处理。根据一定时间前后两个负荷数据值，设置要处理数据的最大变化量，当处理的数据超出此范围时，确定为异常数据，并以最大变化进行重置。

负荷受许多因素影响，如天气条件、温度和湿度，如何选择合适的候选输入特征是影响预测准确性的关键问题。因此，可通过使用皮尔逊相关系数计算载荷与候选输入特征间的相关性，其数学表达式（16）所示。

式中：X和Y分别为荷载的特征向量和影响因子；n为向量的维数；X为向量的平均值。

在第2个数据集中，通过计算相关系数，将每日最高温度，每日最低温度和天气状况选择作为输入特性，其具体处理方法如下：

天气因素标准化：温度和天气条件通常会影响居民使用的电力负荷，通过忽略极端天气因素，将最高温度设置为40℃，将最低温度设置为0℃，使用式（17）所示公式对温度进行标准化处理。

式中：tnorm为归一化值；t为原始温度。

量化的天气条件见表1。

表1 天气量化表Table 1 Weather quantification Table

1.3 评价指标

在电力系统规划阶段，若负荷预测的结果远低于实际需求量，将导致系统的装机容量不足，从而无法满足居民的正常用电需求，甚至会因为电源不足而出现断电问题。如果负荷预测的结果远高于实际需求量，则将降低发电和输电设备的运行效率，从而浪费投资。通过分析负荷预测误差对电力系统的影响，将预测量与实际负荷进行比较，从而评估模型的准确性。为验证所提预测模型的性能，以平均绝对百分比误差（MAPE）、均方根误差（RMSE）和平均绝对误差（MAE）作为评估指标，并将其定义为式（18）-（20）所示。

2 多层双向RNN模型构建

2.1 基于RNN的模型架构

在短期电力负荷预测中，LSTM的存储特性可以与前几天的负荷波动规律进行联系，可提高短期负荷预测的准确性[16-19]。通过LSTM对GRU进行改进，使改进了的LSTM模型的复杂形式降低，同时还降低了训练时间和预测时间。此外，双向传播结构形式可用来联系前后信息，有利于对时间序列的精准预测。根据负荷时间序列的特点，以及相关理论和技术，提出了短期电力负荷预测模型，图4所示为预测模型的结构示意图。

图4 多层双向RNN模型的展开结构Fig.4 The expanded structure of the multi-layer bidirectional RNN model

由图4可知，预测模型主要包括输入层、隐藏层、输出层、网络训练和网络预测5个部分。其中，输入层的主要功能是处理原始的加载顺序，以满足网络输入需求，包括数据标准化和数据分段处理。隐藏层由双向RNN组成，其中第1层是前向传播LSTM单元和后向传播GRU单元的组合，第2层则相反。在隐藏层前后添加了整流线性单位（relu）层，以引入非线性因素，可有效提升模型的表达能力。

因此，所提出的模型结合了LSTM和GRU网络的功能，能够在输出层为输入序列中的每个点提供完整的过去和将来的信息。由输出层给出预测结果，包括采用滚动预测的网络预测，网络训练的一部分使用具有自适应学习率的Adam优化方法。Adam算法的主要优点是可处理稀疏矩阵和非平稳目标，并且能够针对不同参数计算出不同的自适应学习率，适用于高维数据处理。

对于网络培训，隐藏层是网络培训的主要研究对象。首先，将原始加载顺序定义为：X={x1，x2，…，xn}，天气特征的顺序为：W={w1，w2，…，wn}。对其进行标准化处理，得到：和为满足隐藏层的输入特征，输入形状为3D张量（样本数、时间步长、输入尺寸）的数据，将实验中的样本数设置为1。因此，数据将随着随机梯度的下降而更新。其中，时间步长的设置因负载类型而异，输入尺寸由特性变量决定，包括每个时间点的负荷值和天气特性。

在进入隐藏层前，由relu激活函数组成的前馈层用于引入非线性条件，同时满足输入双向RNN的条件。隐藏层包含两层双向RNN，双向RNN的正向传播过程与单向RNN的正向传播过程相似。反向传播过程等效于RNN随时间的反向传播。3D张量通过隐藏层后，其输出量的数学表达如式（21）所示。

式中：hfstate、hbstate分别为双向RNN第2层的正向和反向传播的输出；hstate为两个输出的总和。

将隐藏层的输出代入输出层，可以得到理论输出，将均方误差作为误差公式，可得到损失函数的数学表达，如式（22）所示。

式中，ylabel和ypre分别为标签值和输出值。

以最小损失函数值作为优化目标，设置网络的各种参数，包括随机种子数、学习率和隐藏层尺寸。然后，应用Adam优化算法更新网络权重，并获得最终的隐藏层网络，通过网络训练获得成熟的预测模型。在预测过程中，采用迭代预测方法，以获取更好的拟合参数。

2.2 过度拟合处理

当神经网络开始记忆训练样本时，通常会发生过度拟合问题，此时神经网络能够很好地适应训练样本，降低训练误差，但不能很好地研究训练样本的输入/输出映射关系。因此，容易出现未知预测样本的预测误差过高的情况。此外，当神经网络由于训练过程不足而不能很好地学习训练样本时，会出现拟合不足的问题。过度拟合/拟合不足经常发生在负荷预测问题中，需要对过度拟合和欠拟合进行有效处理。

通过添加辍学层并惩罚较大的权重可有效处理过度拟合问题，添加一个辍学层意味着神经网络不能完全依赖任何给定的神经元，因为其将可能会出现数据删除，使模型的某些特征在出现其他特征时才起作用，即每个随机退出的均为不同的网络，而下一个训练网络也不是最后一个网络。因此，可以在反向传播时校正错误的权重和偏移量，从而达到避免过度拟合的目的。因此，发生过度拟合时，可将惩罚项添加到损失函数中，即正则化。

其数学表达式为

式中：n为样本数；α为正则化系数；w为权重。

欠拟合情况下，可通过添加更多特征使输入数据更具表现力，考虑到负荷的周期变化和影响因素的规律以及输入要素的不足，周属性是7位二进制编码格式，而假日属性是2位二进制编码。通常，短期电力负荷预测模型的训练和预测算法步骤如下：

1）获得由式（15）和式（17）归一化的时间序列数据，并将天气量化数据与实验所需的时间序列合并。

2）根据确定的样本数、时间步长和输入维数3个参数，获得模型输入和相应的理论输出。

3）将训练集和测试集分开。

4）确定随机种子数、学习率和隐藏层尺寸。

5）根据单元状态构建LSTM和GRU单元。

6）根据时间步长，将LSTM和GRU单元连接到双向RNN。

7）通过种子初始化整个预测网络。

8）通过训练集对网络进行训练。

9）通过式（21）和式（22）计算隐藏层输出和损失函数值。

10）通过有损的Adam优化算法更新网络，获得成熟的预测网络。

11）在反向归一化后获得预测负荷值。

12）通过评估指标计算获取预测准确性。

3 实验结果与分析

3.1 基于EUNITE竞赛数据的短期负荷预测

EUNITE竞赛数据来自2017年至2018年每30 min一次的斯洛伐克东方电力公司的电力负荷数据记录，实验的目的是预测2019年1月该地区的最大每日负荷。

由于不同季节的负荷具有不同的特征，为预测2019年1月的最大每日负荷，将2017年1月和2月以及2018年的每日最大负荷用作训练模型的训练集。由于温度和负荷之间存在直接联系，但影响温度的因素比较复杂，无法通过历史温度简单预测，因此本实验中未使用温度特性。训练集的时间序列见图5。

图5 训练时间序列Fig.5 Training time series

实验步骤如下：

步骤1：选择模型的时间步长。在随机过程的研究中，从时间序列得出的自相关系数图的峰值中得出适当的时间步长。图6所示为训练集计算自相关系数。

图6 时间序列自相关系数Fig.6 Time series auto-correlation coefficient

自相关系数的数学表达式为

式中：h为阶数；u为序列的均值；xi和xi+h分别对应于被拆分的两个序列的第i个项。根据图6中局部峰值出现的位置，可以将时间步长设置为7。

步骤2：使用7位0/1编码对周属性进行编码。用二进制码表示预测日的日期，如[1 0 0 0 0 0 0 0]代表星期一，[0 1 0 0 0 0 0 0]代表星期二，依此类推。假日属性由2位0/1编码，即[1 0]是假日，[0 1]是非假日，表示预测的日期属性。训练集负荷数据根据式（15）归一化为[0，1]。

步骤3：通过训练得出预测结果。

表2所示为本文算法与其他算法的负荷预测比较结果，由表2可以看出由本文方法得到的MAPE为1.90%，要明显低于其他几种算法，即本文提出的方法具有较高的预测精度。

表2 比较结果Table 2 Comparison of results

为了验证本次提出的方法在负荷预测方面的性能，以2019年1月为例对该月的负荷进行预测，预测结果见图7。

3.2 基于电力公司数据的短期负荷预测

根据重庆市某电力公司2017年电力负荷数据和当地气象记录，本部分考虑季节因素的影响，分别分析预测不同季节的负荷量。图8为4个季节的历史负荷，显示该地区过去4个季节的训练负荷。

图8 4个季节的历史负荷Fig.8 Historical load of the four seasons

为评估所提方法的性能，选取每个季节前30天的每小时峰值负荷，预测第2天每小时的峰值负荷。在实际应用中，可通过天气预报来预测天气，考虑到天气因素的影响，本实验中将根据前7天的负荷数据和天气预报一天中的每小时峰值负荷。表3所示为2017年的不同季节预测期。

表3 2017年的不同季节预测期Table 3 Prediction period of different season in 2017

其实验过程如下：

步骤1：根据式（15）和式（17）对负荷和温度进行归一化处理，并根据表1量化天气状况。

步骤2：使用0/1编码对周属性和节假日属性进行编码。

步骤3：将由输入要素形成的张量输入到预测网络中进行迭代训练，并预测第2天的每小时峰值负荷。将结果与简单LSTM模型、SVR模型和传统BP模型的预测结果进行比较。

图9所示为24小时峰值负荷预测结果对比（3月10日），显示了使用其他3个模型和本文提出的方法得出的3月10日的每小时峰值负荷预测结果。

图9 24小时峰值负荷预测结果对比（3月10日）Fig.9 Comparison of 24-hour peak load prediction results（March 10）

图10所示为使用4个模型获得的6月14日的实际负荷和每小时峰值负荷预测结果。

图11所示为24小时峰值负荷预测结果对比，分别为秋季10月13日和冬季12月7日的负荷预测结果。

图11 24小时峰值负荷预测结果对比（10月13日）Fig.11 Comparison of 24-hour peak load prediction results（October 13）

由以上分析结果可知，与其他3种方法相比，本文所提方法的误差曲线波动较小、误差较小。使用基于LSTM和GRU的多层双向RNN模型获得的4个季节的MAPE值，分别比其他3种方法获得的MAPE的值小2.327%、4.046%、2.243%和1.899%。与其他3个季节相比，夏季负荷波动较大且不规则。因此，夏季MAPE的幅度较大。通过对RMSE进行比较可知，本文所提方法预测的4个季节RMSE值分别为25.728、20.637、16.044和19.849，比其他对比方法中的结果低。同样，通过本文所提方法，MAE的大小可分别减小到18.694、16.967、12.251和15.337。由此可知，本文所提出的电力负荷预测方法可通过减小实际负荷与预测负荷之间的误差来提高精度。

4 结语

针对电力负荷预测的非线性问题和预测精度受天气因素影响大的问题，结合LSTM和GRU方法的优势，提出了一种基于LSTM和GRU的多层双向RNN模型，并通过对比实验分析得出以下结论：

1）将LSTM和GRU应用于网络时，双向RNN模型具有较强的预测精度。

2）与传统的LSTM，SVR和BP模型相比，本文方法获得的误差具有较低的MAPE、RMSE和MAE。

3）所提预测模型可用于提高短期负荷预测的准确性，并减少预测过程中预测值的波动，可有效提高预测精度。