基于深度强化学习的风电场储能系统预测决策一体化调度

于一潇，杨佳峻，杨 明，高 源

（1. 山东大学电网智能化调度与控制教育部重点实验室,山东省济南市250061；2. 国网陕西省电力公司电力科学研究院,陕西省西安市710054）

0 引言

随着各国电力市场改革的深入,风电场作为发电商在市场内追逐自身发电利润最大化成为必然趋势。对于风电而言,其输出具有不确定性［1］,如何在风电的不确定性条件下从电力市场获取最大利润成为风力发电决策与控制的重要问题。

风力发电机与储能系统（energy storage system,ESS）合作组成风储混合系统是解决上述问题的有效途径［2-3］。当前已有诸多研究针对储能系统在风电不确定性条件下的控制问题取得了进展。文献［4］提出了抽水蓄能电站控制的机会约束优化模型,以缓解风电场与抽水蓄能电站集成功率的波动,该模型中,风电功率预测误差服从正态分布。文献［5］通过离散傅里叶变换和离散小波变换将风电预测误差分解为不同周期的信号,提高了储能系统和常规机组的经济效益。文献［6］认为风电的波动特征随输出功率的大小而显著变化,并提出一种通用的概率分布来描述风电不确定性。文献［7］将强化学习理论引入风储合作决策中,建立了基于Qlearning 算法的两阶段学习模型。所训练的控制器能一定程度上消纳风电的不确定性,具有启发意义。

针对在风电不确定性条件下风电场储能系统的优化控制,当前研究遵循预测、决策相分离的调度模式,需要描述风电功率的预测结果。然而,用确定形式［8］、区间形式［9］、概率形式［10］、概率区间形式［11］来表达预测结果,都难以把数据中蕴含的决策信息完整地表述并提供给决策者,会存在信息的损失,影响决策效果。……