基于深度强化学习的蒸汽发生器水位控制

张汲宇， 夏虹， 彭彬森， 王志超， 姜莹莹

(1.哈尔滨工程大学 核安全与先进核能技术工信部重点实验室，黑龙江 哈尔滨 150001； 2.哈尔滨工程大学 核安全与仿真技术国防重点学科实验室，黑龙江 哈尔滨 150001)

U形管蒸汽发生器(U-tube steam generator, UTSG)是压水堆核动力装置中常用的关键设备之一，是连接一、二回路的枢纽，为了保证核动力装置的安全运行，其水位必须控制在合理范围内[1]。当水位过低时，会导致传热管束损坏；当水位过高时，会影响汽水分离器的分离效果，造成蒸汽品质恶化，危害汽轮机的叶片[2]。UTSG是一个具有非线性和非最小相位的复杂系统，在低功率水平下，呈现出明显的“虚假水位”现象，这给水位控制器设计带来了不少难度。为了解决UTSG的水位控制问题，文献[3-5]分别提出了能准确反映出水位特性的UTSG水位控制模型，其中Irving[5]所提出的模型覆盖了多种运行功率情况，因此被广泛应用于控制算法研究，本文也将采用该模型进行控制算法研究。当前研究人员设计了控制算法来对水位进行控制，比如自适应控制器[5]，分数阶(proportional-integral-derivative,PID)控制器[6-7]、增益调度动态滑模控制器[8]、支持向量机预测控制器[9]等，这些控制器均能有效的对蒸汽发生器的水位进行跟踪，并能具有较好的鲁棒性。

深度强化学习是深度学习和强化学习结合的产物，它不仅具有深度学习的优秀数据处理能力，而且具有强化学习的优秀决策能力，已发展成为机器学习领域的一个重要分支。其学习过程通过与环境的相互作用和试错，从而不断改进自身策略，最终实现最优决策。……