基于深度强化学习的智慧变电站网络异常检测方法

李自若，沈曦，张亦兵，李小飞，刘润苗

(1.国网重庆市电力公司建设分公司，重庆401120；2.国网电力科学研究院有限公司，南京211106)

0 引言

智慧变电站是目前电力物联网发展与建设的一个重要方向，随着大量各类型传感单元和物联网设备的接入，变电站自动化网络安全在输变电工程中的作用愈发重要[1]。然而，随着电力物联网建设的推进，变电站系统从过去的封闭结构转变为接入点增多、通信方式多样化和通信协议部分开放等模式，以消息队列遥测传输(message queuing telemetry transport, MQTT)协议和受限应用协议(constrained application protocol, CoAP)为代表的物联网通信协议逐步在智慧变电站中推广应用，促使智慧变电站各智能终端与各类型传感器之间的通信标准化，完成变电站的全景状态监测，由此带来的网络攻击的威胁也随之增加[2 - 3]。另一方面，变电站通信网络也面临着光纤短路、交换机异常、端口错误以及数据丢包等异常形式，此外该网络中二次通信设备端口数量众多，各链路存在交叉等问题，复杂的网络构架往往使故障难以得到快速精确的分析和处理，会对智能电子设备(intelligent electronic devices，IED)间的信息交互及其功能实现造成严重影响，甚至威胁智能站系统正常运行[4]。因此，对智能站的自动化网络实现快速的异常网络检测至关重要[5 - 6]。

此外，大多数现有的安全解决方案通过引用黑名单数据库来检测攻击，黑名单数据库需要包含每个攻击的签名信息，因此无法检测使用未知漏洞的数据攻击。每当出现新的攻击模式时，必须更新数据库才能保证其有效性[7]。……