结合领域经验的深度强化学习信号控制方法

张萌，王殿海，金盛

(浙江大学 建筑工程学院，浙江 杭州 310058)

针对交叉口信号优化控制的研究按照控制方法可划分为3 类：基于历史交通流数据的预定时信号控制[1]，基于实时交通状态的响应控制(包括感应控制[2]、自适应控制[3])以及基于模型的协调控制.采用上述方法进行优化交叉口信号控制存在一定的理想假设，具有一定的局限性.随着人工智能技术和交通信息采集技术的发展，通过数据驱动实现信号控制成为交叉口信号优化的新发展方向.

强化学习属于人工智能技术，以马尔可夫决策为基础，通过反馈机制进行学习，适用于具有顺序决策特征的交通信号控制问题.由于交通状态的随机性、复杂性和动态性，传统强化学习在表达交通状态时存在局限.将深度学习与强化学习结合的深度强化学习方法使得强化学习应用于交通信号控制的研究有了新的突破.学者开始应用深度强化学习方法解决交叉口信号控制问题.Genders 等[4]提出使用离散状态编码表示交叉口的交通状态，并使用深度学习中的卷积神经网络提取车辆速度和位置特征.与使用排队车辆数为特征的浅层神经网络相比，Genders 等[4]的方法控制效果更佳，证明了深度卷积神经网络的有效性.Li 等[5]将堆叠自编码器(stacked auto-encoder,SAE)引入强化学习，证明了在减少排队长度上，结合深度学习网络与强化学习的信号控制方法相比于传统的强化学习信号控制方法更有优势.Gao 等[6]基于离散状态……