基于Q-强化学习的干道交叉口信号配时模型

徐建闽，席嘉鹏

(华南理工大学 土木与交通学院， 广东 广州 510000)

0 引言

现阶段交通问题频发，而信号配时作为交通管理的重要内容，保障了交通的秩序与效率。道路上交叉口之间存在着影响，所以现在主流的固定配时的信号控制方法尚有改进空间。因此，有学者利用机器学习算法来求解更好的自适应信号配时方法，所使用的方法主要有强化学习以及神经网络等。

ABDULHAI等[1-2]提出了一个通过Q-强化学习模型计算两相位信号交叉口的最优配时，并认为Q-强化学习具有对环境优秀的适应能力。WIERING等[3]通过引入网格网络系统，开发了基于模型的RL-TSC方法，此方法主要用于高流量的交通流，和固定配时相比可以大大降低车均延误。KUYER等[4]在前人的基础上，通过协调模型法并结合分布式算法，建立了新的RL-TSC 系统，不过该法对硬件具有一定要求，因为涉及到多个Agent间的协调。BALAJI等[5]对自适应信号配时模型展开论述，在模型中加入周边路口的交通状态、延误等因子，建立了更加完善的城市道路Agent系统的体系框架，并使之更加具有实用性与泛用性。王新[6]设计的城市TSC系统可适用于单交叉口和井字路网，利用Q强化学习算法[7-10]对信号配时决策法进行优化，可以完成相邻路口之间的信息交互。文峰等[11]接着他人的研究成果[12-15]提出使用多个深度置信网络的DQN方法，并把此方法与交叉口的信号配时相结合，提高了信号配时的有效性，但此方法强调单一交叉口，且每个交叉口都是独立的。……