基于3D卷积深度强化学习的交通灯配时优化技术研究

沈国庆

沈阳理工大学 辽宁 沈阳 110000

1 基于时间和空间序列的交通配时模型设计

（1）交叉口和路网模型。我们考虑使用的由两车道组成的交叉口模型，交叉口的车辆在交通信号的控制下行驶：绿灯表示车辆可以穿过交叉口；红灯表示车辆必须停车。

路网主要由多个交叉口和连接交叉口的道路组成，路网中所有的道路方向都不是规则的正北正南，道路也不规定为固定的长短，这样的设定更贴合实际的路网。在当前的信号时长结束后，通过调整路网中所有交叉口下一信号时长的相位，处理不同的交通状况。

（2）将路网状态数据规范化。一般的CNN（卷积神经网络）应用于图像处理中[1]，图像是二维的空间结构，感受也可以在空间维度上进行卷积来获取特征。而本文提出的3D CNN在对路网中的车辆数据进行预处理时需要提取出路网状态的时间和空间特征的能力，由于路网中的车辆数据不同于图像这种本身就自带自然的时间和空间结构，因此需要将路网状态数据规范化，使得不同拓扑结构的节点可以获取相同大小的感受野，为之后输入卷积神经网络计算提供了保障。我们在路网中建立的感受野相互之间都有重叠的部分，这样既能保证了相邻道路之间数据的相关性，又保证了整体道路感知的全局性。

（3）构建3DCNN模型。本课题虽采用卷积神经网络对路网进行特征提取，但基本CNN网络的输出无法满足本课题路网中多个交叉点同时决策和提取时间特征的要求，所以通过阅读文献与学习在深度学习领域的新技术，3DCNN模型[2]的初步设计如下：已知路网中有80个交叉口，有51个交通灯。……