基于深度强化学习的自动驾驶技术研究

◆杨霄 李晓婷

基于深度强化学习的自动驾驶技术研究

◆杨霄 李晓婷

（北方自动控制技术研究所军种指控系统研发部 山西 030000）

传统的自动驾驶行为决策算法需要人为设定复杂的规则，从而导致车辆决策时间长、决策效果不佳、对于新的环境不具有适应性，而强化学习作为近年来机器学习和智能控制领域的主要方法之一，车辆仅通过与环境交互便可以学习到合理、有效的策略。本文基于DDPG（（Deep Deterministic Policy Gradient）算法，通过设计合理的奖励函数、深度卷积网络、探索策略，在Carla模拟器中实现指定路线的自动驾驶。

自动驾驶；深度强化学习；行为决策

自动驾驶汽车（Autonomous Car）是指一类能够自我感知环境、规划路径并对实时路况进行合理决策的智能汽车[1]。行为决策模块是自动驾驶汽车的“大脑”，受到传统车企乃至相关高校的高度关注[2]。强化学习在20世纪80年代已经兴起，但随着问题的复杂度逐渐增大，传统的表格式强化学习已经难以解决庞大的状态空间和搜索空间，因此，利用深度神经网络拟合Q值或输出行为策略的深度强化学习被提出，并在策略游戏、直升机特技表演、火电厂控制等领域取得了极大的成功，其中，DDPG算法在目前的深度强化学习算法中应用是最广的[3-4]。本文基于DDPG算法，通过设计合理的奖励函数、深度卷积网络、探索策略，在Carla模拟器中实现指定路线的自动驾驶。

1 行为决策

根据现代决策理论的发展，可以将行为决策理论分为理性决策理论和行为决策理论，理性决策理论在20世纪80年代之前一直处于主导地位，之后随着行为科学研究的兴起，行为决策理论逐步发展壮大。……