基于改进DDPG算法的机器人路径规划算法研究

周盛世,单 梁,常 路,陈 佳,刘成林,李 军

(1.南京理工大学 自动化学院,江苏 南京 210094;2.江南大学 轻工过程先进控制教育部重点实验室,江苏 无锡 214122)

在移动机器人自主导航中,路径规划问题是一个基础又重要的部分,其目标可以描述为在一定的约束条件下,寻找1条从当前点到目标点的最优路径。常见的路径规划算法有A*[1]、蚁群算法[2-4]、遗传算法[5]、粒子群算法[6]等,但是这些算法存在运算时间长、迭代次数过多以及在未知环境下实时性差的问题。而人工势场法[7,8]可以根据机器人当前状态和环境确定下一步的运动状态,算法实时性高,但是存在容易陷入局部最小点的问题。近年来,深度学习和强化学习成为机器学习领域重要的研究热点。神经网络强大的特征提取和函数拟合能力使得强化学习可以应用到非常复杂的决策问题上[9,10],深度强化学习(Deep reinforcement learning,DRL)可以充分发挥深度学习的感知优势和强化学习的决策优势。

Google DeepMind通过结合Q学习(Q-learning)和深度神经网络提出了深度Q网络[11,12](Deep Q network,DQN),解决了高维输入引发的维度灾难问题,允许连续状态输入。随后以Actor-Critic算法为基础,将DQN和确定性策略梯度[13]相结合,提出了深度确定性策略梯度(Deep deterministic policy gradient,DDPG)算法[14,15],解决了动作空间离散的问题。文献[16]提出了一种根据优先级回放经验池的改进策略。文献[17]使用强化学习进行路径规划,但是状态和动作空间都是离散的,不符合实际机器人的运动模型。文献[18]通过分离经验缓存池,提出基于失败经验纠错的改进算法。……