基于DDPG算法的路径规划研究

张义　郭坤

摘要：路径规划是人工智能领域的一个经典问题，在国防军事、道路交通、机器人仿真等诸多领域有着广泛应用，然而现有的路径规划算法大多存在着环境单一、离散的动作空间、需要人工构筑模型的问题。强化学习是一种无须人工提供训练数据自行与环境交互的机器学习方法，深度强化学习的发展更使得其解决现实问题的能力得到进一步提升，本文将深度强化学习的DDPG（Deep Deterministic Policy Gradient）算法应用到路径规划领域，完成了连续空间、复杂环境的路径规划。

关键词：路径规划;深度强化学习;DDPG;ActorCritic;连续动作空间

中图分类号： TP301.6       文献标识码：A

文章编号：1009-3044（2021）04-0193-02

Abstract：Path planning is a classic problem in the field of artificial intelligence， which has been widely used in national defense， military， road traffic， robot simulation and other fields. However， most of the existing path planning algorithms have he problems of single environment， discrete action space， and need to build artificial models. Reinforcement learning is a machine learning method that interacts with the environment without providing training data manually， deep reinforcement learning more makes its ability to solve practical problems of the development of further ascension. In this paper， deep reinforcement learning algorithm DDPG （Deep Deterministic Policy Gradient） algorithm is applied in the field of path planning， which completes the task of path planning for continuous space， complex environment.

Key words：path planning;deep reinforcement learning; DDPG;Actor Critic;continuous action space

传统算法如迪杰斯特拉算法[1]、A*算法[2]、人工势场法[3]等。迪杰斯特拉算法是路径规划领域的经典算法，由迪杰斯特拉于1959年提出，迪杰斯特拉算法遍历环境中的诸节点，采用贪心策略，每次扩展一个节点，遍历结束可得起点到其余各点的最短路径。A*算法在迪杰斯特拉算法的基础上进行了改进，在节点扩展时加入启发式规则，使得模型可以更快地收敛。虽然A*算法在诸多领域得到了诸多应用，但A*算法的应用场景局限在离散空间内。人工势场法则模拟物理学中的电力势场，在智能体与障碍之间设置斥力，智能体与目标之间设置引力，智能体沿着合力方向到达目标位置。势场法可以完成连续空间的路径规划，然而各种场景的施力大小配比只能人工协调，最优配置难以求得，这种问题在复杂环境中尤为严重。……