基于PPO的机械臂控制研究方法

郭坤　武曲　张义

摘要：目前应用于机械臂控制中有许多不同的算法，如传统的自适应PD控制、模糊自适应控制等，这些大多需要基于数学模型。也有基于强化学习的控制方法，如：DQN（Deep Q Network）、Sarsa等。但这些强化学习算法在连续高维的动作空间中存在学习效率不高、回报奖励设置困难、控制效果不佳等问题。论文对基于PPO（Proximal Policy Optimization近端策略优化）算法实现任意位置的机械臂抓取应用进行研究，并将实验数据与Actor-Critic（演员-评论家）算法的进行对比，验证了使用PPO算法的控制效果良好，学习效率较高且稳定。

关键词：强化学习;机械臂;近端策略优化算法;Actor-Critic算法;离线学习

中图分类号： TP301        文献标识码：A

文章编号：1009-3044（2021）04-0222-04

Abstract： In manipulator control， there are many different control methods， such as traditional adaptive PD control and fuzzy adaptive control， which are mostly based on mathematical models. There are also control methods based on reinforcement learning， such as DQN （Deep Q Network）， Sarsa， etc. However， these reinforcement learning algorithms have some problems such as low learning efficiency， difficulty in setting rewards， and poor control effect in the continuous high-dimensional action space. According to Proximal Policy Optimization algorithm， the application of robot arm grasping at any position is studied， and the experimental data is compared with actor-critic algorithm， which proves that the PPO algorithm has good control effect， high learning efficiency and stability.

Key words： reinforcement learning; robot manipulator; proximal strategy optimization algorithm; Actor - Critic algorithm; offline learning

目前在機器学习领域，根据学习系统与环境交互方式的不同，机器学习大致上可分为三种学习方法——强化学习、监督学习、无监督学习[1]。在基于行为的智能机器人控制系统中，机器人是否能够根据环境的变化进行有效的行为选择是提高机器人的自主性的关键问题[2]。随着信息技术的发展，以强化学习为代表的智能算法以其自适应特性越来越多运用于机器人控制领域[3，4]。其中机械臂控制作为机器人控制的重要模块发展迅速，深度强化学习（DRL）的出现使得机械臂具备了自主学习能力[5]，解决了机械臂只能通过固定程序完成任务，在复杂高维的环境中无法自适应训练学习的问题。

在深度强化学习中，典型的优化策略有深度Q网络（DQN）[6] 、深度SARSA（State Action Reward State Action）[7]和彩虹（Rainbow）[8]等。这些方法多用来处理离散动作低维度的问题，无法应用于机械臂抓取这类连续动作。……