一种深度强化学习的机械臂控制方法

姬周珂，徐巧玉，王军委，李坤鹏

(1. 河南科技大学 机电工程学院，河南 洛阳 471003；2. 洛阳银杏科技有限公司，河南 洛阳 471003)

0 引言

目前，随着工业领域大型装备使用需求的增多，液压机械臂广泛应用于重型工件及设备的运输装卸等任务中，但由于液压机械臂内部结构复杂、质量大、体积大，其控制易受到惯性、摩擦等因素的影响，因此液压机械臂的精确控制问题亟需解决[1-3]。

深度强化学习算法具备自主学习的特点，目前许多研究者基于深度强化学习对机械臂进行控制研究[4-9]。文献[10]提出了一种基于深度Q学习(deep-Q learning，DQN)算法的机械臂控制策略，采用了引导式DQN算法的控制策略，为了提高算法训练效率，在低精度要求的机械臂抓取任务中训练。文献[11]采用信赖域策略优化(trust region policy optimization，TRPO)算法对UR5机械臂进行到达目标点训练，训练到了一定的末端控制精度，但没有往更高精度进行探索。文献[12]基于归一化优势函数(normalized advantage function，NAF)算法在机械臂开门任务中训练，提高了机械臂到达门把手的准确度，但需要多个机械臂协同工作来促进算法收敛。文献[13]基于深度确定性策略梯度(deep deterministic policy gradient，DDPG)算法设计复合奖励函数来促进算法收敛，提高了机械臂在固定目标点抓取的精度，不足的是每个目标点需要分别进行训练。综上所述，目前深度强化学习机械臂控制算法在多个目标的精确控制方面研究较浅，在兼顾收敛速度和控制精度方面依然存在一定难度。

针对上述问题，本文提出了一种基于深度强化学习的机械臂控制方法。……