基于深度强化学习的密集物体温度优先推抓方法*

陈 满, 李茂军, 胡建文, 赖志强, 李俊日

(长沙理工大学 电气与信息工程学院,湖南 长沙 410114)

0 引 言

机器人的抓取在冶金、钢铁和原子能等工业中有着广泛的应用。上述工业中的抓取对象常具有形状不规则、危险系数高(高温、强辐射等)、密集堆叠等特性;有时还需优先考虑温度因素,即抓取动作需有温度优先性(在抓取过程中最大程度地优先抓取高温物体,以降低对设备与环境的危害)。这里重点考虑形状不规则、密集堆叠,需要优先考虑温度因素的动作场景,提出了一种基于深度强化学习的密集物体温度优先推抓(high-temperature priority pushing and grasping method for dense objects,TPG)方法,提高了抓取完成率和抓取成功率,并且具有优先抓取温度较高物体的能力。

1 相关研究

机器人抓取的主要方法有基于模型方法和无模型的数据驱动方法。传统的基于模型方法主要包括有Sanz P J提出的接触面建模法,通过对机器人和抓取对象的接触面进行力学建模来完成抓取操作[1],这类方法难以应用于非结构化场景。随着机器学习的发展,无模型的数据驱动方法成为了热门研究方向,主要思路是提取对象的特征,建立特征和机器人关节或末端执行器之间的映射关系,无需建立物理模型便可完成抓取任务,Zeng A等人使用全卷积网络(fully convolutional network,FCN)提取对象的特征并指导机器人抓取物体[2]。基于深度强化学习(deep reinforcement learning,DRL)的抓取方法也是一种数据驱动方法,在机器人抓取方面取得了出色的成果,Zeng A等人首次将推动和抓取动作进行联合处理,提出了基于DRL的推抓方法,得到了更好的抓取效果[3]。……