基于深度强化学习的机械臂自适应阀门旋拧方法研究

李新茂，刘满禄，王基生，周祺杰

（1.西南科技大学 制造科学与工程学院，绵阳 621000；2.西南科技大学 信息工程学院，绵阳 621000；3.中国科学技术大学信息科学技术学院，合肥 230026）

0 引言

在以核应急处理处置、核退役等为代表的危险环境作业中，采用机器人进行远程作业已经被国际社会广泛认可[1]。针对危险环境下的阀门旋拧作业，传统的示教或编程的控制方法的任务适应性差；人工远程操作亦存在误操作风险。

针对阀门旋拧作业，国内外学者已经提出了不同的研究策略。使用传统控制方法，令人形机器人能够执行阀门旋拧任务[2～4]。Ahmadzadeh S R[5]等人在阀门旋拧阶段基于力/运动混合控制策略，并采用一种反应决策系统来克服操作过程中的干扰和不确定因素。邢宏军[6]通过设计专门夹持器并采用基于阻抗控制的主动柔顺控制方法克服了阀门旋拧任务中的旋拧侧向力问题和轴向位移问题。Fares J等人[7]提出了一种从示例学习的框架，用于检索时变刚度轮廓，使机器人在阀门操作任务中具有较好的反应。各学者提出的以上方法能够完成特定的作业任务，但是存在一些问题：1）适应性差，无法自适应地应对未知环境可能存在多类型阀门；2）需要针对性设计专门的夹持装置，才能够有效开展工作；3）针对典型问题的建模较为复杂。

深度强化学习（Deep Reinforcement Learning，DRL）具有很好的环境适应性和自我优化的特点，在其他应用研究中已经取得了一定的成果，如抓取、开门、折叠衣物[8～11]等等。研究表明，通过分析任务、分解基本动作，利用DRL能够很好地学习拟合复杂的最优控制策略。……