基于机器视觉的两自由度机械臂智能控制器*

刘志立，宋昌林，李军民，刘 涛

(西华大学机械工程学院，成都 610039)

0 引言

机械臂的控制一直是智能机器人控制中的重要问题和热点问题。目前对于机械臂的控制理论和方法已有较为深入的研究[1-2]，但是这些方法依赖于环境的先验知识与机械臂的数学模型。早期的基于视觉的机器人是将图像进行图像处理后，从图像中得到机器人或者目标的位置，以此来达到智能控制和闭环控制的效果[3-6]。例如Kragic D等使用基于单目和双目视觉开发的闭环视觉算法实现了从目标识别到位姿估计的步骤是完全自动的[5]。然而这些算法大多针对特定的任务，需要环境的先验知识和机械臂的数学模型，由此开发的控制器无法做到自主地从图像中学习到有效的知识来优化控制效果。

强化学习可以实现学习复杂的机器人动作的方法，只需要对机器人的动作进行奖励或者惩罚[7-9]，这样就让智能体重要信息时选择能够获得最大奖励的策略。而采集智能体与其环境交互的图像，这图像中具有丰富的信息，基于这个思想文献[10]开发了基于DQN算法的游戏智能控制器进行游戏运动控制。DQN使用了深度卷积神经网络(CNN)来逼近q值函数，它将原始像素即时信息直接映射到动作，不需要预先的图像处理提取特征信息。唯一的一件事就是让算法通过一遍又一遍地玩游戏来改善策略。实验结果表明智能控制器学会了玩49款不同的雅达利2600游戏并达到了人类玩家的控制水平[11-12]。……