基于强化学习的六足机器人动态避障研究*

董星宇， 唐开强， 傅汇乔, 留沧海， 蒋 刚

(1.西南科技大学 制造科学与工程学院，四川 绵阳 621000；2.南京大学 工程管理学院 控制与系统工程系，江苏 南京 210093；3.制造过程测试技术省部共建教育部重点实验室，四川 绵阳 621000；4.成都理工大学 核技术与自动化工程学院，四川 成都 610059)

0 引 言

地震救援机器人需要在非结构环境下实现救援搜索任务，六足机器人在复杂环境下行走高效，且具有较好的稳定性，是未来救援机器人的一大选择[1]。地震救援环境复杂,且震后易发生余震，救援环境由静态变为动态，机器人需要拥有动态避障能力。传统的移动机器人动态避障常用人工势场法、快速扩展随机树和动态窗口法等方法[2～4]。但是传统的动态避障方法，移动机器人需要依赖地图信息，不能在未知、动态、复杂环境下通过自身的传感器与环境交互进行避障决策。

近年来,由于深度学习(deep learning,DL)与强化学习(reinforcement learning,RL)得到国内外专家的广泛研究，涌现出大量基于深度强化学习(deep reinforcement learning,DRL)的机器人避障的研究成果。文献[5]提出对无人驾驶船舶在未知环境干扰下的深度强化学习避障算法。文献[6]提出了一种基于深度增强学习的AGV移动机器人，创建了一个移动机器人避障和导航模型。但传统深度强化学习即深度Q学习网络(deep Q-learning network，DQN)易出现收敛速度慢，算法偏差变大，难以收敛到最优动作状态值，而降低机器人动态避障的效果。

在不依靠环境信息的情况下，本文研究将六足机器人上的激光测距仪采集距离数据作为双重深度强化学习即双重DQN(double DQN,DDQN)的输入项，将速度与行进方向作为单片机控制输出，将每个时刻采集的传感器数据整合作为马尔可夫状态空间。……