基于启发式强化学习的多智能体覆盖问题研究

贺荟霖

（西南交通大学电气工程学院，成都 611756）

0 引言

覆盖问题是研究多智能体系统的重要课题之一，在搜救、清扫、耕种等领域都有着很大的应用价值。覆盖问题理论上需采用移动机器人或是固定传感器，通过物理接触或者传感器感知的方式来遍历目标区域，尽可能满足重复率、完整率、资源消耗这三方面的优化目标[1]。多智能体覆盖问题主要研究如何有效组织多个智能体进行通信、任务分配和协调工作。文献[1]系统阐述了多机器人覆盖问题的定义、分类和应用，指出了该领域前沿的研究和发展方向；文献[2]提出一种新的方法来规划移动机器人的覆盖路径，从点的覆盖引申到区域的覆盖最终实现工作区的全覆盖；文献[3]针对移动传感网络提出了一种自适应控制率来保证避障的同时完成覆盖任务。

本文主要采用强化学习算法实现未知环境下的多智能体覆盖问题，传统强化学习算法的策略搜索方法采用盲目性搜索方式，智能体通过无限次地对策略进行遍历而学习到最优策略，但因此导致了学习速度慢和计算资源消耗大的问题[4]。目前，启发式搜索与强化学习算法已经得到了一定的结合，成为一种重要的加速学习的手段，比如文献[5]采用启发函数H来指导智能体的动作选择，首先提出一种启发式强化学习算法（Heuristically Accelerated Q-Learning，HAQL）来加速 Q学习收敛，该算法将学习过程分为结构提取和反向传播启发两个阶段，有效加速了强化学习的学习速度。……