基于两级注意力机制的多智能体合作方法研究

姜成怡

四川大学 电子信息学院 四川 成都 610065

引言

近年来，一系列经典的深度强化学习算法[1]被研究者们相继提出，并在许多控制任务中取得了重大成功。2017年，Open AI团队提出了一种经典的多智能体深度强化学习算法，称作MADDPG[2]，MADDPG的重要贡献是提出了一种中心化训练-去中心化执行（Centralized Training And Decentralized Execution,CTDE）的训练框架。采用CTDE训练时，每个智能体在训练过程中对群体中其他智能体始终保持着等同的关注。

事实上，在真实世界里，智能体并不需要一直关注其他所有智能体的信息，而应该动态地关注有利于完成群体任务的高相关智能体的信息。2019年，Iqba S等人提出了MAAC算法[3]，他们用全连接神经网络来编码每个智能体的观测和动作，然后通过自注意力机制[4]计算出其他智能体编码信息的相关性大小，达到动态关注高相关智能体的效果。但是，MAAC算法忽视了每个智能体的观测是多种信息的组合，包括自身的速度、位置、与其他智能体的相对位置等，直接用全连接神经网络进行编码同样意味着等同地利用观测中的每一种信息。但事实上，每个智能体的观测中，每种信息对当前智能体的策略评估都具有不同的相关性。因此，MAAC算法存在误判智能体编码信息相关性大小的风险，这会导致群体学到一个次优的协同策略。

针对该问题，本文提出了一种具有两级注意力机制的训练架构。在MAAC训练架构的基础上，用一种参数量更少的自注意力模型来重构其编码模块，最后在合作导航场景中验证了本文的算法具有显著的性能优势。……