双向DIAL 的多智能体交流

樊敏风，洪居亭

（四川大学电子信息学院，成都610065）

0 引言

沟通、交流是智能的一个基本方面，它可以使得智能体能够作为一个群体而不是个体的集合。在现实世界中，交流对于执行复杂的任务至关重要，因为在现实世界中，每个参与者的能力和世界的可见度都是有限的。在多智能体场景中，智能体如果要进行有效地协同、合作，它们就需要学会沟通、交流，来达成一致的协议。交流的目的之一是智能体之间共享部分观察，相邻的智能体可以更容易地相互理解；其次，相邻智能体之间可以更容易地完成协作决策；最后，所有智能体共享一个策略网络，这就意味着相邻智能体可能有类似的行为，但交流可以增加其策略的多样性。在任何部分可观察的环境中，智能体之间的交流对于协调每个智能体的行为至关重要，而控制每个智能体的模型通常是通过强化学习来实现的[2]。多个智能体在通过各自的观察之后，可以相互合作，经过不断地向环境学习，逐渐接近最终的集体目标。多个智能体在环境中感知和行动问题的目的是最大限度地利用它们的共享效用，在这些环境中要想解决任务所需的共享信息问题，智能体不仅要具备交流能力，还必须发现，学会通信协议。

智能体如何能利用深度强化学习的方法来自动发现通信协议，学会它们需要的通信协议来协调它们的行为呢？本文针对这些问题提出一些方案：首先，提出了一组需要交流的多智能体基准测试任务（开关谜语游戏[3]）；……