多智能体强化学习博弈训练方式研究综述

张人文,赖 俊,陈希亮

(陆军工程大学 指挥控制工程学院,江苏 南京 210007)

0 引 言

近年来,强化学习(Reinforcement Learning)[1]逐渐成为人工智能的热门研究领域。智能体(Agent)通过采取不同的动作(Action)与环境进行交互[2],改变自身状态(State),并获得奖励(Reward)。通过引导智能体获得更大收益的方式驱使智能体进行学习,完成任务。2017年,以强化学习算法为核心的AlphaGo战胜围棋世界冠军李世石,引发人们的广泛关注。随着研究深入,更符合现实需求的多智能体强化学习(Multi-agent Reinforcement Learning)获得人们重视,已在决策支持、智能推荐、即时战略游戏等领域取得进展。

博弈训练方式的运用为强化学习技术进一步赋能。采用种群训练的“FTW agent”[3]在《雷神之锤III竞技场》中达到人类玩家水平;采用联盟训练的AlphaStar[4]在《星际2》中战胜人类顶尖玩家;采用自我博弈训练的OpenAI Five[5]在《Dota 2》中战胜世界冠军,在即时战略游戏中击败世界冠军。

该文对多智能体强化学习基本理论、博弈基本理论、多智能体强化学习博弈训练方式分类、关键问题和前景展望进行综述。其中第二节对强化学习基本理论、博弈基本理论进行简要阐述;第三节结合多智能体博弈训练研究成果应用对典型博弈训练算法进行分类及介绍;第四节分析博弈训练的关键问题及挑战;第五节简要介绍现有部分多智能体强化学习博弈训练平台;最后对多智能体强化学习博弈训练的发展前景及展望进行讨论。

1 基本理论

本节对强化学习及博弈论的概念进行阐述,介绍博弈求解方式发展历程及博弈训练的基本含义。……