基于策略增益均衡的异构无人机协同决策方法

费思邈，霍 琳，李诗琪

(1.沈阳飞机设计研究所， 沈阳 110035； 2.沈阳航空航天大学， 沈阳 110135)

1 引言

随着经济与科学技术的快速发展，高新技术越来越多的被运用在战争中，作战环境也变得越来越复杂恶劣。具有自主决策能力的无人机，由于不受飞行员的情绪和身体状况的影响,不会因为受到刺激而出现操纵失误,故而在这种变化中更能体现出优越性[1]。

但单个无人机作战能力有限。无人机集群灵活、自主、高效、可扩展，在协同作战时能降低作战成本、减少作战人员伤亡[2]，同时又兼具了单个无人机对飞行员的依赖、环境适应性强的特点，是未来战争的重要发展趋势。从协同拓扑结构上来讲，无人机协同作战分为有中心协同与无中心协同2种。有中心协同把所有无人机看作一个整体，其中的核心决策节点决定每个无人机具体执行何种任务、何种动作，任务分配属于这种协同类型。无中心协同指的是每个无人机节点都看作独立的智能体，智能体本身通过对环境的感知、局部的认知实施决策行为，进而实现群体上的协同。随着单体无人机智能水平的提升，无中心协同以其对通讯的低水平以及高生存力等特点，更有希望实现复杂任务的协同决策。异构无人机的智能协同就是一种非常常见的无中心协同模式。

异构无人机智能协同策略学习的瓶颈主要体现在不同无人机同时决策产生的动作噪声会影响无人机对本机自身动作价值的评价，且随着集群规模的增加，联合动作序列的噪声呈指数增长[3]。……