改进目标收益函数的无人机集群空地对抗模型

王尔申，郭 靖，宏 晨，肖明明，刘 畅，曲萍萍

（1.沈阳航空航天大学电子信息工程学院，沈阳 110136；2.沈阳航空航天大学辽宁通用航空研究院，沈阳 110136；3.北京联合大学多智能体系统研究中心，北京 100101；4.北京联合大学北京市信息服务工程重点实验室，北京100101；5.北京联合大学机器人学院，北京 100101；6.北京联合大学智慧城市学院，北京 100101）

近年来，智能集群技术已成为无人机（Unmanned aerial vehicle，UAV）技术的发展热点，直接催生了一种新的无人机作战模式——无人机集群作战［1］。集群作战的理论基础是群体智能。就像飞机的灵感来自于飞鸟，雷达的灵感产生自蝙蝠，集群技术的灵感来源于蜂群，蚁群，狼群等群居自然生物。集群内部分工明确，每个个体遵循简单的行为和规则，不需要核心个体的统一调度，便能自发地形成一个有机整体，实现复杂而强大的系统功能［2］。无人机集群对抗中，每个作战个体可以根据作战场景中双方的态势不断学习，并自动调整自身的行为以应对各种复杂战场态势［3］。

无人机集群对抗模型的研究发展主要有空空对抗和空地对抗2个方面。在空空对抗方面，Zohdi等引入短程与长程作用力，提出基于“点-质量群”的机械力学模型模拟蜂群行为，建立一种离散multi-agent模型去模拟无人机集群对抗博弈行为［4-6］；陈灿等根据多智能体强化学习（Multi agent reinforcement learning，MARL）的集中式训练分布式执行（Centralized training with decentralized execution，CTDE）范式，在Actor-Critic框架下建立无人机集群对抗博弈模型［7］；罗德林等引入多Agent系统、态势评估和空战对抗等理念，为每个无人机建立独立的Agent，设计相应的决策方法，以此建立无人机集群对抗模型［8］；……