基于深度强化学习的巡飞弹突防控制决策

高昂，董志明，叶红兵，宋敬华，郭齐胜

(1.陆军装甲兵学院 演训中心，北京 100072；2.湘南学院，湖南 郴州 423099)

0 引言

按照全域机动，全域力量投送，创造领域优势，确保行动自由的“多域战”作战理念，巡飞弹这种飞航式智能弹药成为军事领域的重要发展方向[1-3]。巡飞弹如何在动态对抗环境中有效规避威胁、提高生存力是其执行作战任务成功与否的关键[4-5]。目前，巡飞弹航迹规划方法主要分为基于知识、推理、规划，仿生优化，学习3类方法[6]。第1类方法缺乏探索及发现框架之外新知识能力；第2类方法适用于求解旅行商这类静态环境下的路径规划问题，难以应用于动态对抗、决策实时性要求较高的环境；深度强化学习(DRL)属于第3类方法，DRL可以突破专家先验知识的限制，直接从高维战场空间中感知信息，并通过与环境不断交互优化模型。目前，采用DRL方法进行飞行器航迹规划的工作并不多。文献[7]在航迹终端约束条件下，基于DRL实现无人机从终端附近任意位置向目标点自主机动；文献[8]在城市环境中，基于DRL实现无人机从静态障碍物中通过，并到达指定目标区域。尽管飞行器控制在自主化方面已经取得了一定进展，但上述方法仍需要在更复杂的环境下进行进一步测试，例如动态环境中的航迹规划对飞行器来说仍然具有挑战性。本文考虑了存在潜在敌人威胁条件下，飞行器自主航迹规划问题，其难点在于飞行器在完成任务之前，并不知道威胁的数量、位置、策略，因此，必须学习一个合适的策略来对动态环境做出反应。……