基于分层强化学习的联合作战仿真作战决策算法*

于博文，吕 明，张 捷

（南京理工大学，南京 210094）

0 引言

随着作战装备的发展，以及军事仿真技术的不断完善，针对协同作战的仿真建模已经成为指挥与控制（Command and Control，C2）领域的重要研究方向，是决定战争胜负走向的主要影响因素［1］。目前大多数指控研究主要集中在基础作战单元的仿真研究上，其目标明确、基础行为模型建模相对较为简单，从微观层面上描述实体的作战行为［2-6］。而针对宏观层面的战役指控仿真研究相对较少，其主要关注的对象从单个作战实体变为多个作战实体，需要对战场态势信息进行综合考虑，如敌我双方兵力部署、战场环境等。真实战场中信息跨域特性明显，信息维度较高，如何高效地处理战场态势信息一直以来都是仿真作战研究领域的重点及难点。

随着人工智能的迅速发展，未来战争中的作战体系自主能力会跨越式地提升，战场态势信息的获取和应对速度将会成为左右战局的决定性因素［7］。近年来，人工智能技术在围棋、星际争霸等领域取得了重大突破，同时也表明了强化学习、人工神经网络等技术应用于指控建模的可行性。指控与人工智能结合将会成为指控领域的重要研究方向。基于此，结合战场的实际情况，本文提出了一种基于分层强化学习的联合作战仿真作战决策算法，以空地一体化联合作战为背景，分析了武器装备体系作战决策流程，采用“分而治之”的策略，将整个战场的作战决策分为宏观的战役决策和微观的战术决策，通过决策模型实现自主作战决策，最后，通过自主开发的仿真平台对其可行性及性能进行验证，为联合作战中指挥决策的适应性机制问题提供较为有效的解决方法。……