深度确定性策略梯度算法用于无人飞行器控制

黄旭,柳嘉润,*,贾晨辉,王昭磊,张隽

1. 北京航天自动控制研究所,北京 100854

2. 宇航智能控制技术国家级重点实验室,北京 100854

智能无人飞行器是由无人机、导弹等无人平台及其有关设备组成的有机整体,具有感知、学习、决策等智能特征[1]。小型无人飞行器由于其经济性、可重复使用等特点,常以原型机的形式来进行相关智能技术的测试和验证,如美国国防部高级研究计划局(DARPA)变外形飞行器项目中用来验证变形翼的MFX-1飞行器[2]。

对于小型无人飞行器,其飞行控制系统主要由制导控制外环以及姿态控制内环组成,起到保持飞行器飞行稳定和快速精确地到达飞行目标等关键性作用。此类飞行器一般建模存在偏差并且是典型的复杂非线性系统,这些无疑都给其飞行控制系统的设计增加了难度。除此之外,飞行器在飞行过程中也会受到如切变风的外部不确定性干扰。为了有效解决此类问题,各国研究人员在基于模型的控制方法上进行了大量的研究工作：从经典的PID控制,到自适应控制[3]、滑模变结构控制[4]、鲁棒容错控制[5]、动态逆控制[6]和模型预测控制[7]等。然而随着被控对象复杂程度的增加、控制精度要求的提高、对对象和环境知识的减少,迫切需要提高控制系统的自适应学习能力以及鲁棒性等[8]。

随着人工智能技术的发展,近20年一类数据驱动的即基于强化学习的飞行控制方法进入了控制科学领域研究学者的视野。强化学习可以使智能体不断与环境进行交互,从数据中学习相应的飞行控制策略,而无需对模型进行如约束简化等处理。……