基于强化学习的四旋翼无人机控制律设计

梁 晨，刘小雄，张兴旺，黄剑雄

(西北工业大学 自动化学院, 西安 710072)

0 引言

近些年来随着科技的提升，旋翼无人机行业发展迅猛，应用场景越来越广阔，由于四旋翼具有可垂直起降、低成本和结构简单的特性，因此在公共安全、民用航拍、消防急救、农业植保以及军事领域具有十分广泛的用途。目前四旋翼无人机正在朝着易携带、多功能和更加安全高效的方向发展。

由于四旋翼是典型欠驱动非线性强耦合系统[1]，四旋翼的速度和位置控制都依赖于姿态的控制，因此四旋翼的姿态控制一直是研究的热点之一[2-4]。然而四旋翼在飞行过程中容易受到环境的干扰，旋翼桨叶之间的气动干扰，存在电机快速旋转时产生的陀螺力矩以及旋翼质量分布不均等问题，这使得对四旋翼的精确建模尤为困难，从而导致依赖精确建模的传统控制算法[5]难以达到控制要求。

强化学习又称为增强学习，自从20世纪初便被提出来了，经过将近一个多世纪的发展，强化学习与心理学、智能控制、优化理论、计算智能、认知科学等学科有着密切的联系，是一个典型的多学科交叉领域。近些年来，得益于高速计算机、深度学习以及大数据技术的发展，强化学习得到了越来越广泛的关注，尤其是深度强化学习技术，被学术界认为是最有可能实现人工智能的算法，已经成为最受学者们关注的前沿技术之一。

2016年AlphaGo成功战胜了人类顶级棋手，使得深度强化学习得到了广泛的关注，之后的AlphaGo Zero，更是使得强化学习技术成为人工智能领域最热门的技术之一。……