非线性多输入系统的近似动态规划H∞控制

吕永峰 ,田建艳 ,菅 垄 ,任雪梅

(1.太原理工大学电气与动力工程学院,山西太原 030024;2.北京理工大学自动化学院,北京 100081)

1 引言

近似动态规划方法(approximate dynamic programming,ADP)作为一种新型有效的最优控制求解方法,已经得到了广泛的研究[1–2].在强化学习(reinforcement learning,RL)算法的基础上,Werbos[3]首次提出近似动态规划方法用于求解离散时间系统的最优控制问题.近年来,这种方法得到进一步的发展,可以近似地求解连续系统的动态规划最优控制问题,为未知非线性系统实时在线的最优控制求解提供了一种有效的解决方案[4–6].但是现有基于近似动态规划的研究大多只用于求解无扰动系统的最优控制[7–10]或最优跟踪控制问题[11–15],也得到许多推广应用研究[16–17],比如制导[16],电网能源管理控制[18]等.

在实际工程中,系统通常会受到未知干扰,需要设计H∞控制器,它可以看作是一个两人零和博弈模型[19–21],这一问题在过去几年得到广泛的研究[22].学者们提出许多控制方案[19,23–24]通过获得预定性能指标的鞍点获得线性和非线性系统的H∞控制.一般来说,H∞控制器需要求解非线性系统的Hamilton–Jacobi–Isaacs(HJI)方程和线性系统的代数黎卡提方程[25].然而,由非线性系统导出的HJI方程是一个非线性偏微分方程,当系统较大时会出现“维数灾难”问题而难以求解[26].为了解决这一难题,学者们应用近似动态规划方法学习H∞控制[27].张等[28]、Abu Khalaf等[29]利用离线迭代强化学习算法得到H∞控制器;文献[19]提出在线同步强化学习算法解决这一问题.然而,这些方法要求系统动态完……