间歇过程最优迭代学习控制的发展:从基于模型到数据驱动

池荣虎 侯忠生 黄彪

化学工业是世界经济的重要部分,可将原材料转换成70000多种当今高质量生活不可缺少的产品[1].化学工业过程包括连续操作和非连续操作.间歇过程是非连续操作的主要方式,适于小批量生产,更具有灵活性,成为精细化产品生产的理想方式[2],已广泛用于城市污水处理[3]、纸浆造纸[4]、半导体工业[5]、医药生物发酵[6]、工业结晶过程[7]等.

间歇过程的控制与连续过程不同,主要在于两方面:1)间歇过程没有稳态操作点,设定点和控制信号是时变的;2)间歇过程是在有限时间上重复运行的,具有两个相互独立的变量,运行时间t和运行次数k.独立变量k提供了实现控制目标的额外自由度.因此,间歇过程的控制策略可分为两大类:一类是在线控制策略,例如基于PID或更复杂控制技术的反馈控制[8],以及用于产品终端控制的模型预测控制(Model prediction control,MPC)方法[9].另外一类是基于重复学习的迭代学习控制[10−12]和用于产品终端输出控制Run-to-run控制[13−15].近年来,也有文献[16−18]采用终端迭代学习控制策略处理间歇过程产品终端质量控制问题.

迭代学习控制(Iterative learning control,ILC)最早是由Arimoto等[19]提出的,针对重复运行的被控系统,不断重复一个相同轨迹的控制尝试,利用前一次或前几次操作时测得的误差信息和控制输入信息修正当前操作的控制输入,使该重复任务在该次操作中做得更好,最终实现在整个时间区间上,系统的输出完全跟踪上期望轨迹.近年来,间歇过程的迭代学习控制逐渐成为研究热点.Lee等[20−21]提出了基于反馈的学习控制策略,并考虑了滤波技术来增强对建模误差和随机扰动的鲁棒性.Liu等[22]基于间歇过程的2D模型提出了一种鲁棒闭环ILC方法,在线性矩阵不等式约束下建立了保证闭环ILC系统鲁棒稳定性的充分条件.文献[23−25]提出了基于设定点迭代学习的PID控制策略,得到了鲁棒渐近收敛的充分条件.文献[26]提出了一种PD-型迭代学习控制用于生物反应器,并采用了模糊方法计算控制增益.文献[27−30]为间歇过程设计了多种鲁棒ILC控制策略.时滞问题广泛存在于工业间歇过程中,对许多控制系统的稳定性和控制性能都造成了破坏.因此,时滞系统的ILC设计问题引起了学者的关注[31−32],如文献[31]提出了输入时滞的时变不确定间歇过程的鲁棒迭代学习控制方法,给出了2D状态预测器对系统状态进行预测,以此补偿输入延迟的影响.

需要说明的是,传统的PID-型迭代学习控制方法的优点在于需要模型信息少,结构简单,易于实现.然而,问题在于学习增益固定不变,在适应被控系统变化和外界扰动等不确定性方面的能力相对较弱,并且在实际应用中很难选取合适的学习增益.尽管[26]讨论了利用模糊规则计算学习增益的方法,但模糊规则的选择本身就是非常困难的.

迭代学习控制很容易与其他控制方法相结合,产生新的控制策略.例如,文献[33]在迭代学习控制任务中引入了自适应机制,提出了基于能量函数设计的连续时间系统的自适应迭代学习控制方法.进一步,文献[34−35]将关键引理技术推广到迭代域中,提出了离散时间系统的自适应迭代学习控制策略以及时变参数的迭代辨识方法.迄今,自适应ILC及自适应迭代学习辨识方面的研究已获得很多成功的应用[36−40].限于篇幅,关于这方面的内容和结果不再一一列举.

另一方面,文献[41]基于Lifted技术将被控对象用超向量形式重新描述为关于迭代次数的演变形式,从而可很容易地将最优技术引入到迭代学习控制任务,提出了模最优的迭代学习控制方法.如文献[42]所指出的,在基于二次性能指标的迭代学习控制的研究框架下,各种实际问题,例如受限约束、干扰、量测噪声及模型误差等,都可很容易地作为最优问题的约束条件而被严谨地综合到最优ILC控制器的设计中.另外,最优迭代学习控制具有沿迭代方向的严格单调收敛性,是实际工程应用中最为期望的性质之一.

因此,最优迭代学习控制方法在间歇过程为主的重复运行系统中得到了广泛应用,其理论研究经历了从线性到非线性,从基于模型到数据驱动的发展历程.Moore等[43]提出了一种L1最优鲁棒迭代学习控制方法,处理系统的未知有界扰动问题.Xu等[44]以时间最优和鲁棒性为综合目标,提出了一种新的鲁棒ILC最优设计和收敛性分析方法,给出了收敛速度的理论分析和评估,研究了系统动态如何影响学习性能的问题.文献[45]基于线性时变摄动模型,提出了一种分层ILC方法,用于晶体冷却过程.当控制变量不可测时,文献[46]提出了一种基于递归贝叶斯估计的最优迭代学习控制方法,并将其推广到基于线性化的非线性离散时间系统中.针对系统约束问题,文献[47]提出了基于二次性能指标的鲁棒ILC的线性矩阵不等式方法.文献[48]提出了Pareto迭代学习控制方法,讨论多性能目标的优化问题.文献[49]提出了加速预测最优ILC收敛的方法,给出了两个加速算法和相应的收敛性分析.结果表明该方法可提高预测最优ILC的控制性能.文献[50]基于内模原理,提出了最优ILC控制增益的多目标设计方法.Liu等[51]提出了一种改进的基于最优化指标的迭代学习算法,保证控制信号收敛于系统的线性二次型最优控制解.

由于间歇过程的非线性和有限性特点,很多学者尝试结合模型预测控制方法.文献[52−57]提出了一些基于模型预测控制的迭代学习控制方法.文献[58]结合二次型ILC和间歇模型预测控制技术,提出了一种两阶段算法.

随着社会经济的不断发展,现在工业过程变得越来越复杂,规模越来越大,一些所谓的“硬非线性特性”包括摩擦非线性、饱和非线性、死区非线性、间隙非线性、时滞非线性等,大量存在于实际控制工程中,经常会引起控制系统不期望的性态[59].因此,非线性系统的最优迭代学习控制引起了人们的重视.

非线性系统的最优ILC的设计,首先要对原非线性被控系统进行线性化,得到线性估计模型,在此基础上进行最优ILC的设计和分析.因此,线性化方法是处理非线性控制系统的关键.

在常用的线性化方法中,泰勒展开[60]和分段线性化[61]忽略了高阶项,至多是对原非线性系统的近似;反馈线性化[62]需要精确已知被控系统的非线性结构和参数;正交函数线性化[63]依赖于正交基空间的选取,所得到的线性化模型含有大量不确定参数.因此,尽管文献[64−66]基于非线性系统的线性名义近似模型,讨论了非线性系统的最优迭代学习控制,但所设计的控制器在实际应用中会由于模型失配和系统复杂等问题而遇到困难.

神经网络和模糊规则在近年来的非线性控制系统的研究中非常流行.文献[67]提出了非线性系统的动态模糊推理边界线性化方法.文献[68]提出了基于递归神经网络模型的批ILC策略,用神经网络模拟间歇过程.文献[69]研究了滚筒锅炉汽轮机的非线性模糊模型预测ILC.需要说明的是,在被控系统未知的情况下,如何选择合适的神经网络模型和模糊隶属度函数一直是实际工程应用中的难题.

本质上,上述线性化方法是基于模型的[60−69],显然对应的最优ILC控制器的设计和分析也是基于模型的.所依赖的模型越精确就使得模型本身越复杂,依此所设计的控制器也会更加复杂,从而会使闭环系统的鲁棒性和可靠性降低,使控制系统的实现及应用变得更加困难.并且,控制性能很大程度上依赖于被控系统线性模型的精确程度.如果存在较大模型失配和建模误差,沿迭代轴的单调收敛性将不再保证.另外,为了减小计算负担,大多数最优ILC的学习增益是离线计算的,一旦确定后在后续的迭代过程中将保持不变,从而对被控系统的变化和外界扰动的鲁棒性相对较差.

另一方面,工业过程中每时每刻都产生并储存了大量的数据,蕴含了关于过程运行和设备状态的全部有用信息.因此,在无法获得过程精确模型的情况下,如何利用这些离线或在线的过程数据直接进行控制器设计,提出基于数据驱动的控制方法,具有重要的理论和实际意义[70−75].数据驱动控制[71]指的是控制器的设计和分析中并不显含或隐含地利用被控对象的任何模型信息,如系统矩阵、结构、状态等,而是仅利用系统过程产生的I/O数据.数据驱动控制的目标是在精确数学模型或系统不确定性描述不可获取情况下,充分利用系统的运行数据进行基于数据的控制系统的设计.它与基于模型的控制理论一起成为完整的控制理论不可缺少的两个部分.关于数据驱动控制理论与基于模型的控制理论之间的辩证关系详见文献[70−73].

数据驱动的最优ILC方法的设计和分析的前提也是线性化.与传统的线性化方法[60−69]不同的是,文献[76−78]针对重复运行的非线性生产过程,提出了一种新的迭代动态线性化方法(Iterative dynamic linearization,IDL),这是一种沿迭代批次在有限时间区间上逐点展开的批量线性化方法,建立了原非线性系统完全等价的迭代线性化模型.其优点在于:1)该线性化方法是数据驱动的,是针对未知的非线性系统提出的,不需要原非线性系统的任何模型信息;2)所得到的线性化形式结构简单、参数少,只有原非线性系统的复合函数关于控制输入信号的偏导数需要根据系统的I/O数据进行迭代估计.因此,文献[76−78]所提出的迭代动态线性化方法是数据驱动的、面向控制器设计的,可直接借鉴线性系统的工具和方法进行控制器的设计和分析.

随后,文献[76−78]借鉴线性系统的最优迭代学习控制理论的已有成果,基于上述迭代动态线性化模型,分别提出了数据驱动的最优迭代学习控制(Data-driven optimal ILC,DDOILC)、数据驱动的最优点到点迭代学习控制(Data-driven optimal point-to-point ILC,DDOPTPILC)和数据驱动的最优终端迭代学习控制(Data-driven optimal terminal ILC,DDOTILC)方法.这些方法的设计和分析直接面向未知的非线性系统,利用系统运行所得到的I/O数据,而不需要被控系统的任何建模过程.

需要说明的是,数据驱动的控制方法并不排斥基于模型的控制方法;相反,二者是相辅相成、优势互补的关系.如文献[70−73]所述,现实世界中的实际系统按照对象模型的可获取性可分为:1)机理模型或辨识模型可精确获取;2)机理模型或辨识模型可获取但不精确,含有有限程度的不确定性;3)机理模型或辨识模型可获取,但非常复杂、阶数高、非线性强、时变性强;4)机理模型或辨识模型很难建立,或不可获取.在上述四类被控对象中,已有的基于模型的控制方法只能很好地处理1)和部分2)等的实际对象,另一大半的被控对象则需要采用数据驱动的控制策略.换言之,数据驱动的控制方法可以处理上述所有四类被控对象,但是对于机理清楚的被控过程,基于模型的控制方法会更加可靠并具有更好的控制性能;对难以建立精确数学模型或模型较为复杂的被控过程,数据驱动的控制方法则会更有优势.因此,如何将基于模型的控制方法和数据驱动的控制方法进行有机融合和模块化设计是一个非常重要的研究课题.数据驱动控制方法与基于模型控制方法之间的互补型控制系统设计的部分研究成果可参见文献[79−82].

本文主要以间歇过程作为重复运行系统的控制背景,引出迭代学习控制理论和方法,对其最优迭代学习控制的研究分支的提出和发展历程进行较为详细的综述和分析.目的在于分析和借鉴基于模型的最优ILC方法的现有成果,包括系统的设计和分析工具,尝试在迭代动态线性化的前提下,提出更多适合实际生产需求的数据驱动的最优ILC方法,解决越来越复杂的间歇过程的控制中遇到的建模困难、鲁棒性差等根本难题.在数据驱动的广义最优ILC的综述中,主要以迭代动态线性化为主线,分别回顾和分析了完整轨迹跟踪的最优ILC方法、多中间点跟踪的最优点对点ILC方法以及单个终点跟踪的最优终端ILC方法.论文同时回顾了其他数据驱动的学习控制的最新进展,提出了需要进一步研究的问题前景和方向.

本文结构安排如下:第1节是基于模型的最优ILC的回顾,目的在于明确最优ILC的概念、定义和设计过程,并分析和研究最优ILC的最新进展.第2节主要回顾了非线性重复运行系统的迭代动态线性化方法,作为后面数据驱动最优ILC设计的依据和基础.详细说明和分析了迭代动态线性化方法的特点和用途.第3节是数据驱动广义最优ILC的设计和分析的回顾,包括完整轨迹跟踪、多点跟踪和单个终点跟踪等三种不同的控制任务,分析了数据驱动广义最优ILC的最新发展.第4节是结论和展望,分析了数据驱动的最优ILC的发展方向,提出了一些开放的具有挑战性的研究问题.

1 基于模型的最优迭代学习控制

为了保证实际应用中的控制精度和可靠性,最优迭代学习控制受到越来越多的关注.最早Togai等[83]、Tao等[84]、Gorinevsky等[85]分别提出了利用梯度法、牛顿拉尔逊法和高斯法等最优方法寻找最优学习控制律.Amann等[41]首先基于范数优化原理对迭代学习控制进行了研究.利用超向量技术,对如下有限时间区间上重复运行的线性离散时间系统进行了重新描述.

简单起见,状态空间矩阵A,B,C假设为时不变.通过定义如下两个超向量:

将空间方程写成如下形式:

Amann等[41]提出了如下目标函数:

其中加入了输入变化的惩罚项,使算法沿批次轴具有积分行为.在无其他约束和确定条件下,Amann等得出了非因果的输入更新律

1996年,Lee等[86]根据有限时间上二次最优跟踪问题的求解思想,将上述非因果控制律(4)改写为如下因果形式:

Barton等[87]将基于范数优化的迭代学习控制方法用于多轴机器人,提高了运动轨迹的跟踪性能和鲁棒性.van de Wijdeven等[88]提出了基于线性二次型的最优迭代学习控制在有限时间内的鲁棒单调收敛分析方法.Chu等[49]利用逐次投影方法提高了非最小相位系统的范数优化迭代学习控制算法的跟踪性能和收敛速度.文献[89]证明了上述二次型迭代学习控制可作为输出反馈来实现,以增强系统的鲁棒性.根据这一思想,文献[89−90]提出了模型预测控制(MPC)与迭代学习控制的组合,成为间歇过程研究中的主要方向之一,吸引了很多学者的关注[52−58,91].

当间歇过程的批次扰动和噪声较大时,文献[42]提出了基于观测器的最优学习控制律

其中∆uk=uk−uk−1,K是个滤波增益矩阵.

最近,文献[92]提出一种离散时间迭代学习Kalman滤波方法,将Kalman滤波与迭代学习控制相结合,对系统状态进行估计,为基于观测器的最优迭代学习控制的设计提供了新的思路.

在很多工业过程控制应用中,为了保证安全性,平滑操作等,总需要对过程变量施加以限制.通常,对输入和输出的约束比较普遍,有如下几种形式:

1)对输入值的约束

2)对输入关于时间变化率的限制

3)对输入关于批次变化率的限制

当用连续的线性近似来描述非线性间歇过程时,上述约束条件能够有效地将输入信号限制在线性范围内.

4)对于系统输出,通常增加如下软约束:

文献[42]将这些约束条件转化成如下线性矩阵不等式:

从而,输入输出受限的线性系统的最优迭代学习控制律即为如下性能指标函数在上述约束不等式条件下的可行解

最近,很多学者提出了基于模型预测控制的迭代学习控制[52−57],在最优问题中充分考虑并结合了系统的输入输出约束.进一步,文献[91]提出了多变量约束的间歇过程的迭代学习模型预测控制方法,综合考虑了系统的约束问题、时变问题、外界扰动和随机特征等因素.文献[93]基于间歇过程的二维分段线性化描述,通过线性矩阵不等式求解,提出了一种受限迭代学习控制方法,提高了控制性能.

近年来,多中间关键点跟踪控制和以间歇过程产品质量控制为主的终端跟踪控制的研究成为迭代学习控制的另一个热点问题.文献[94]将基于范数优化的迭代学习控制策略引入到终端跟踪控制任务,提出了最优终端迭代学习控制(Optimal terminal iterative learning control,OTILC)方法.文献[95−97]提出了基于优化的点到点迭代学习控制(Point-to-point iterative learning control,PTPILC)方法,仅跟踪指定的参考点而不是参考轨迹上的所有点.另外,文献[90]讨论了输入输出约束的问题.文献[98]针对线性连续时间系统的多中间关键点的跟踪问题,提出了范数最优迭代学习方法.

最优迭代学习控制的研究中,还有一类基于参数优化的迭代学习控制(Parameter optimal iterative learning control,POILC)方法,由Owens等[99]首先提出,主要目的是为了在保证算法具有单调收敛性的前提下,减少每次迭代时的计算量.文献[100]研究了系统输入输出矩阵的正定性与跟踪误差单调收敛的关系.文献[101]提出了基于逆模型的鲁棒POILC算法.文献[102]研究了梯度下降的鲁棒POILC算法.Owens[103]以多输入多输出线性系统为研究对象,将范数最优和参数最优迭代学习控制算法进行了统一描述,提出了一种新的最优迭代学习控制方法.

近年来,高阶迭代学习控制算法[104−106]也吸引了学者们的广泛关注,可以利用更多以前操作的控制知识,提高系统的控制性能.文献[106]是文献[99]参数优化迭代学习控制的扩展.如果系统是非正定的,可通过在算法中增加合适的基函数,保证跟踪误差单调收敛为零.

由式(5)可以看出,基于超向量技术的范数最优迭代学习控制的输入输出矩阵G的维数不仅跟间歇过程的变量相关,还会随着操作/批次长度而急剧增长,因此控制算法(5)在长时间区间内的执行和计算是非常耗时的,并且需要更多的存储单元.因此,近年来一些学者[107−111]开始研究基于Lifted描述的最优迭代学习控制的高效计算问题.文献[112]提出了一种基于非Lifted描述的最优迭代学习控制方法,在系统输入输出描述中不再使用超向量技术,很大程度上降低了算法的计算复杂度.

如前所述,非线性系统的最优迭代学习控制本质上依赖于对非线性系统的线性化估计的显性表达.例如,贾立等[113]利用神经模糊模型提出了间歇过程无约束迭代学习控制方法.李恒杰等[114]提出基于克隆选择算法的非线性优化迭代学习控制.逄勃等[115]将拟Broyden法和参数优化迭代学习控制方法结合,提出了单调收敛的迭代学习控制算法.

2 数据驱动的迭代动态线性化方法

在实际控制应用中,许多非线性系统模型,例如Hammerstein模型、双线性模型等,都可以表示为如下输入输出的一般非线性递归形式:

其中yk(t)和uk(t)是系统的输出和输入;f(·)是未知的非线性函数且连续可微;ny和nu是两个正整数,分别表示系统输出和输入的阶数,不失一般性,假设nu＜ny;t∈{0,···,N}表示离散时间,N是个正整数表示有限时间区间的终点;k∈{0,1,···,∞}表示迭代次数.

非线性系统的控制器设计和分析本质上都是显式或隐式地利用各种数学技巧,将非线性问题转化为线性或类似线性的问题来处理,数据驱动的最优ILC的研究也不例外.因此,本节主要回顾非线性系统的数据驱动的迭代动态线性化方法,以方便读者阅读,并为后续的数据驱动的最优ILC的分析奠定基础.

在后面讨论中,严格起见,设对所有t＜0,uk(t)=0且yk(t)=0.另外,系统(1)满足如下两个假设.

假设1.系统的初始状态yk(0)在所有迭代中固定不变,即yk(0)=c,∀k∈Z+,其中c是个常数.

假设 2.非线性函数f(·)满足全局Lipschitz条件,即,

注1.假设1是迭代学习控制分析中常用的条件,意味着被控系统在每次运行时都必须从相同位置开始.

因为t∈{0,···,N}是有限的离散时间区间,根据式(9),可以将非线性系统的输出序列重新用初始状态和系统输入逐点描述如下[70−72]:

其中gi(·),i=0,···,N− 1是f(·)的复合函数.

注 2.这里仅需要已知gi(·),i=0,···,N−1的存在性而不需要知道其精确表达.只要f(·)存在,作为其对应的复合函数,gi(·)也一定存在.根据高等数学基础知识,可以知道gi(·)具有和非线性函数f(·)相同的性质,例如连续性、可微性、有界性等.

为描述简单,定义三个向量如下:

那么,考虑所有i=0,···,N−1的情况,由方程(10)可得如下输入输出的向量表达形式

根据注2,可将假设2稍微修改如下.

假设2′.非线性向量值函数g(·) 满足全局 Lipschitz,即,

其中Lx＜∞和Lu＜∞是两个正李普希兹常数.

定理1.对一般非线性离散时间系统(1),在满足假设1和2的条件下,一定存在一个系统非线性关于控制输入的偏导数矩阵Φk,使得非线性系统(1)可转化为如下迭代动态线性形式,

定理1的证明参见文献[76−78].

注3.迭代动态线性化数据模型(12)与原未知非线性系统(9)在输入输出数据行为上是等价的、精确的,没有省略任何高阶项.该迭代动态线性化数据模型是随工作点批次变化而变化的动态模型而非静态近似模型.该数据模型中不包含受控系统的数学模型、阶数、时滞等先验知识.由于系统的所有动力学行为信息都隐含在系统的输入输出数据中,因此该数据模型中没有传统意义下的未建模动态.

注4.迭代动态线性化模型(12)建立了重复动态系统沿迭代轴方向的系统输出变化和输入变化之间的关系,而不是沿时间轴方向的变化关系.形式上,被控系统的时间动态特性似乎是被忽略了,但其实质上是包含在未知梯度信息Φk中.系统本身仍旧是沿时间轴运行,时间动态特性可很容易地由系统的实时状态而反应.未知梯度参数Φk具有迭代-时间二维动态特性,可利用测量的I/O数据进行估计.

注 5.迭代动态线性化方法是数据驱动的,不需要任何关于系统的模型信息,是直接面向控制系统设计的线性化方法.该动态线性化方法获得的数据模型具有模型简单、不丢失任何信息、包含参数少、具有增量形式等特点,是目的于控制系统设计的数据模型,或称为控制器设计模型,而非机理模型.

注6.迭代动态线性化数据模型形式简单,是一种梯度参数线性结构,因此很多基于模型的迭代学习控制的设计技术和分析工具都可以借鉴而提出各种新的数据驱动迭代学习控制方法,例如可以采用自适应技术或最优技术.

注7. 迭代动态线性化是研究数据驱动迭代学习控制理论的最重要工具之一.它提供了基于控制目的而研究系统闭环和开环数据的一种新方法,可认为是系统开环和闭环中数据关系的一种建模,这对未来信息丰富的复杂系统的控制理论是至关重要的.

3 数据驱动的最优迭代学习控制

在工业实际应用中,通常有三类不同的控制任务.第一类控制任务是最普遍的跟踪完整的参考轨迹的任务,要求系统输出必须跟踪整个轨迹上的所有点.第二类任务是跟踪多个中间参考点,仅对指定时刻参考点处的跟踪误差有精度要求,而不是构成完整参考轨迹的所有点.第三类任务的控制目标仅仅是系统运行终端的状态或输出,使其调节以达到期望值.在第二类和第三类控制任务中,有些控制背景中,非指定点处的系统状态和输出可能是不可测的.

对于第二类控制任务,有些学者专门提出了点到点迭代学习控制(PTPILC)方法[94−98],仅利用指定点处的输出误差信息对控制行为进行迭代修正.文献[16−18,94]则针对第三类控制任务提出了终端迭代学习控制(TILC)策略,仅利用了系统运行终点的终端输出误差.

需要注意的是,如果系统状态和输出在所有时刻点均可测,则可以通过设计一条通过指定期望参考点的最优轨迹,以此可将标准的迭代学习控制用于第二和第三类控制任务中,使系统输出跟踪所设计的最优参考轨迹.然而,问题在于通过指定参考点的参考轨迹的设计非常困难,并且当被控系统本身有所变化时,很难保障所设计的参考轨迹仍旧是最优的.

另外,PTPILC和TILC去除了不必要的参考点上的跟踪性能约束限制,可获得额外自由度提高控制性能,例如降低控制能量、加快收敛速度和减少存储单元等.因此,PTPILC和TILC方法是面向实际应用问题提出的,具有重要的意义而不是传统ILC方法的简单推广.

文献[77]针对一类未知的非线性离散时间系统,提出了数据驱动的最优迭代学习控制(DDOILC)以及相应的数据驱动最优点对点迭代学习控制(DDOPTPILC)和数据驱动的最优终端迭代学习控制(DDOTILC)方法,具有完整的设计框架和分析方法,包括迭代动态线性化、压缩映射分析方法、梯度参数估计方法等.

本节主要以数据驱动的迭代动态线性化方法为基础,回顾了数据驱动的广义最优迭代学习控制方法,包括轨迹跟踪任务、多中间点跟踪任务、单终端点跟踪任务,以方便读者较为全面地理解这类具有较完整理论基础的学习控制系统的设计和分析过程.

3.1 完整轨迹跟踪的DDOILC

针对完整轨迹跟踪的控制任务,文献[77]利用最优控制原理提出了一种数据驱动的最优迭代学习控制(DDOILC)方法,由式(13)～(15)构成,

其中λ＞0,µ＞0表示权重因子;ρ ＞0,η∈(0,2)表示步长因子,其加入是为了使算法(13)和(15)更具有一般性且方便收敛性分析;0(t)表示(t)的初值;k(i)表示向量k(t)的第i个元素,i=0,1,···,t;ε是个非常小的正数.

DDOILC方法的收敛性和稳定性定理及证明参见文献[77],并且该方法可很容易地推广到多输入多输出系统.

注8.重置算法(14)是用来增强参数估计算法(16)跟踪迭代变化参数的能力.在选择初值时,要使与ϕk(t)所有元素的符号保持相同.

注9.学习控制律(15)的学习增益是迭代-时间变化的,只需要量测的I/O数据利用估计算法(13)和重置算法(14)获得.

注10.与传统的最优ILC方法相比,DDOILC(13)～(15)称作是数据驱动或基于数据的控制策略.控制器的设计和分析仅依赖于系统的I/O数据,不需要已知任何被控对象的模型信息.但是,数据驱动控制并不意味着要排斥基于模型的控制方法,二者应该是相互补充和辅助的关系.如果已知被控系统的精确线性模型,基于模型的控制方法应该是首选,可充分利用已知的模型信息而实现更好的控制效果.相反,数据驱动的方法则不能利用已知的系统模型信息.文献[77]用精确已知的线性模型作为仿真实例,证明了基于模型的NOILC控制性能要优于DDOILC.

注11.尽管DDOILC方法不论是在学习控制器的形式上还是在基于压缩映射方法的收敛性分析上,都与传统的PID-型迭代学习控制极为相似,但是DDOILC的学习增益是迭代变化的且能利用所测量的实时I/O数据进行迭代整定.因此,DDOILC在处理不确定性方面要优于传统的PID型ILC.

注12.DDOILC与传统的最优ILC也非常相似.二者都是基于最优二次性能指标而设计的,都可实现沿迭代方向的单调收敛性.然而,DDOILC是针对未知非线性系统提出的,而不是精确已知的线性系统.因此,DDOILC是数据驱动的方法,传统的最优ILC是基于模型的方法.

注13.由注11和注12中的分析可知,基于压缩映射的PID型ILC和基于目标函数的最优ILC都可以被看作是DDOILC的特例,并且DDOILC在处理强非线性、高不确定性、迭代变化扰动等问题时,可实现更好的控制性能.文献[116]已通过仿真结果证实,当系统的模型扰动较大时,应用基于模型的OILC方法,跟踪误差的收敛性将不再保证,甚至发散.而DDOILC方法在系统模型出现大的变化时,仍能保障跟踪误差的收敛性.

3.2 多中间点跟踪的DDOPTPILC

对点到点跟踪任务,假设在系统运行的有限时间区间{1,2,···,N}上,仅在指定点{t1,t2,···,tM}处,要求系统输出跟踪期望值yd(t1),yd(t2),···,yd(tM).

在指定点{t1,t2,···,tM}处,系统的输出可重新表述为[77]:

其中m=1,···,M.

其中λ＞0,µ＞0表示权重因子;ρ＞0,η∈(0,2)表示步长因子;m=1,···,M;ε是个很小的正数;的估计;的初值;表示的第i个元素.

注 14.与 DDOILC(13)～(15)相比,DDOPTPILC(18)～(20)仅利用在指定时刻点的误差信息,从而可用于系统输出仅在指定时刻点可测的控制背景,并且由于去除了不必要点上的跟踪性能约束,可一定程度上加快收敛速度、降低控制能量、减少存储单元.这在文献[77]仿真中已经得到验证.

3.3 终端点跟踪的DDOTILC

终端迭代学习控制的目标是系统运行终端的状态或终端输出,而不是跟踪整个轨迹.换句话说,寻找合适的控制输入序列使得系统的终端输出yk(N)在系统运行终点跟踪期望值yd,当迭代次数k趋于无穷时,终端跟踪误差ek(N)=yd−yk(N)收敛于0.

系统运行终点的终端输出可重新表示为[76−77],

其中yk(N)表示系统在迭代运行终点的输出.

类似地,终端迭代动态线性化形式为[76−77]对于单个点的终端跟踪任务,文献[77]给出了一种数据驱动的最优终端迭代学习控制(DDOTILC)方法:

其中λ＞0,µ＞0表示权重因子;ρ＞0,η∈(0,2)表示步长因子;ε是个很小的正常数;0(N−1)表示k(N−1)的初始估计值.

注15.DDOTILC(23)～(25)算法中仅利用了系统运行终点的终端输出跟踪误差,去掉了在其他点上不必要的限制,从而可提高控制性能.如文献[77]所示,不论在收敛速度、控制能量和收敛精度上都优于DDOILC方法.

3.4 DDOILC的关键问题和应用研究

DDOILC方法应用中遇到的一些重要问题,如随机初始条件、高阶控制律、控制性能的增强、迭代变化参考轨迹等,也在最近的一些文献中进行了充分研究.

在实际间歇过程的应用中,产品的质量要求会根据市场、用户等需求而作调整,因此期望轨迹并不是在所有操作中都保持相同.文献[117]首先考虑了随迭代变化的期望参考点,提出了数据驱动的自适应最优终端ILC方法,但跟踪误差的收敛性分析仍旧依赖于相同初始条件的假设.由于定位精度、量测精度以及状态扰动等原因,相同初始条件在实际中很难满足,很大程度上阻碍了DDOILC的应用.因此,文献[118−119]和文献[120]分别用神经网络和高阶内模来近似逼近随机迭代变化的初始条件对系统运行终端输出的影响,并用于控制器设计作为补偿,其中期望轨迹和初始状态都是随迭代次数变化的.文献[121]则直接将随机初始状态作为未知参数进行迭代估计,得到了跟踪误差的有界收敛性.

文献[78]针对终端迭代学习控制任务,研究了当系统状态额输出在终端点以外的时刻点均不可测时,如何利用更多的控制信息来提高控制性能,提出了增强的数据驱动终端迭代学习控制方法.高阶迭代学习控制律因为能够利用更多以前操作中获得的控制信息实现更好的控制性能也受到了重视.文献[122−123]通过改进控制性能指标函数,提出了高阶的数据驱动最优迭代学习控制方法.

关于实际工程应用中经常遇到的输入输出受限问题以及计算复杂度问题,也已在最近的工作中进行了研究,提出了相应的解决方案[116].

DDOILC方法已进行了广泛的实验验证和仿真分析,说明了这些方法的有效性,例如化学间歇过程[76−78,121−123]、快速路交通系统[124−126]、自动列车停车控制[127]等.数据驱动的迭代学习控制将成为以间歇过程为主的、越来越复杂、规模越来越大的执行重复生产的工业控制的主要方法,有着广泛的理论研究前景和潜在的应用价值.

3.5 其他数据驱动的学习控制方法

目前,数据驱动的学习控制策略的设计和分析引起了国内外学者的关注.文献[128−129]针对线性时不变系统,借助于有限脉冲响应滤波技术,提出了一种数据驱动的迭代学习控制方法,系统的脉冲响应模型可由以前迭代运行获得的输入输出数据进行估计.系统的控制性能主要依赖于脉冲响应模型的估计精度.如果要严格地保证脉冲响应模型的估计值等于系统输出的真实值,要求被控系统是线性时不变的,且没有量测噪声和其他干扰存在.

文献[130−131]利用迭代学习控制的优点,提出了基于实验随机搜索算法的无模型数据驱动迭代参考输入整定方法,并且考虑了系统的输入输出受限情况,但是控制器的设计和分析也是基于线性时不变系统而提出的,所采用的也是迭代反馈整定的策略.

文献[64]提出了受限非线性系统的模最优ILC的一般形式,模型校正可显性地估计,性能指标函数采用直接最优控制方法进行最小化,由此得到非线性规划问题并给出了该问题的有效求解策略.需要说明的是,控制器的设计和分析是基于非线性系统的线性估计模型进行的.

文献[132]研究了重复脉冲噪声的主动控制方法,基于快速傅里叶变换,提出了未知或时变次级路径信号噪声主动抑制系统的无模型迭代学习控制算法.与基于模型的方法不同,控制器的设计仅依赖于输入输出数据而不需要系统模型的知识.

文献[133]提出了双迭代Q-学习算法,其中内部迭代可以最小化每个周期的总的功率负载指标;外部迭代可以使Q函数迭代地收敛到最优值.

文献[134]在研究混杂控制系统结构时,提出了多输入多输出系统的最优行为预测机制,给出了一种数据驱动无模型迭代学习控制方法,其中闭环反馈控制器采用虚拟参考整定(Virtual reference feedback tuning,VRFT)方法设计,期望的新轨迹可被逼近且最优参考输入可被重置.

4 结论与展望

本文简要回顾了间歇过程的最优迭代学习控制方法,包括基于模型的最优迭代学习控制和数据驱动的最优迭代学习控制,目的在于借鉴前者研究和分析中常用的方法,找到后者研究中可突破的途径.数据驱动的最优迭代学习控制的关键是迭代动态线性化,因此详细讨论了迭代动态线性化的特征和对应控制器的设计.

迭代动态线性化方法仅依赖于被控系统的I/O数据,因此,在迭代动态线性化过程中,没有建模误差,也没有未建模动态,所产生的迭代动态线性化数据模型是完全等价于原非线性系统的,使得在基于模型的控制方法中广泛存在的未建模动态和系统鲁棒性这一矛盾体不再存在.

传统的近似线性化方法或精确线性化在实际中很难实现.相反,迭代动态线性化仅依赖系统的I/O数据即可得到,且数据模型本身是可根据实时I/O数据进行估计和更新的.因此,等价的迭代动态线性化是DDOILC方法的基础,将成为新的分析非线性重复系统的重要工具.

数据驱动最优迭代学习控制或者数据驱动控制[135]方法的目标是直接利用过程数据或由数据中获取的知识来设计控制器,去除基于模型的最优迭代学习控制或基于模型的控制方法中极具挑战性的问题,例如,建模困难性、未建模动态和鲁棒性,最终减小或消除基于模型的控制方法与实际应用之间存在的鸿沟.需要强调的是,数据驱动控制方法并不意味着要排除基于模型的控制方法.相反,如果存在被控对象的可靠的精确线性模型,基于模型的方法则是首选.

基于模型的最优迭代学习控制的研究已经非常成熟,具有系统的理论分析方法.相反,数据驱动的最优迭代学习控制主要是针对不能或难以获得被控系统模型的控制系统的设计方法,其研究还处于起始阶段.为了数据驱动最优迭代学习控制的健康发展,还需要大量的研究工作和努力,并且这些工作也将是极具挑战性的.

4.1 线性系统设计方法和分析工具的引入

从典型控制系统设计方法的本质上讲,非线性系统的最优迭代学习控制设计也是利用某些数学分析的技巧千方百计地利用系统数学模型结构和形式将其受控系统的控制输入变量显式地表述出来,这个过程本质上就是对控制输入的线性化,即,基于模型的最优迭代学习控制方法本质上也是某种线性化的方法.从这个观点上看,数据驱动的与基于模型的最优迭代学习控制的研究和设计思路在本质上是一样的,只是数据驱动的最优迭代学习控制的研究起始于未知非线性重复系统的迭代动态线性化方法.因此,在今后工作中可借鉴更多基于模型的最优迭代学习控制的设计方法和分析工具,以处理工业应用中遇到的更多实际问题,如随机不确定性、分布式系统、协同问题等.

4.2 系统稳定性、收敛性、鲁棒性的分析

因为数据驱动的最优迭代学习控制理论是直接从I/O数据到控制器的,没有基于机理或系统辨识的建模过程,因此,与基于模型的方法不同,其稳定性、收敛性和鲁棒性分析应该也是直接基于I/O数据的.实质上,数据驱动框架下的鲁棒性就是研究系统采样、系统数据测量噪声、数据处理以及数据在传输过程中的丢包、乱码、延时等对已设计的数据驱动控制系统所具有性质的保持程度和影响.大数据环境下,比较有前景的系统稳定性、收敛性、鲁棒性的分析方法可能是基于数据能量有界及压缩映射的方法.

4.3 面向控制的数据处理技术

在线和离线数据都包含了大量有价值的系统动力学知识以及系统运行规律和模式.因此,探讨如何利用系统的I/O数据和系统规律进行数据驱动最优迭代学习控制的设计具有重要意义.所以,面向控制的有效数据处理方法将是非常有前景和重要的研究方向之一.

4.4 基于模型的与数据驱动的最优ILC的综合设计

每个控制方法,不管是基于模型的还是数据驱动的,都具有他们各自的优势和劣势,不能被其他方法完全取代.最直接有效的方法就是让不同的控制方法按照互补的方式一起工作,取长补短.当被控对象机理模型模型较为清楚,且适合于设计控制器时,显然基于模型的最优ILC方法的控制性能、可靠性等性质都是占优的.相反,如果被控对象的机理模型存在很大不确定性,且对外界的扰动等因素变化较为敏感,那么基于数据驱动的最优ILC方法则更为适合.因此,如何定量地描述基于模型的控制策略对系统外界不确定性的抑制程度,如何确定基于模型的控制策略和数据驱动的控制策略之间相互切换的有效机制,实现控制系统的可靠性和控制精度等全方面的改进,也将是今后研究的热点方向和挑战性问题.

1 Bonvin D.Control and optimization of batch processes.IEEE Control Systems,2006,26(6):34−45

2 Tomazi K,Linninger A A,Daniel J R.Batch processing industries.Batch Processes.Boca Raton,FL:CRC Press,2006.7−39

3 Tchobanoglous G,Burton F G,Stensel H D.Wastewater Engineering:Treatment and Reuse.New York:McGraw-Hill,2003.

4 Young R A,Akhtar M.Environmentally Friendly Technologies for the Pulp and Paper Industry.New York:Wiley,1998.

5 Mazurek J,Ashford N A.Making Microchips:Policy,Globalization,and Economic Restructuring in the Semiconductor Industry.Cambridge,MA:MIT Press,1998.

6 McCormick K.Manufacturing in Global Pharmaceutical Industry.London:Urch,2003.

7 Myerson A S.Handbook of Industrial Crystallization.London,UK:Butterworths-Heinemann,2001.

8 Seborg D E,Edgar T F,Mellichamp D A.Process Dynamics and Control.New York:Wiley,2004.

9 Nagy Z K,Braatz R D.Robust nonlinear model predictive control of batch processes.AIChE Journal,2003,49(7):1776−1786

10 Moore K L.Iterative Learning Control for Deterministic Systems.London,UK:Springer-Verlag,1993.

11 Sun Hai-Qiao.Research on robust iterative learning control applied to batch process[Master dissertation],Jiangnan University,China,2014.(孙海乔.间歇过程的鲁棒迭代学习控制研究[硕士学位论文],江南大学,中国,2014.)

12 Wang Jing,Wang Yue,Wang Wei,Cao Liu-Lin,Jin Qi-Bing.Adaptive iterative learning control based on unfalsified strategy applied in batch process.Journal of Central South University(Science and Technology),2015,46(4):1318−1325(王晶,王玥,王伟,曹柳林,靳其兵.基于去伪策略的间歇过程自适应迭代学习.中南大学学报 (自然科学版),2015,46(4):1318−1325)

13 Fran¸cois G,Srinivasan B,Bonvin D.Use of measurements for enforcing the necessary conditions of optimality in the presence of constraints and uncertainty.Journal of Process Control,2005,15(6):701−712

14 Del Castillo E,Hurwitz A M.Run-to-run process control:literature review and extensions.Journal of Quality Technology,1997,29(2):184−196

15 Sachs E,Guo R S,Ha S,Hu A.Process control system for VLSI fabrication.IEEE Transactions on Semiconductor Manufacturing,1991,4(2):134−144

16 Xu J X,Chen Y Q,Lee T H,Yamamoto S.Terminal iterative learning control with an application to RTPCVD thickness control.Automatica,1999,35(9):1535−1542

17 Flores-Cerrillo J,MacGregor J F.Iterative learning control for final batch product quality using partial least squares models.Industrial&Engineering Chemistry Research,2005,44(24):9146−9155

18 Gauthier G,Boulet B.Terminal iterative learning control design with singular value decomposition decoupling for thermoforming ovens.In:Proceedings of the 2009 American Control Conference.St.Louis,MO,USA:IEEE,2009.1640−1645

19 Arimoto S,Kawamura S,Miyazaki F.Bettering operation of robots by learning.Journal of Robotic Systems,1984,1(2):123−140

20 Lee K S,Bang S H,Chang K S.Feedback-assisted iterative learning control based on an inverse process model.Journal of Process Control,1994,4(2):77−89

21 Lee K S,Bang S H,Yi S,Son J S,Yoon S C.Iterative learning control of heat-up phase for a batch polymerization reactor.Journal of Process Control,1996,6(4):255−262

22 Liu T,Gao F R.Robust two-dimensional iterative learning control for batch processes with state delay and time-varying uncertainties.Chemical Engineering Science,2010,65(23):6134−6144

23 Wang Y Q,Liu T,Zhao Z.Advanced PI control with simple learning set-point design:application on batch processes and robust stability analysis.Chemical Engineering Science,2012,71:153−165

24 Wang Y Q,Zisser H,Dassau E,Jovanovic L,Doyle III F J.Model predictive control with learning-type set-point:application to arti ficial pancreaticβ-cell.AIChE Journal,2010,56(6):1510−1518

25 Liu T,Wang X Z,Chen J H.Robust PID based indirecttype iterative learning control for batch processes with timevarying uncertainties.Journal of Process Control,2014,24(12):95−106

26 Márquez-Vera M A,Ramos-Velasco L E,Suárez-Cansino,Márquez-Vera C A.Fuzzy iterative learning control applied in a biological reactor using a reduced number of measures.Applied Mathematics and Computation,2014,246:608−618

27 Gao F R,Yang Y,Shao C.Robust iterative learning control with applications to injection molding process.Chemical Engineering Science,2001,56(24):7025−7034

28 Shi J,Gao F R,Wu T J.Robust design of integrated feedback and iterative learning control of a batch process based on a 2D Roesser system.Journal of Process Control,2005,15(8):907−924

29 Shi J,Gao F R,Wu T J.Integrated design and structure analysis of robust iterative learning control system based on a two-dimensional model.Industrial&Engineering Chemistry Research,2005,44(21):8095−8105

30 Shi J,Gao F R,Wu T J.A robust iterative learning control design for batch processes with uncertain perturbation and initialization.AIChE Journal,2006,52(6):2171−2187

31 Hao S L,Liu T,Paszke W,Galkowski K.Robust iterative learning control for batch processes with input delay subject to time-varying uncertainties.IET Control Theory&Applications,2016,10(15):1904−1915

32 Tan K K,Zhao S,Huang S N,Lee T H,Tay A.A new repetitive control for LTI systems with input delay.Journal of Process Control,2009,19(4):711−716

33 Xu J X,Xu J.On iterative learning from different tracking tasks in the presence of time-varying uncertainties.IEEE Transactions on Systems,Man,and Cybernetics,Part B,Cybernetics,2004,34(1):589−597

34 Sun M X,He X X.Iterative learning identi fication and control of discrete time-varying systems.In:Proceedings of the 2017 Chinese Control Conference.Zhangjiajie,Hunan,China:IEEE,2017.520−524

35 Chi R H,Hou Z S,Xu J X.Adaptive ILC for a class of discrete-time systems with iteration-varying trajectory and random initial condition.Automatica,2008,44(8):2207−2213

36 Tayebi A.Adaptive iterative learning control for robot manipulators.Automatica,2004,40(7):1195−1203

37 Sun M X,Ge S S.Adaptive repetitive control for a class of nonlinearly parametrized systems.IEEE Transactions on Automatic Control,2006,51(10):1684−1688

38 Li X D,Xiao T F,Zheng H X.Adaptive discrete-time iterative learning control for non-linear multiple input multiple output systems with iteration-varying initial error and reference trajectory.IET Control Theory&Applications,2011,5(9):1131−1139

39 Yan W L,Sun M X.adaptive iterative learning control of discrete-time varying systems with unknown control directions.International Journal of Adaptive Control and Signal Processing,2013,27(4):340−348

40 Chi R H,Hou Z S,Jin S T.A data-driven adaptive ILC for a class of nonlinear discrete-time systems with random initial states and iteration-varying target trajectory.Journal of the Franklin Institute,2015,352(6):2407−2424

41 Amann N,Owens D H,Rogers E.Iterative learning control for discrete-time systems with exponential rate of convergence.IEE Proceedings-Control Theory and Applications,1996,143(2):217−224

42 Lee J H,Lee K S,Kim W C.Model-based iterative learning control with a quadratic criterion for time-varying linear systems.Automatica,2000,36(5):641−657

43 Moore K L,Verwoerd M H A.l1-optimal robust iterative learning controller design.In:Proceedings of the 2008 American Control Conference.Seattle,WA,USA:IEEE,2008.3881−3886

44 Xu J X,Tan Y.Robust optimal design and convergence properties analysis of iterative learning control approaches.Automatica,2002,38(11):1867−1880

45 Sanzida N,Nagy Z K.Iterative learning control for the systematic design of supersaturation controlled batch cooling crystallisation processes.Computers&Chemical Engineering,2013,59:111−121

46 Axelsson P,Karlsson R,Norrlf M.Estimation-based normoptimal iterative learning control.Systems&Control Letters,2014,73:76−80

47 Nguyen D H,Banjerdpongchai D.An LMI approach for robust iterative learning control with quadratic performance criterion.Journal of Process Control,2009,19(6):1054−1060

48 Lim I,Barton K L.Pareto iterative learning control:optimized control for multiple performance objectives.Control Engineering Practice,2014,26(1):125−135

49 Chu B,Owens D H.Accelerated norm-optimal iterative learning control algorithms using successive projection.International Journal of Control,2009,82(8):1469−1484

50 Tousain R,van der Meche E,Bosgra O.Design strategy for iterative learning control based on optimal control.In:Proceedings of the 40th IEEE Conference on Decision and Control.Orlando,FL,USA:IEEE,2001,5:4463−4468

51 Liu Shan,Wu Tie-Jun.Iterative learning control based on optimization criterion.In:Proceedings of the 4th World Congress on Intelligent Control and Automation.Shanghai,China,2002.621−625(刘山,吴铁军.基于最优化指标的迭代学习控制.第四届全球智能控制与自动化大会(WCICA002).上海,2002.621−625)

52 Chen C,Xiong Z H,Zhong Y S.Design and analysis of integrated predictive iterative learning control for batch process based on two-dimensional system theory.Chinese Journal of Chemical Engineering,2014,22(7):762−768

53 Mishra S,Topcu U,Tomizuka M.Optimization-based constrained iterative learning control.IEEE Transactions on Control Systems Technology,2011,19(6):1613−1621

54 Amann N,Owens D H,Rogers E.Predictive optimal iterative learning control.International Journal of Control,1998,69(2):203−226

55 Lee K S,Chin I S,Lee H J,Lee J H.Model predictive control technique combined with iterative learning for batch processes.AIChE Journal,1999,45(10):2175−2187

56 Wang L P,Freeman C T,Chai S,Rogers E.Predictiverepetitive control with constraints: from design to implementation.Journal of Process Control,2013,23(7):956−967

57 Jin S T,Hou Z S,Chi R H.A novel data-driven terminal iterative learning control with iteration prediction algorithm for a class of discrete-time nonlinear systems.Journal of Applied Mathematics,2014,2014:Article No.307809

58 Chin I,Qin S J,Lee K S,Cho M.A two-stage iterative learning control technique combined with real-time feedback for independent disturbance rejection.Automatica,2004,40(11):1913−1922

59 Slotine J J E,Li W P.Applied Nonlinear Control.Englewood Cliffs,NJ,USA:Prentice Hall,1991.

60 Chen L J,Narendra K S.Identi fication and control of a nonlinear discrete-time system based on its linearization:a uni fied framework.IEEE Transactions on Neural Networks,2004,15(3):663−673

61 Xi Yu-Geng,Wang Fan.Nonlinear multi-model predictive control.Acta Automatica Sinica,1996,22(4):456−461(席裕庚,王凡,非线性系统预测控制的多模型方法,自动化学报,1996,22(4):456−461)

62 Deng H,Li H X,Wu Y H.Feedback-linearization-based neural adaptive control for unknown nonaffine nonlinear discrete-time systems.IEEE Transactions on Neural Networks,2008,19(9):1615−1625

63 Dumont G A,Fu Y.Non-linear adaptive control via laguerre expansion of volterra kernels.International Journal of Adaptive Control and Signal Processing,1993,7(5):367−382

64 Volckaert M,Diehl M,Swevers J.Generalization of norm optimal ILC for nonlinear systems with constraints.Mechanical Systems and Signal Processing,2013,39(1−2):280−296

65 Yan Qiu-Zhen,Sun Ming-Xuan.Suboptimal learning control for nonlinear systems with both parametric and nonparametric uncertainties.Acta Automatica Sinica,2015,41(9):1659−1668(严求真,孙明轩.非线性不确定系统准最优学习控制.自动化学报,2015,41(9):1659−1668)

66 Endelt B.Design strategy for optimal iterative learning control applied on a deep drawing process.The International Journal of Advanced Manufacturing Technology,2017,88(1):3−18

67 Wang D G,Song W Y,Shi P,Li H X.Approximation to a class of non-autonomous systems by dynamic fuzzy inference marginal linearization method.Information Sciences,2013,245:197−217

68 Xiong Z H,Zhang J.A batch-to-batch iterative optimal control strategy based on recurrent neural network models.Journal of Process Control,2005,15(1):11−21

69 Liu X J,Kong X B.Nonlinear fuzzy model predictive iterative learning control for drum-type boiler-turbine system.Journal of Process Control,2013,23(8):1023−1040

70 Hou Zhong-Sheng,Xu Jian-Xin.On data-driven control theory:the state of the art and perspective.Acta Automatica Sinica,2009,35(6):650−667(侯忠生,许建新.数据驱动控制理论及方法的回顾和展望.自动化学报,2009,35(6):650−667)

71 Hou Z S,Jin S T.Model Free Adaptive Control:Theory and Applications.New York:CRC Press,2013.

72 Hou Zhong-Sheng.Highlight and perspective on model free adaptive control.Journal of Systems Science and Mathematical Sciences,2014,34(10):1182−1191(侯忠生.再论无模型自适应控制.系统科学与数学,2014,34(10):1182−1191)

73 Hou Z S,Wang Z.From model-based control to data-driven control:survey,classi fication and perspective.Information Sciences,2013,235:3−35

74 Yin S,Li X W,Gao H J,Kaynak O.Data-based techniques focused on modern industry:an overview.IEEE Transactions on Industrial Electronics,2015,62(1):657−667

75 Xu J X,Hou Z S.Notes on data-driven system approaches.Acta Automatica Sinica,2009,35(6):668−675

76 Chi R H,Wang D W,Hou Z S,Jin S T.Data-driven optimal terminal iterative learning control.Journal of Process Control,2012,22(10):2026−2037

77 Chi R H,Hou Z S,Huang B,Jin S T.A uni fied data-driven design framework of optimality-based generalized iterative learning control.Computers&Chemical Engineering,2015,77:10−23

78 Chi R H,Hou Z S,Jin S T,Wang D W,Chien C J.Enhanced data-driven optimal terminal ILC using current iteration control knowledge.IEEE Transactions on Neural Networks and Learning Systems,2015,26(11):2939−2948

79 Roman R C,Radac M B,Precup R E,Petriu E M.Datadriven model-free adaptive control tuned by virtual reference feedback tuning.Acta Polytechnica Hungarica,2016,13(1):83−96

80 Hou Z S,Liu S D,Tian T T.Lazy-learning-based datadriven model-free adaptive predictive control for a class ofdiscrete-timenonlinearsystems.IEEETransactions on Neural Networks and Learning Systems,2016,doi:10.1109/TNNLS.2016.2561702,to be published.

81 Hou Z S,Xu J X,Yan J W.An iterative learning approach for density control of freeway traffic flow via ramp metering.Transportation Research,Part C:Emerging Technologies,2008,16(1):71−97

82 Hou Z S,Xu J X,Zhong H W.Freeway traffic control using iterative learning control-based ramp metering and speed signaling.IEEE Transactions on Vehicular Technology,2007,56(2):466−477

83 Togai M,Yamano O.Analysis and design of an optimal learning control scheme for industrial robots:a discrete system approach.In:Proceedings of the 24th IEEE Conference on Decision and Control.Fort Lauderdale,FL,USA:IEEE,1985.1399−1404

84 Tao K M,Kosut R L,Aral G.Learning feedforward control.In:Proceedings of the 1994 American Control Conference.Baltimore,MD,USA:IEEE,1994,3:2575−2579

85 Gorinevsky D M.Direct learning of feedforward control for manipulator path tracking.In:Proceedings of the 1992 IEEE International Symposium on Intelligent Control.Glasgow,UK:IEEE,1992.42−47

86 Lee K S,Kim W C,Lee J H.Model-based iterative learning control with quadratic criterion for linear batch processes.Journal of Control Automation Systems Engineering,1996,2(3):148−157

87 Barton K L,Alleyne A G.A norm optimal approach to time-varying ILC with application to a multi-axis robotic testbed.IEEE Transactions on Control Systems Technology,2011,19(1):166−180

88 van de Wijdeven J,Donkers T,Bosgra O.Iterative learning control for uncertain systems:robust monotonic convergence analysis.Automatica,2009,45(10):2383−2391

89 Lee K S,Lee J H.Constrained model-based predictive control combined with iterative learning for batch or repetitive processes.In:Proceedings of the 2nd Asian Control Conference.Seoul,Korea:1997.33−36

90 Lee J H,Morari M,Garcia C E.State space interpretation of model predictive control.Automatica,1994,30(4):707−717

91 Oh S K,Lee J M.Iterative learning model predictive control for constrained multivariable control of batch processes.Computers&Chemical Engineering,2016,93:284−292

92 Cao Z X,Lu J Y,Zhang R D,Gao F R.Iterative learning Kalman filter for repetitive processes.Journal of Process Control,2016,46:92−104

93 Liu T,Wang Y Q.A synthetic approach for robust constrained iterative learning control of piecewise affine batch processes.Automatica,2012,48(11):2762−2775

94 Son T D,Ahn H S.Terminal iterative learning control with multiple intermediate pass points.In:Proceedings of the 2011 American Control Conference.San Francisco,CA,USA:IEEE,2011.3651−3656

95 Freeman C T,Cai Z L,Rogers E,Lewin P L.Iterative learning control for multiple point-to-point tracking application.IEEE Transactions on Control Systems Technology,2011,19(3):590−600

96 Freeman C T.Constrained point-to-point iterative learning control with experimental veri fication.Control Engineering Practice,2012,20(5):489−498

97 Son T D,Ahn H S,Moore K L.Iterative learning control in optimal tracking problems with speci fied data points.Automatica,2013,49(5):1465−1472

98 Owens D H,Freeman C T,Van Dinh T.Norm-optimal iterative learning control with intermediate point weighting:theory,algorithms,and experimental evaluation.IEEE Transactions on Control Systems Technology,2013,21(3):999−1007

99 Owens D H,Feng K.Parameter optimization in iterative learning control.International Journal of Control,2003,76(11):1059−1069

101 Harte T J,Htnen J,Owens D H.Discrete-time inverse model-based iterative learning control:stability,monotonicity and robustness.International Journal of Control,2005,78(8):577−586

102 Owens D H,Htnen J J,Daley S.Robust monotone gradient-based discrete-time iterative learning control.International Journal of Robust and Nonlinear Control,2009,19(6):634−661

103 Owens D H.Multivariable norm optimal and parameter optimal iterative learning control:a uni fied formulation.International Journal of Control,2012,85(8):1010−1025

104 Chen Y Q,Gong Z M,Wen C Y.Analysis of a high-order iterative learning control algorithm for uncertain nonlinear systems with state delays.Automatica,1998,34(3):345−353

105 Gunnarsson S,Norrlf M.On the disturbance properties of high order iterative learning control algorithms.Automatica,2006,42(11):2031−2034

107 Hakvoort W B J,Aarts R G K M,van Dijk J,Jonker J B.Lifted system iterative learning control applied to an industrial robot.Control Engineering Practice,2008,16(4):377−391

108 Rice J K,Verhaegen M.A structured matrix approach to efficient calculation of LQG repetitive learning controllers in the lifted setting.International Journal of Control,2010,83(6):1265−1276

109 Hakvoort W B J,Aarts R G K M,van Dijk J,Jonker J B.A computationally efficient algorithm of iterative learning control for discrete-time linear time-varying systems.Automatica,2009,45(12):2925−2929

110 Barton K L,Bristow D A,Alleyne A G.A numerical method for determining monotonicity and convergence rate in iterative learning control.International Journal of Control,2010,83(2):219−226

111 Haber A,Fraanje R,Verhaegen M.Linear computational complexity robust ILC for lifted systems.Automatica,2012,48(6):1102−1110

112 Sun H Q,Alleyne A G.A computationally efficient norm optimal iterative learning control approach for LTV systems.Automatica,2014,50(1):141−148

113 Jia Li, ShiJi-Ping, Qiu Ming-Sen, Yu Jin-Shou.Nonrestraint-iterative learning-based optimal control for batch processes.CIESR Journal,2010,61(8):1889−1894(贾立,施继平,邱铭森,俞金寿.基于无约束迭代学习的间歇生产过程优化控制.化工学报,2010,61(8):1889−1894)

114 Li Heng-Jie,Hao Xiao-Hong,Zeng Xian-Qiang.Clonal selection algorithm based nonlinear optimal iterative learning control.Journal of Jilin University(Engineering and Technology Edition),2010,40(4):1054−1058(李恒杰,郝晓弘,曾贤强.基于克隆选择算法的非线性优化迭代学习控制.吉林大学学报(工学版),2010,40(4):1054−1058)

115 Peng Bo,Shao Cheng.A robust iterative learning control with parameter-optimization for discrete nonlinear systems.Control and Decision,2014,29(3):449−454(逄勃,邵诚.一种参数优化的非线性离散系统鲁棒迭代学习控制方法.控制与决策,2014,29(3):449−454)

116 Chi R H,Liu X H,Zhang R K,Hou Z S,Huang B.Constrained data-driven optimal iterative learning control.Journal of Process Control,2017,55:10−29

117 Chi R H,Wang D W,Lewis F L,Hou Z S,Jin S T.Adaptive terminal ILC for iteration-varying target points.Asian Journal of Control,2015,17(3):952−962

118 Liu T Q,Wang D W,Chi R H.Neural network based terminal iterative learning control for uncertain nonlinear nonaffine systems.International Journal of Adaptive Control and Signal Processing,2015,29(10):1274−1286

119 Liu Y,Chi R H,Hou Z S.Neural network state learning based adaptive terminal ILC for tracking iterationvarying target points.International Journal of Automation and Computing,2015,12(3):266−272

120 Chi R H,Lin N,Zhang R K,Huang B,Feng Y J.Stochastic high-order internal model-based adaptive TILC with random uncertainties in initial states and desired reference points.International Journal of Adaptive Control and Signal Processing,2017,31(5):726−741

121 Chi R H,Huang B,Wang D W,Zhang R K,Feng Y J.Data-driven optimal terminal iterative learning control with initial value dynamic compensation.IET Control Theory&Applications,2016,10(12):1357−1364

122 Chi R H,Liu Y,Hou Z S,Jin S T.Data-driven terminal iterative learning control with high-order learning law for a class of non-linear discrete-time multiple-input-multiple output systems.IET Control Theory&Applications,2015,9(7):1075−1082

123 Chi R H,Liu Y,Hou Z S,Jin S T.High-order datadriven optimal TILC approach for fed-batch processes.The Canadian Journal of Chemical Engineering,2015,93(8):1455−1461

124 Chi R H,Hou Z S.Dual-stage optimal iterative learning control for nonlinear non-affine discrete-time systems.Acta Automatica Sinica,2007,33(10):1061−1065

125 ChiRong-Hu,HouZhong-Sneng,SuiShu-Lin.Nonparameter adaptive iterative learning control for the freeway traffic ramp metering.Control Theory&Applications,2008,25(6):1011−1015(池荣虎,侯忠生,隋树林.快速路入口匝道的非参数自适应学习控制.控制理论与应用,2008,25(6):1011−1015)

126 Jin S T,Hou Z S,Chi R H,Liu X B.Data-driven model-free adaptive iterative learning control for a class of discrete-time nonlinear systems.Control Theory&Applications,2012,29(8):1001−1009

127 Jin S T,Hou Z S,Chi R H.Optimal terminal iterative learning control for the automatic train stop system.Asian Journal of Control,2015,17(5):1992−1999

128 Janssens P,Pipeleers G,Swevers J.Model-free iterative learning control for LTI systems and experimental validation on a linear motor test setup.In:Proceedings of the 2011 American Control Conference(ACC).San Francisco,CA,USA:IEEE,2011.4287−4292

129 Janssens P,Pipeleers G,Swevers J.A data-driven constrained norm-optimal iterative learning control framework for LTI systems.IEEE Transactions on Control Systems Technology,2013,21(2):546−551

130 Rǎdac M B,Precup R E,Petriu E M,Preitl S,Drago¸s C A.Data-driven reference trajectory tracking algorithm and experimental validation.IEEE Transactions on Industrial Informatics,2013,9(4):2327−2336

131 Radac M B,Precup R E.Model-free constrained datadriven iterative reference input tuning algorithm with experimental validation.International Journal of General Systems,2016,45(4):455−476

132 Zhou Y L,Yin Y X,Zhang Q Z,Gan W S.Model-free iterative learning control for repetitive impulsive noise using FFT.In:Proceedings of the 2012 Intentatinal symposium on Neural Networks:Advances in Neural Networks.Berlin,Heidelberg:Springer-Verlag,2012.461−467

133 Wei Q L,Liu D R,Shi G.A novel dual iterativeQ-learning method for optimal battery management in smart residential environments.IEEE Transactions on Industrial Electronics,2015,62(4):2509−2518

134 Radac M B,Precup R E.Optimal behaviour prediction using a primitive-based data-driven model-free iterative learning control approach.Computers in Industry,2015,74:95−109

135 Hou Z S,Chi R H,Gao H J.An overview of dynamiclinearization-based data-driven control and applications.IEEE Transactions on Industrial Electronics,2017,64(5):4076−4090 control,learning control,intelligent traffic systems.Corresponding author of this paper.)