一类混合的DL-WYL共轭梯度法

李 月

(重庆师范大学 数学科学学院，重庆 401331)

0 引 言

考虑无约束优化问题:

minf(x),x∈Rn

(1)

其中，f:Rn→R是连续可微的。

共轭梯度法在求解问题式(1)中起着重要的作用，它的一般迭代格式如下:

xk+1=xk+αkdk

(2)

(3)

其中gk=▽f(xk),βk是共轭参数,αk是步长,本文采用强Wolfe条件式(4)(5)计算αk:

(4)

(5)

其中0<δ<σ<1,dk表示搜索方向。

βk的不同代表不同的方法，经典的共轭梯度法为HS[1]，PRP[2]，DY[3]方法，其βk分别为

则有：

其中常数t>0，sk-1=xk-xk-1。

2012年,Dai[6]提出了一类修正的WYL共轭梯度法,其共轭参数βk为

其中μ>2。

其中μ>2。

1 一类修正的LHSDL共轭梯度法

其中t>0，更多类似方法请参见文献[10-12]。

其中μ>2。

(6)

2 LHSDL算法

第一步计算步长αk>0,使其满足式(4)和式(5)。

第四步置k=k+1,转第一步。

3 收敛性

首先做如下两个基本假设:

假设A水平集L={x∈Rn:f(x)≤f(x0)}有界，其中x0为算法的初始点。即存在一个常数B>0，使得

(7)

假设B目标函数f(x)在L的N邻域内连续可微，且梯度是Lipschitz连续的，即∀x,y∈N，存在

(8)

(9)

下面证明由LHSDL方法产生的搜索方向dk是充分下降的，即

引理1 如下不等式(10)成立

(10)

(11)

证明首先

由Cauchy-Schwarz不等式可得:

综上可知,式(10)成立，式(11)的详细证明请参见文献[7]。

(12)

证明当k=0时，d0=-g0，则

由强Wolfe条件式(5)可得

意味着

因此

(13)

引理3 假设A，B成立，考虑形如式(2)(3)和式(6)的LHSDL方法,αk由强Wolfe条件计算所得，则LHSDL方法具有性质1。

证明由式(5)可得，

对于非线性共轭梯度法,Dai等[15]提出了以下一般性结论。

引理4 假设A，B成立，考虑形如式(2)(3)的共轭梯度法，其中dk是一个下降方向,αk由强Wolfe条件计算所得。若

(14)

则有

则dk≠0且

证明假设dk≠0，否则充分下降性条件式(12)不成立,故uk的定义是有意义的。此外,由引理4和式(13),有

其中

特别地,定义

(15)

uk=ωk+δkuk-1

(16)

由δk≥0和式(16)，则

根据强Wolfe条件式(5)可得

(17)

因此

再由vk的定义，式(7)，式(9)和式(17)可得

因此

证毕。

设N*为正整数集合,由λ>0以及正整数Δ，记