求解无约束优化问题的Aitken加速算法

谢亚君 ,姚 洁 ,马昌凤

(1.福州外语外贸学院理工学院,福建福州 350202;2.福建师范大学 数学与信息学院,福建福州 350007)

§1 引言

基于Neculai[1]的工作,本文提出一种求解如下无约束优化问题

的Aitken加速方法,其中f ∈Rn→R为连续可微的函数.

至今为止,无约束优化问题的求解已获得广泛关注,并取得丰硕的研究成果(见[2-6]),其中,包括共轭梯度法(见[7]),牛顿法与拟牛顿法等(见[8-12]).虽然牛顿法具有二阶收敛速度的优势,但是需要计算二阶导数.因此在求解大规模问题时,该方法往往因为计算代价过高而变得不再适用.同时当Hessian阵非正定时,无法保证所产生的方向是目标函数的下降方向.尤其是当Hessian阵奇异时,算法无法继续循环迭代.修正牛顿法可在一定程度上克服此缺陷,然而修正参数的选取较难把握,对收敛速度亦有较大影响.众所周知,拟牛顿法可以避免这些缺点,在迭代过程中不需要计算目标函数的Hessian阵,却在某种意义下具有Hessian阵的作用,因此该方法在相关领域得到广泛的应用.例如,均衡问题,神经网络,激光检测,非线性方程组等(见[13-16]).

假设x0为某个初值点.求解问题(1)的迭代格式有如下表达式

其中αk是由某种线搜索,例如Wolfe或Armijo线搜索获得的步长,dk表示搜索方向.通常对问题(1)的迭代求解格式有两个主要切入点,一个是针对步长因子αk进行合理设计,另一个是考虑有效地选取较优的搜索方向dk.详细可参看文献[17-20].

牛顿法是通过求解如下方程得到牛顿搜索方向dk,

其中Gk,gk分别表示函数f在点……