基于BB步长的近端随机递归动量算法

2024-02-13 12:25:16钱玉香
北华大学学报(自然科学版) 2024年1期
关键词:定义优化实验

钱玉香,赵 勇,杨 帆

(重庆交通大学数学与统计学院,重庆 400074)

0 引 言

本文考虑如下的复合优化问题:

minx∈dΨ(x)=f(x)+g(x) ,

(1)

为了有效求解复合优化问题(1),国内外学者提出了诸多高效的算法。FUKUSHIMA等[3]提出的近端梯度下降(ProxGD)算法是解决该类问题的一种经典算法,其主要迭代步骤为:

xt=proxηg(xt-1-η∇f(xt-1)) ,

其中η>0为步长。当样本数据非常大时,ProxGD算法每一步的计算成本都非常昂贵。因此,GHADIMI[4]用随机梯度代替全梯度,提出了近端随机梯度下降(ProxSGD)算法。但随机采样的方式引入了随机误差,限制了该算法的收敛速度。XIAO和ZHANG[5]提出了一种近端随机方差缩减(ProxSVRG)算法来提高ProxSGD算法的收敛速度。NGUYEN等[6]提出了一种近端随机递归梯度(ProxSARAH)算法并达到了相同的效果。此外,CUTKOSKY和ORABONA[7]提出了一种随机递归动量(STORM)算法求解非凸优化问题,该算法结合动量递归技术和自适应步长来实现方差缩减的效果。WANG和WEN[8]将动量递归技术与近端梯度算法结合,提出了求解非凸非光滑复合优化问题的近端随机递归动量(ProxSTORM)算法。

众所周知,步长是影响梯度类算法收敛速度的一个关键因素。在大多数随机算法中,通常采用两种步长策略:1)固定步长,需要手动调整参数以达到最佳性能;2)衰减步长,但是当迭代接近最小值时,可能会降低算法性能。为了解决这一问题,TAN等[9]将Barzilai-Borwein(BB)步长[10]应用到SVRG中,提出了SVRG-BB 算法求解强凸优化问题,并且通过数值实验验证了SVRG-BB算法具有良好的算法性能,可以达到与使用最佳步长的SVRG算法相同甚至更好的效果。YANG等[11]将BB 步长与mS2GD算法结合,提出mS2GD-BB算法,并证明了mS2GD-BB算法对于非光滑强凸目标函数在期望意义下是线性收敛的。为……

登录APP查看全文

猜你喜欢
定义优化实验
记一次有趣的实验
超限高层建筑结构设计与优化思考
房地产导刊(2022年5期)2022-06-01 06:20:14
民用建筑防烟排烟设计优化探讨
关于优化消防安全告知承诺的一些思考
一道优化题的几何解法
做个怪怪长实验
NO与NO2相互转化实验的改进
实践十号上的19项实验
太空探索(2016年5期)2016-07-12 15:17:55
成功的定义
山东青年(2016年1期)2016-02-28 14:25:25
修辞学的重大定义
当代修辞学(2014年3期)2014-01-21 02:30:44