非线性优化问题中的共轭梯度法研究综述

杨 雪，李 锋

(云南师范大学 数学学院，云南 昆明 650500)

优化问题与我们的工作和生活息息相关，比如每个公司都需要考虑“在一定成本下，如何使利润最大化或者损失最小化”的问题，此时，可以利用最优化方法去解决类似的实际优化问题．而优化问题存在有约束条件和无约束条件两种情况，也可将其称之为有约束优化和无约束优化．在处理实际问题时，通常会将有约束优化问题转变为无约束优化问题求解．因此，无约束优化一直是优化问题的研究重点．对于无约束优化问题，若目标函数连续可微，则可以利用最速下降法、牛顿法、拟牛顿法、共轭梯度法等方法对函数进行求解．这些方法都是利用目标函数的导数信息，然后采取一定的迭代格式求出目标函数的最优值[1]．

在上述方法中，最简单的方法是最速下降法，但其面对一些复杂的问题时会受到锯齿现象的影响导致收敛速度很慢．牛顿法和拟牛顿法的优势是收敛速度快，但由于其需要计算和储存矩阵且搜索方向的求解复杂，为大规模优化问题的求解增加了难度[2]．而共轭梯度法在计算时仅需求目标函数的一阶导数，且与最速下降法相比提高了收敛速度，同时又避免了牛顿法对存储空间的要求和求解Hesse矩阵及其逆矩阵的缺点．基于上述原因，在处理实际问题时共轭梯度法受到人们的广泛喜爱．

随着大数据时代的来临，亟须对海量数据进行分析应用，于是对大规模……