一种求解稀疏逻辑回归问题的不精确邻近拟牛顿算法

杨 娅, 肖 斌, 胡清洁

(1.桂林电子科技大学 数学与计算科学学院,广西 桂林 541004;2.郑州商学院 通识教育中心,郑州 451200)

逻辑回归是一种针对二分类问题提出来的特殊的非线性回归模型,主要用于解决分类问题,在医学监测、文本分类等领域具有广泛应用。其中稀疏逻辑回归,也被称为l1正则化逻辑回归,是具有稀疏约束的经典逻辑回归模型,在神经网络[1-2]、深度学习[3]和生物信息学[4]等领域有着广泛的应用。

稀疏逻辑回归问题的数学模型表示为为平均逻辑损失函数;λ‖x‖1为l1正则化函数,λ>0。这个问题的输入数据是1个训练数据点集(a i,b i)∈Rn×{-1,1},i=1,2,…,N,N>0。由于问题(1)中的l1正则项可以产生稀疏解,从而在高维数据处理中占有显著优势,因此成为近些年来研究的热点。目前求解稀疏逻辑回归问题的算法有很多,例如快速迭代收缩阈值算法[5]、快速自适应收缩阈值算法[6]、交替方向乘子法[7]、邻近梯度算法[8]、邻近拟牛顿算法[8]等。

在利用邻近拟牛顿法求解问题(1)时,需要计算邻近算子[8],但在很多实际问题中,邻近算子问题无明显的解析解,或者有解析解但精确求解时计算量很大,所以很多情况下需考虑近似求解邻近算子。因此,针对问题(1),提出了求解该问题的不精确加速邻近拟牛顿算法,并给出相关收敛速度分析和数值实验。

1 不精确加速邻近拟牛顿算法

首先给出F(x)在点y的复合二次近似:

为在第k次迭代时计算出的不精确邻近算子的值。

基于Scheinberg等[8]提出的加速邻近拟牛顿算法,给出如下不精确加速邻近拟牛顿算法。