稀疏多元逻辑回归问题优化算法研究

雷大江，杜 萌，李智星，吴 渝

(1.重庆邮电大学 计算机科学与技术学院，重庆 400065；2.重庆邮电大学 软件工程学院，重庆 400065；3.重庆邮电大学 网络智能研究所，重庆 400065)

0 引 言

逻辑回归算法(logistic regression, LR)作为一种经典的分类算法，被广泛应用于诸如医学检测、地质测量、文本分类等领域。它针对二分类问题被提出，用于估计事件发生的可能性，例如某用户购买某商品的可能性，某病人患有某种疾病的可能性等。它是一种线性的分类算法，具有求解速度快、预测结果的可解释性强的特点。同时，由于其实现简单，在大规模数据的分类学习算法中也有不错的表现，因此，在学术界和工业界都有广泛的应用。然而，直接使用原始逻辑回归进行求解容易产生过拟合现象，更常见的做法是引入正则项。正则化逻辑回归，尤其是l1正则化逻辑回归，也称作稀疏逻辑回归(sparse logistic regression, SLR)，SLR是近几年的研究热点[1-3]。使用正则化模型可以防止过拟合，有着重要的研究意义。此外，由于l1正则可以产生稀疏解，在高维数据处理中具有优势。

传统逻辑回归无法直接应用于多分类问题，通常有2类方法可以将逻辑回归拓展到多分类：①将k分类问题分解为多个二分类问题并采用one-vs-rest或者one-vs-one的策略进行分类[4]；②称为多元逻辑回归(multinomial logistic regression, MLR)，它是逻辑回归模型在多分类问题上的推广。对于多分类问题来说，类别之间通常是互斥的。因此，使用多元逻辑回归相较于逻辑回归通常能得到更高的分类精度[5]。同时，多元逻辑回归只需要训练一次即可，因此，它也具有较快的运行速度[5]。……