统计回归模型及其优化算法综述

方升，梁飞豹，刘勇进

(福州大学数学与统计学院，福建 福州 350108)

0 引言

由于正则化回归模型可以用于变量选择、 参数估计和预测，因此，其为当今处理高维数据的一种重要手段. 在过去的数十年中，高维回归分析有着持续可观的进展，具有代表性的统计模型有Lasso[1]、 Dantzig选择器[2]，以及具有优异统计特性的凹正则项如SCAD[3]、 MCP[4]和截断l1[5]等. 其中，因平方损失函数优良的数学特性，正则化最小二乘回归模型得到了广泛的应用. 但是，正则化最小二乘回归模型对于随机误差服从非正态分布的情况并不具有鲁棒性. 鲁棒回归模型，如分位数回归模型(如最小绝对离差回归)，可以用于处理误差服从重尾分布的高维数据的情况. 历年来，学者在如何提高正则化回归模型的参数估计的准确性、 确保回归模型的鲁棒性、 降低变量估计的错误发现率和提高模型问题的计算效率等方面都有显著的进展. 更多关于正则化回归模型的综述可参考文献[6-7]. 针对大规模数据下的正则化回归模型问题的优化算法[8-9]和算法软件包也不断涌现，相应的优化理论也得到不断完善和发展，无论是计算简便的一阶算法[10]，如交替方向乘子法，还是近年来不断崛起的二阶算法，如半光滑牛顿增广拉格朗日方法等，在求解大规模优化问题上都有良好的数值表现. 本研究主要回顾一些经典的正则化回归模型，并对历年来的优化算法进行了简要的综述.

1 正则项与优化算法

稀疏估计是……