基于迭代稀疏组套索及SVM的高维分类研究

潘雪航

摘 要：高维数据存在大量的冗余变量和噪声，传统的分类方法在高维情况下通常效果不佳。为提高分类性能，将迭代稀疏组套索和支持向量机结合，提出了一种新的高维分类方法iSGL-SVM。分别在prostate和Tox_171数据集上验证了所提出的方法，并与其它三种方法进行比较。实验结果表明，该方法具有更好的变量选择效果和较高的分类精度，可广泛应用于高维小样本数据集的分类。

关键词：迭代稀疏组套索;支持向量机;高维分类;变量选择

中图分类号：O212      文献标识码：A

Abstract：There are a lot of redundant variables and noise in high-dimensional data， and traditional classification methods usually do not work well in high-dimensional situations. In order to improve the classification performance， the iterative sparse group lasso is combined with support vector machine， and a new high-dimensional classification method iSGL-SVM is proposed. The proposed method was verified on the prostate and Tox_171 datasets respectivelyand compared with the other three methods. The experimental results showed that the method has better variable selection effects and higher classification accuracy， which can be widely used for classification of high-dimensional small sample datasets.

Key words：iterative sparse group lasso; support vector machine; high-dimensional classification; variable selection

近年来，机器学习、生物信息学等各领域都出现了高维数据，并且已經很大程度上超过了以往的规模。如何从高维数据中提取重要信息，获得特征子集来进行数据分析一直是学者们面临的挑战。

通常情况下，高维数据包含成千上万个变量和少量样本，即p>>n，同时存在大量的冗余变量和噪声。在进行分类时，分类模型的性能依赖于选择合适的特征变量，同时去除不相关的特征变量。通过剔除冗余变量，能够带来更低的过拟合风险，更少模型的复杂性（因此提高了泛化能力）以及更低的计算成本[1]。因此，从高维小样本数据中去除冗余变量和选择相关变量可以提高分类模型的学习效率和分类准确率，从而有效地预测和制定政策。通常，在数万个变量中，只有一小部分变量起到关键性作用。换句话说，大多数变量与数据分类无关，这产生了噪声和降低了分类准确性。从机器学习的角度来看，变量太多总是会导致过拟合，对分类产生负面影响。……