基于对偶随机投影的线性核支持向量机

席 茜，张凤琴，李小青，管 桦，陈桂茸，王梦非

(空军工程大学 信息与导航学院，西安710077)

基于对偶随机投影的线性核支持向量机

席 茜*，张凤琴，李小青，管 桦，陈桂茸，王梦非

(空军工程大学 信息与导航学院，西安710077)

(*通信作者电子邮箱245594320@qq.com)

针对大型支持向量机(SVM)经随机投影特征降维后分类精度下降的问题，结合对偶恢复理论，提出了面向大规模分类问题的基于对偶随机投影的线性核支持向量机(drp-LSVM)。首先，分析论证了drp-LSVM相关几何性质，证明了在保持与基于随机投影降维的支持向量机(rp-LSVM)相近几何优势的同时，其划分超平面更接近于用全部数据训练得到的原始分类器。然后，针对提出的drp-LSVM快速求解问题，改进了传统的序列最小优化(SMO)算法，设计了基于改进SMO算法的drp-LSVM分类器。最后实验结果表明，drp-LSVM在继承rp-LSVM优点的同时，减小了分类误差，提高了训练精度，并且各项性能评价更接近于用原始数据训练得到的分类器；设计的基于改进SMO算法的分类器不但可以减少内存消耗，同时可以拥有较高的训练精度。

机器学习；支持向量机；随机投影；序列最小优化算法；降维

0 引言

支持向量机(Support Vector Machine, SVM)在1995年由Cortes等[1]首次提出，由于其拥有擅长处理小样本、非线性数据、高维模式识别的特点，并在一定程度下避免了“维数灾难”，所以基于SVM的分类器在文本分类领域中有着广泛的应用，在处理高维数据分类问题时也独占优势。与此同时应用于大型SVM的特征降维方法也成为研究热点。近年来，随机近似算法在大规模机器学习中应用广泛，其中随机投影(Random Projections, RP)方法可以快速有效地解决高维数据的降维问题，用以减少相关优化问题的计算代价。……