随机特征上一致中心调节的支持向量机

廖士中，卢玮

天津大学计算机科学与技术学院，天津 300072

随机特征上一致中心调节的支持向量机

廖士中，卢玮

天津大学计算机科学与技术学院，天津 300072

支持向量机（SVM）是最为流行的分类工具，但处理大规模的数据集时，需要大量的内存资源和训练时间，通常在大集群并行环境下才能实现。提出一种新的并行SVM算法，RF-CCASVM，可在有限计算资源上求解大规模SVM。通过随机傅里叶映射，应用低维显示特征映射一致近似高斯核对应的无限维隐式特征映射，从而用线性SVM一致近似高斯核SVM。提出一致中心调节的并行化方法。具体地，将数据集划分成若干子数据集，多个进程并行地在各自的子数据集上独立训练SVM。当各个子数据集上的最优超平面即将求出时，用由各个子集上获得的一致中心解取代当前解，继续在各子集上训练直到一致中心解在各个子集上达到最优。标准数据集的对比实验验证了RF-CCASVM的正确性和有效性。

并行支持向量机；大规模数据集；有限资源；随机傅里叶特征；一致中心调节

1 引言

支持向量机（SVM）[1]是在统计学习理论基础上发展起来的一类重要的学习方法，是目前最为流行的数据挖掘方法。

SVM的本质是求解一个二次凸优化问题。当样本数据规模l较大时，训练SVM的空间复杂性为O(l2)，时间复杂性为O(l3)。在传统PC机上已经无法求解大规模SVM学习问题，因而基于计算机集群、超级计算机并行环境下的并行SVM方法应运而生。

现有并行SVM可分为两类。一类是对已有的串行SVM算法进行并行化。……