基于多核学习的风格正则化最小二乘支持向量机*

沈 浩，王士同

1.江南大学数字媒体学院，江苏无锡 214122

2.江南大学江苏省媒体设计与软件技术重点实验室，江苏无锡 214122

1 引言

由于支持向量机[1]（support vector machine，SVM）的提出及其相关理论的发展，核方法成为一种可以有效处理非线性可分数据的方法。由于分类算法的性能很大程度上取决于数据的表示，而核方法利用相对简单的函数运算将样本映射到更高的维度,避免了特征空间的设计以及特征空间中复杂的内积计算，得益于此，核方法被应用到机器学习的众多领域中[2-4]。

然而在一些样本分布不平坦、特征异构或不规则的数据中，仅利用了单个特征空间的单核方法表现不佳；而且由于不同核函数具有各自的特性，即使在相同的应用场合下，使用不同核函数取得的效果可能差别很大，从而使得核函数及其参数的选择对于算法的性能具有重要影响。由于仅使用单个核函数并不能满足一些实际应用场景下的需求，因此产生了将多个核函数进行组合的多核学习方法[5]。

通过多核学习产生的组合可以是同一种核函数取不同参数下的组合，也可以是多个不同种类核函数的组合[6]。经过多年研究，相较于仅使用单个核函数的方法，多核学习在数据降维[7]、文本分类[8]、领域适应学习[9]等多个领域内已被证明是一类灵活性更强、可解释性更高而且性能更优的基于核的学习方法[10-11]，并且研究出了多种针对支持向量机的多核学习算法及性能优化方法。

虽然多核学习算法充分结合了不同核函数对于数据的映射能力，但其本质上仍然是仅利用了如相似性、距离等在内的样本的物理特征，并没有考虑到现实情境中存在的风格化数据集内隐含的信息。……