不同点位噪声对SVM与RVM的分类性能影响研究

谢世勋

摘  要：模式识别算法往往对训练集样本的数量和质量有较高的要求，噪声的产生会影响数据集的分布特征，从而对算法的学习过程产生一定干扰。因此，研究模式识别算法在小样本训练集的不同点位产生噪声后的分类性能和判界是否会发生改变具有重大的理论意义。该文比较了SVM和RVM在3种典型点位的噪声下，研究其分类性能指标的优劣以及决策边界的变化，发现RVM的抗噪声能力优于SVM。

关键词：关联向量机  支持向量机  小样本分类  噪声数据

中图分类号：TP391.41                       文献标识码：A                   文章编号：1672-3791（2021）01（a）-0020-03

Study on the Effect of Different Point Noise on the Classification Performance of SVM and RVM

XIE Shixun*

（School of Economics and Management， Xi'an Technological University， Xi'an， Shaanxi Province， 710000 China）

Abstract：Pattern recognition algorithms tend to have high demands on the quantity and quality of the training set samples， and noise generation can affect the distribution characteristics of the data set and thus causes some interference to the learning process of the algorithm. Therefore， it is investigated whether the classification performance and adjudication boundaries of the pattern recognition algorithm change after generating noise at different points of the small sample training set of great theoretical significance. This paper compares SVM and RVM under the noise of three typical points to investigate the merits of their classification performance metrics and the decision boundaries of the variation， RVM was found to be more resistant to noise than SVM.

Key Words：Relevance vector machine（RVM）; Support vector machine（SVM）; Small sample classification; Noise data

模式識别算法在社会各领域中得到了广泛应用，但传统模式识别算法对训练集样本的数量和质量有较高的要求。然而现实世界中的很多分类问题，实际上不一定具备充足且高质量的训练样本，比如小规模训练样本中出现了一个新的噪声样本点，模式识别算法对具有噪声的训练样本进行学习很容易被其干扰，使得无法获得充分的学习，导致分类效果不佳。因此，研究模式识别算法在小样本训练集的不同点位产生噪声后对分类性能和边界的影响具有重大的意义。

1  国内外研究现状

关联向量机（Relevance Vector Machine，RVM）和支持向量机（Support Vector Machine，SVM）都是当前流行模式识别算法，大量的研究表明它们已经成为机器学习领域的热门话题。

2017年，袁海满利用粒子群优化算法对关联向量机基函数参数进行优化，从而提高变压器的故障诊断精度。实例对比分析表明，与SVM、RVM方法相比，粒子群关联向量机方法具有更高的诊断精度[1]。

刘志青等人在2017年将SVM和RVM应用到点云数据分类任务，比较了分类正确率、训练速度和测试速度等性能指标，总结出RVM在此任务中更具有应用潜力[2]。

王薇蓉等人2018年通过对基于SVM模型、RVM模型的EEG情感识别进行仿真、比较，结果表明RVM可以有效地弥补SVM的不足之处[3]。

Reza等人于2018年证明RVM对地震变化数据进行分类的有效性，将RVM技术与其他传统方法（SVM和概率神经网络（PNN））进行比较，发掘了RVM在识别异常地震反射信号中的潜力[4]。

陈龙舟在2019年将SVM和RVM方法用于航空瞬变电磁信号去噪实验和处理，取得了良好的效果，证明了将其用于去噪的可行性和有效性[5]。

刘鸿斌等人在2019年提出一种基于RVM的软测量模型，PLS-RVM模型的预测效果较PLS-LSSVM模型有显著提升[6]。