基于聚类分类法的信息过滤技术研究

李全鑫，魏海平

（辽宁石油化工大学 计算机与通信工程学院，辽宁 抚顺113001）

随着互联网的蓬勃发展与普及Web凭借其方便、快速、低成本的特性成为企业及个人不可或缺的信息发布工具。当Web带给人们极大便利的同时，却也产生出负面的严重问题，那就是我们每天浏览的Web页面中含有推销广告或是一些有害的不良信息，甚至还有病毒，加剧了计算机病毒、网络诈骗、色情犯罪的传播与信息安全方面的问题。面对不良信息Web页面日益严重的情况，如何对信息进行分类过滤已是非常重要的问题。

本研究在研究分类算法的基础上，提出了一个简单且方便且易于理解适用于文本信息过滤的方法。

1 相关技术介绍

1.1 支持向量机

支持向量机（support vector machine，简称 SVM）是以统计学习理论为基础发展而来的机器学习系统。其核心思想是寻找两个类别之间进行优化分隔的超平面（Separating Hyper-Plane），也就是寻找该超平面与两类数据间的最大边界（Maximized Margin）[1]。SVM 的另一个特点是可以通过不同的核心函数（Kernel Function），将训练数据映射到不同的高维度空间，来处理线性不可分的情形。

SVM利用已知类别的数据进行训练，并从这些训练数据（Training Data）之中，选出一些支持向量（Support Vectors）来代表整体的数据，之后再产生一个训练模型（Training Model）,这一个训练模型将被作为后续预测数据类别的依据。由于随着时间及空间的变化，Web内容的差异也变很大，因此网页的信息分布难以事先了解，所以无法决定采用哪个SVM核心函数。大部分研究人员都是采用尝试法来选择合适的核心函数及相对应参数,因此需要花费漫长的时间，且无法保证可以得到相关参数的最佳值[2]。……