一种新颖的基于马氏距离的文本分类方法的研究

张素莉,潘 欣

(长春工程学院电气与信息工程学院,长春 130012)

0 引言

et al.,1994)、支持向量机SVM 算法[3](Joachims,1998)、遗传算法[4](Svingen,1998)、KNN 算法 、基自组织映射算法[5](Hyotyniemi,1996)、贝叶斯算法[6](Lam,1997)及其朴素贝叶斯算法(Nigam,1999)等,其中KNN(k最近邻算法)算法是最成熟最简单的分类方法之一。而KNN分类器对分类过程中所使用的距离参数十分敏感[3](Jahromia etal.,2009),这一缺点不但降低了对文本分类的精度,而且也限制了KNN分类器在文本分类中的应用。

本文提出了一种新颖的基于马氏距离的KNN文本分类方法(M ahalanobis distance KNN,MDKNN)。该分类器不需使用距离函数的参数K,而是通过整个训练集的分布情况来决定分类的种类。实验表明,与传统的KNN 和Naïve Bayes分类算法相比,MDKNN在文本分类的精度和稳定性上有所提高。

1 马氏距离及其分类算法

文本数据挖掘可以广义地定义为一个知识密集的过程,即用户通过使用一套分析工具与文档交互[1](Ronen and James,2007)。文本分类(TC)是文本数据挖掘研究中最常见的研究问题之一。如何从信息源中提取具有准确性和时效性的文本分类知识有赖于分类技术的使用,因此,如何提高文本分类的精度是当前文本数据挖掘研究的热点问题之一。

目前,常用的文本分类技术主要有:基于神经网络(NN)的文本分类算法[2](Liet al.,1991;Farkas

1.1 马氏距离

M ahalanobis距离(马氏距离)是由印度统计学家马哈拉诺比斯[7](P.C.Mahalanobis)于1936年提出的,表示数据的协方差距离。它是一种有效的计算2个未知样本集的相似度的方法。与欧式距离不同的是它考虑到各种特性之间的联系,并且是尺度无关的,即独立于测量尺度。如……