基于类信息的TF-IDF权重分析与改进①

姚严志,李建良

(南京理工大学 理学院,南京 210094)

随着网络的普及,网络上时刻都在产生大量的文本信息,为了满足用户面对海量文本时多样化的需求,对文本信息进行有效的分类就显得至关重要.在文本分类领域中,用向量空间模型表示文本的方法应用尤为普遍.用向量空间模型表示文本,需经过分词、特征选择、权重计算等步骤,而权重计算方法的优劣直接影响着分类算法的性能表现.权重计算的方法多种多样,常用的包括文档频率、信息增益、互信息、卡方分布、TF-IDF 等[1].

TF-IDF 算法自提出以来,因其算法相对简单和有较高的准确率及召回率,一直受到广泛应用[2].但该算法的权重计算仅考虑了特征词的词频和逆文档频率等,仍还有许多可改进的空间.因此,很多学者分析TFIDF的缺陷,对其进行了相应的改进.How 等[2]提出利用Category Term Descriptor (CTD)来改进TF-IDF,考虑不同类别的文档数可能存在数量级的差距,以改善类别数据集偏斜所引起的误差;徐冬冬等[3]引入逆类频率因子和类别比率因子用以修正TF-IDF 权重算法,得到基于类别描述的TF-IDF-CD 方法,叶雪梅等[4]针对新词识别对分类结果的影响,提出了基于网络新词的改进文本分类TF-IDF 算法;许甜华等[5]通过引入去中心化词频因子和特征词位置因子以加强特征权重的准确性.

本文使用TF-IDF 算法计算特征词权重,对特征词在不同规模文档集中的权重加以比较,具体分析了特征词的类信息对于权重的影响,并在此基础上提出一种新的衡……