文本分类中基于熵的词权重计算方法研究*

陈科文，张祖平，龙　军

中南大学 信息科学与工程学院，长沙 410083

文本分类中基于熵的词权重计算方法研究*

陈科文+，张祖平，龙军

中南大学 信息科学与工程学院，长沙 410083

随着文本数据量变得很大且仍在迅猛增加，自动文本分类变得越来越重要。为了提高分类准确率，作为文本特征的词的权重计算方法是文本分类领域的研究热点之一。研究发现，基于信息熵的权重计算方法（熵加权）相对于其他方法更有效，但现有方法仍然存在问题，比如在某些语料库上相比TF-IDF（term frequency &inverse document frequency），它们可能表现较差。于是将对数词频与一个新的基于熵的类别区分力度量因子相结合，提出了LTF-ECDP（logarithmic term frequency&entropy-based class distinguishing power）方法。通过在TanCorp、WebKB和20 Newsgroups语料库上使用支持向量机（support vector machine，SVM）进行一系列文本分类实验，验证和比较了8种词权重计算方法的性能。实验结果表明，LTF-ECDP方法比其他熵加权方法和TF-IDF、TF-RF（term frequency&relevance frequency）等著名方法更优越，不仅提高了文本分类准确率，而且在不同数据集上的性能更加稳定。

特征词权重；熵加权；文本分类；类别区分力

1　引言

随着计算机应用的普及和互联网规模的不断发展，文本数据量变得非常庞大且仍在迅猛增加，比如每天都有大量的以文本内容为主的电子文献、网页、消息和邮件在不断地产生。因此，作为文本组织与挖掘的基本技术手段之一，自动文本分类（text categorization，TC）变得越来越重要。为了进一步提高文本分类的性能，研究人员主要从两个方面开展研究：一是改善分类算法（或学习模型）；二是改善文本数据表示模型。……