面向文本分类的特征词选取方法研究与改进

李国和，岳 翔，吴卫江，洪云峰 ，刘智渊 ，程 远

(1. 中国石油大学(北京) 地球物理与信息工程学院，北京 102249;2. 中国石油大学(北京) 油气数据挖掘北京市重点实验室，北京 102249；3. 石大兆信数字身份管理与物联网技术研究院，北京 100029)



面向文本分类的特征词选取方法研究与改进

李国和1,2,3，岳 翔1,2，吴卫江1,2,3，洪云峰3，刘智渊3，程 远3

(1. 中国石油大学(北京) 地球物理与信息工程学院，北京 102249;2. 中国石油大学(北京) 油气数据挖掘北京市重点实验室，北京 102249；3. 石大兆信数字身份管理与物联网技术研究院，北京 100029)

中文特征词的选取是中文信息预处理内容之一，对文档分类有重要影响。中文分词处理后，采用特征词构建的向量模型表示文档时，导致特征词的稀疏性和高维性，从而影响文档分类的性能和精度。在分析、总结多种经典文本特征选取方法基础上，以文档频为主，实现文档集中的特征词频及其分布为修正的特征词选取方法(DC)。采用宏F值和微F值为评价指标，通过实验对比证明，该方法的特征选取效果好于经典文本特征选取方法。

文本文档；特征词；特征选取；文本分类

1 引言

文本分类的目的是将未知类别的文本划归到具体的类别中，其在文档信息处理中主要具有信息过滤、内容查重、组织管理等功能，成为信息检索领域的重要应用之一[1]。由于文档的非结构化或半结构化特点，其中所隐含的信息难于直接进行比较，因此采用结构化的向量空间模型进行文本表示[2-3]。在该模型中，特征由文本中具有语义的词、短语等构成，统称特征词。……