文本分类中基于综合度量的特征选择方法

杨杰明,刘元宁,曲朝阳,刘志颖

(1.东北电力大学 信息工程学院,吉林 吉林 132012；2.吉林大学 计算机科学与技术学院,长春 130012)

随着IT应用的不断增长,人工管理文本数字信息已成为一项不可能完成的任务.自动文本分类技术是处理海量文本信息的有效方法,近年来已在许多领域得到广泛应用.目前,已有很多成熟算法应用于文本分类中,如Bayes分类器、支持向量机、决策树、K-近邻方法等.然而,文本分类中最大的特点是高维性,即使是一个并不太大的语料集,它的维度也能达到上万维甚至十几万维.在机器学习过程中,高维度会带来两方面的问题：1) 在高维环境中,大部分成熟算法不能得到高效的应用;2) 在高维环境中训练分类器时,不可避免地会产生过拟合现象[1].因此,降维成为文本分类中的一个重要研究方向.目前,降维主要有两种实现方式,即特征选择和特征提取.特征提取是在原有特征的基础上,通过组合、转换生成一组全新特征集合的技术,如特征项聚类、隐含语义索引[2]和独立分量分析[3]等.特征提取方式能捕获特征间的语义关系,但表示文本的特征不易理解、计算成本较高.特征选择算法是根据某种特征度量函数,衡量一个特征在分类中所起作用的重要度,并按重要度排序,然后根据排序结果从原有的特征集合中选择重要度最高的少数特征组成一个特征子集,最终实现文本的表示和分类器的训练.特征选择算法运算效率高、实现……