一种面向不均衡数据集的CHI特征选择改进算法

骆魁永

(信阳农林学院 信息工程学院，河南 信阳 464000)

随着网络技术的快速发展，网络中各种文本信息以指数级的速度增长，文本分类[1,2]在信息检索、内容信息过滤、自然语言处理和信息组织与管理等领域应用越来越广泛.然而，在对海量电子文档的分类中，发现数据不均衡分布的情况普遍存在，在数据集中不同类别之间的文本数量可能存在数量级的差距，这给文本分类带来了新的挑战.面对这样的情况，特征选择作为文本分类的重要环节，传统的χ2特征选择方法在特征项选择的过程中往往会出现类别倾向的问题，导致分类器对稀有类别不能产生较好的分类效果.

目前，一些学者指出了χ2统计模型存在的缺点，并提出了相应的改进模型.文献[3]指出负相关特征项也会包含分类价值，正负相关特征项需要区别对待，通过对正负相关特征项赋予不同权重，改进了χ2统计模型；针对特征项在类间与类内分布的差异性对χ2统计模型的影响；文献[4]结合信息增益与文本频率方法的优点，提出了一种组合型模型，提高了χ2统计模型的性能；针对与类别正负相关的特征项对χ2统计模型的影响；文献[5]定义了频度、集中度和分散度的概念，并以此作为特征项的权重应用到新的模型中，使得改进后的模型倾向于选择高频、集中度高和分散度低的特征项；文献[6]提出了特征项与类别正负相关性的概念，并剔除与类别负相关的特征项，从而达到χ2统计模型的优化；……