杨小军,刘 志,王力猛,刘 文
(国防大学 联合勤务学院,北京 100858)
分类是数据挖掘领域的一类重要问题,现有的分类方法都很成熟,如决策树、支持向量机、朴素贝叶斯方法等,并利用这些方法成功地解决了许多实际问题。但随着应用范围的扩大和研究的深入,分类方法在使用过程中遇到了数据样本分布不均衡问题。通常称数据分布不均衡的数据集为不均衡数据集,数据分布不均衡表现为两种形式:一是类间数据分布不均衡;二是在某一类样本的内部存在着类内不均衡。在不均衡数据集中,将样本数量少的类称为少数类或正类,样本数量多的类称为多数类或负类。
对不均衡数据进行正确分类,是数据分类的一个难题。问题来源于不均衡数据集的样本分布特点,以及传统分类算法固有的局限性。传统分类算法的重要前提是:数据集中各样本比例是均衡的;以总体最大精度为目标,很容易忽略少数类;所有的分类错误代价都相同。因此,如果用传统的分类器来直接处理不均衡数据集,会造成少数类样本的分类精度较差,尤其是数据不均衡严重时更是如此。鉴于目前研究不均衡分类问题都是基于不均衡的两类问题,则本文主要研究比较二类不均衡数据分类问题的常用策略。
常用的不均衡数据分类策略主要有如下几类:在数据层面,通过重采样来解决数据分布不均衡状况;在算法层面,通过代价敏感算法或是集成算法提升不均衡数据分类时的性能;……