刘稀文,段隆振,段文影
(南昌大学信息工程学院,江西 南昌 330031)
分类技术一直是机器学习和数据挖掘领域的研究重点和热点,在理论研究和工程实践领域都有着广泛的应用。传统的分类算法如KNN、SVM和决策树等在平衡数据集上通常表现很好,但在样本类别分布不均衡时,会出现分类面偏倚的现象,少数类的样本更容易被误判,得不到好的分类结果。例如,网络入侵检测[1]、信用卡欺诈检测[2]、垃圾邮件过滤[3]、自闭症诊断[4]等问题就是典型的类别不平衡问题,在互联网入侵检测的样本数据中,入侵的样本数远远少于正常的样本数,如果将传统的分类器直接应用于这些类别不平衡的样本上,模型会倾向于多数类,忽略少数类样本,从而降低了对少数类样本的分类能力,甚至会出现把全部样本都判为多数类的情况,这样的分类结果是没有意义的。针对类别不平衡的分类问题,已有很多有效的算法被提出,主要体现在两个层面:算法层面和数据层面。
算法层面是对标准的分类算法进行改进,或者提出新的应用在不平衡数据集上的分类算法。算法层面典型的解决方法有代价敏感算法和集成学习方法。代价敏感学习[5]是在训练模型时以整体误分代价的最小化取代样本的整体误差最小化作为训练目标,通过引入代价矩阵,赋予少数类样本更大的代价权重,以降低分类器在少数类样本上的错分率。集成学习方法的思想是将多个基分类器组合成一个强分类器,以提高分类性能。……