一种基于SMOTE的不平衡数据集重采样方法

张天翼 丁立新

(武汉大学计算机学院 湖北 武汉 430072)

0 引 言

现实中的数据集通常是不平衡的，不平衡数据集中的实例分布十分不均衡。当基于不平衡数据集构造分类器时，分类器的预测结果可能会偏向多数类，这些分类器很容易将少数样本误分类为多数类。但是有时少数类样本才是问题的主要研究对象，在这种情况下，少数类样本的错误分类可能会带来严重的问题和风险。例如，在医学数据集中，健康人的样本通常远远多于患者样本，如果基于此数据集构建分类器，那么输入一个测试样本，分类器大概率会将输入样本预测为健康人，但是将患者误分类为健康人的风险远高于将健康人误分类为患者的风险。数据失衡不仅出现在医学检测中，而且也出现在许多其他实际应用中，例如海上雷达图像中油污泄露区域检测[1]、电信欺诈检测[2]等。

研究者们已经开发出了许多方法来消除数据不平衡所带来的影响，这些方法大都在算法层面或数据层面来解决不平衡问题。算法层面的方法主要包括集成学习法和成本敏感型学习法。传统分类算法的目标是平衡的数据集，因此数据集中的所有样本都具有相同的重要性，并且将A误分类为B和将B误分类为A的代价是相同的。但是在不平衡的数据集中，对于少数类而言，拥有与多数类样本相等的误分类成本并不公平。因为在一些问题中，少数类相比于其他类具有更大的研究价值。成本敏感型学习方法则修改了各类错误的惩罚因子，分类器将少数类样本误分类为多数类样本会受到更大的惩罚，在迭代过程中会逐渐减少这类错误，因此可以弱化或消除分类器的错误偏差。……