基于Bagging集成学习的多集类不平衡学习

2021-10-28 04:42:16魏鹏飞郑鑫浩
计算机技术与发展 2021年10期
关键词:特征提取分类方法

肖 梁,韩 璐,魏鹏飞,郑鑫浩,张 上,吴 飞

(1.南京邮电大学 自动化学院、人工智能学院,江苏 南京 210003; 2.南京邮电大学 现代邮政学院,江苏 南京 210003)

0 引 言

传统机器学习中研究的分类算法假定数据集是平衡的,即数据集中各类别样本数大致相等[1]。但在如软件缺陷预测、医疗诊断、目标检测等相当多的应用场景下,数据的类别分布是不平衡的[2]。以提高总体分类准确率为目标的传统机器学习分类算法在平衡数据集上取得了较好的分类效果,但在不平衡数据集上,这些算法的决策倾向于多数类[3],使得少数类样本的分类准确率远低于多数类样本的分类准确率。而在软件缺陷预测或医疗诊断等类不平衡场景下,准确预测出属于少数类的有缺陷或患病样本恰恰是分类算法的目标。

为解决上述问题,提出基于Bagging集成学习的多集类不平衡学习算法。该算法主要由基于Bagging的多集构建和特征提取与多集融合两个模块构成。基于Bagging的多集构建通过重采样构建多个多数类与少数类样本数大致相等的平衡训练集并有效去除多数类样本中的噪声样本;特征提取与多集融合部分提高样本分离度并融合多个训练集所训练的分类器的预测结果,提升算法分类性能。

1 相关工作

近年来,针对类不平衡分类问题,国内外学者提出了很多创新性的方法,大致可归于重采样法(resampling technique)[4-6]、代价敏感学习(cost-sensitive learning)[7]和集成学习(ensemble learning)[8-9]。

基于重采样的方法可以分为欠采样(undersampling)[4]方法和过采样(oversampling)[5-6]方法。欠采样方法通过减少多数类样本来平衡少数类和多数类的分布,如Kubat等[4]提出单边选择算法去除多数类中的边界和冗余样本。……

登录APP查看全文

猜你喜欢
特征提取分类方法
分类算一算
基于Gazebo仿真环境的ORB特征提取与比对的研究
电子制作(2019年15期)2019-08-27 01:12:00
教你一招:数的分类
一种基于LBP 特征提取和稀疏表示的肝病识别算法
用对方法才能瘦
Coco薇(2016年2期)2016-03-22 02:42:52
四大方法 教你不再“坐以待病”!
Coco薇(2015年1期)2015-08-13 02:47:34
捕鱼
基于MED和循环域解调的多故障特征提取
Walsh变换在滚动轴承早期故障特征提取中的应用
轴承(2010年2期)2010-07-28 02:26:12