一种代价敏感的旋转森林分类算法*

周尔昊 高 尚

（江苏科技大学 镇江 212001）

1 引言

近年来，分类器集成思想成为机器学习领域研究的一大热点。其中的Bagging［1］和AdaBoost［2］算法是该领域具有代表性的集成策略。文献［3］指出提高集成分类器的分类效果的方法基本从两方面展开：一是提高基分类器之间的差异性，二是提高各个基分类器的分类精度。如文献［4］中的ROFCO算法通过向训练集中加入差异性数据来减少基分类之间的相关性；再如文献［5］中以多层感知机作为Bagging的基分类器，提高了基分类器分类精度，以得到更好的分类结果。目前，以各种决策树（ID3、C4.5、CART）等作为基分类器的集成算法因其在分类问题上的良好表现，越来越受到集成研究者的重视。Rodriguez［6］等于2006年提出的一种新的集成算法——旋转森林（ROF）算法，该算法以决策树作为基分类器，通过特征变换增大基分类器之间的差异性，以获得更好的集成效果。

随着研究的深入，集成学习越来越多的被应用于解决不平衡问题。不平衡数据分类问题是机器学习领域一大难题，日常生活中会在很多行业面临此问题，比较常见的如电通行业中的欠费预测、医疗行业中的病情诊断等［7］。然而，目前大多数机器学习分类算法并不能很好解决不平衡数据分类问题。代价敏感集成学习是一种不平衡数据分类方法，主要有三种实现方式，分别是：1）从学习模型出发，针对算法本身的改进；2）从贝叶斯风险理论出发；3）从预处理角度出发，将代价用于权重的调整，如AdaCost算法。

本文提出了……