XGBoost算法在二分类非平衡高维数据分析中的应用*

哈尔滨医科大学卫生统计学教研室(150081)

卢娅欣 黄 月 李 康△

【提 要】 目的 探讨XGBoost算法在二分类高维非平衡数据中的分类判别效果。方法 通过模拟实验及真实代谢组学数据分析，对XGBoost、随机森林、支持向量机、随机欠采样以及随机梯度提升树共五种方法进行比较。结果 模拟实验显示，XGBoost算法在数据非平衡较明显时，在各种实验条件下均优于或不劣于其他四种算法，在数据类别趋于平衡的情况下也同样具有较好的分类效果，且对噪声变量具有一定的抗干扰能力。实例分析显示，与其他四种算法相比，XGBoost算法的分类性能最优，且在保证分类效果的基础上具有更快的运算速度。结论 XGBoost算法适用于非平衡高维数据的判别分析，值得研究。

在对高维数据进行分类或判别时，数据的类别间常存在非平衡的现象，而各类之间的例数相差较大常会对判别效果产生影响[1]。而如何对非平衡数据建立预测模型进行分类是一个较难解决的问题[2]。目前对非平衡数据的处理主要在数据及算法两大层面。数据层面的基本思想是应用重采样技术使各类别的分布达到平衡，再使用传统分类器进行分类判别，常用的方法如随机欠采样、随机过采样以及Chawla等人[3]提出的合成少数类过采样技术(SMOTE)等。算法层面以代价敏感学习(cost-sensitive learning)、一分类学习(one-class learning)以及集成学习(ensemble learning)为主，其中boosting作为一种强大的集成学习算法，以算法集合的思想将基础弱分类器转换为优效分类器，已被证明可对各种不规则的数据类型显示出良好的分类效果[4]。……