集成学习之随机森林分类算法的研究与应用

吴兴惠 周玉萍 邢海花

摘要：集成学习是多分类器学习系统。而随机森林是一个包含多个决策树的分類器，是一种基于Bagging的集成学习方法。随机森林具有预测准确率、不容易出现过拟合的特点，在很多领域都有所应用。本文主要利用随机森林算法对心脏病数据集建立了分类预测模型，实验结果表明，随机森林算法在预测性能上超过了决策树和逻辑回归分类算法，并通过绘制ROC曲线对四种模型进行了对比。

关键词：集成学习;随机森林;预测

中图分类号：TP181 文献标识码：A

文章编号：1009-3044（2020）21-0026-02

开放科学（资源服务）标识码（OSID）：

数据挖掘的一个重要领域是数据分类，对数据进行分类和预测是当前比较热门的研究。机器学习中的分类算法属于有监督学习，常用的分类算法有决策树、贝叶斯、神经网络、支持向量机、随机森林等。集成学习是多分类器学习系统。而随机森林是一个包含多个决策树的分类器，是一种基于Bagging的集成学习方法。它包含多个决策树，并且它的输出类别由所有树输出的类别的众数而定。由于它具有预测准确率、不容易出现过拟合的特点，在很多领域都有所应用。随机森林在医学领域、经济学、刑侦领域和模式识别领域取得了较好的效果。本文基于一个心脏病数据集，利用随机森林算法建立分类模型，并将建立的模型与决策树和逻辑回归模型进行对比，并通过数据绘制了各自模型的ROC曲线。结果表明，在对数据分类效果上看，随机森林在预测性能上的效果要比决策树和逻辑回归模型的效果要强些。……