耦合PCM的随机森林算法研究

钟雯静 ，张伟劲 ，何雪梅 ，常睿春

（1.成都理工大学 数学地质四川省重点实验室，四川 成都 610059；2.成都理工大学 成都理工大学数字胡焕庸线研究院，四川成都 610059；3.成都理工大学 信息科学与技术学院（网络安全学院），四川 成都 610059）

随机森林算法具有较好的分类性能，一直是广大研究者们的热门研究对象，被广泛应用于数据挖掘、数据分析领域。随机森林的改进主要体现在以下几个方面：(1)数据的预处理；(2)对RF中生成的决策树改进；(3)对投票方式的改进。但是由于数据集的复杂性，尽管随机森林具备较好的性能，仍然容易陷入过拟合或局部最优的情况。基于此，本文提出了一种耦合可能性C-means聚类的RF算法，先用AUC值对传统RF的决策树进行评估，选出AUC值高的树，再进行可能性C-means(pCM)聚类，选取每一类中AUC值最大的决策树组成新的子森林。这种改进方法既能够舍弃分类性能差的决策树，又能改善相似性高的决策树出现分类错误的情况，在分类精度和分类时间上皆优于经典SVM和传统RF算法。

1. 算法改进

1.1 可能性C-means聚类(PCM)

本文采用的聚类方法是pCM聚类算法，是基于模糊C-means聚类(FCM)的一个改进。以下是有关pCM算法的介绍：

pCM目标函数：

N为样本个数，C为聚类中心个数(2≤C≤N)；m为加权指数且m∈[1,∞)，关于m的最佳取值目前还没有充分的理论研究作为支撑，一般情况下取m=1.5；为每个聚类的中心，表示样本到聚类中心的距离；η是由FCM算法得出U,C后直接计算作为定值，通常取K=1：表示各个样本到每个聚类中心距离的加权平方和。越小表示聚类效果越好。……