基于MapReduce技术的并行集成分类算法*

琚春华，邹江波，张 芮，魏建良

（1.浙江工商大学信息学院 杭州310018；2.浙江工商大学现代商贸研究中心 杭州310000）

1 引言

随着信息技术在全球范围内的普及，各行各业已经积累了大规模的行业数据，如电子商务行业中的用户消费数据、浏览商品数据、商品评论数据，生产制造业中的生产数据，科学研究领域的实验数据等，这些数据背后隐藏着许多有价值的信息和知识可被广泛用于各种应用，如市场分析、欺诈检测、顾客保有、产品控制和科学探索等[1]。

设计分类器是模式识别系统的核心，而基分类器的选择和集成策略是集成分类算法的关键[2]。基分类器的选择实质上是分类算法的选择，选择适合挖掘场景的算法是最终分类准确与否的决定因素之一，集成策略的好坏也会影响最终的分类结果，最常用的策略是对各分类器的分类结果进行加权组合，权重反映了各分类器对最终分类结果的影响。

[2]和[3]指出要设计高精度分类器并不容易，但设计出比随机猜测略好的简单分类器却相对容易，因此可以将多个简单分类器进行组合来提升分类精度，并从理论上证明了该假设的正确性。参考文献[4]利用不同分类器模型之间的互补性,动态选择出对目标有较高识别率的分类器组合,使参与集成的分类器数量能够随识别目标的复杂程度而自适应地变化,并根据可信度实现系统的循环集成。参考文献[5]基于Stacking多分类器组合策略，构造了一个两层的叠加式框架结构，融入可能的上下文信息作为情景特征向量输入到各层的4种分类器中进行组合，并在中文组块识别中取得了较好的效果。……