基于Spark的Apriori算法的改进

2016-04-11 02:54:10牛海玲鲁慧民刘振杰
东北师大学报(自然科学版) 2016年1期

牛海玲,鲁慧民,刘振杰

(长春工业大学计算机科学与工程学院,吉林 长春 130012)



基于Spark的Apriori算法的改进

牛海玲,鲁慧民,刘振杰

(长春工业大学计算机科学与工程学院,吉林 长春 130012)

[摘要]基于Spark大数据框架,将传统Apriori算法进行并行化处理,提出了一种改进的并行化AMRDD算法,使Apriori算法能够适用于大数据关联规则的挖掘.该算法利用Spark基于内存计算的抽象对象存储频繁项集,通过引入矩阵概念减少扫描事务数据库的次数,应用局部剪枝和全局剪枝方法缩减生成候选频繁项集的数量.通过搭建Spark平台实现该算法,并与传统Apriori算法和基于Hadoop的Apriori算法进行性能上的比较. 结果表明,该算法能够较大程度地提高大数据关联规则挖掘的效率.

[关键词]Apriori;Spark;矩阵;局部剪枝;全局剪枝

0引言

随着大数据时代的到来,云计算技术的兴起,如何从海量数据中高效地提取知识是目前急需解决的问题.同时,人们越来越关注数据挖掘技术在大数据环境下的应用,很多学者在该领域进行了改进研究,如数据分类、聚类方面等[1-2].关联规则挖掘作为数据挖掘的一个重要组成部分,在数据挖掘中扮演重要角色,作为关联规则中的经典算法Aprioi的地位更是举足轻重.然而传统的串行算法已经不能满足大数据时代的要求,因此新型的挖掘模式成为人们新的选择.

近年来,随着Hadoop和Spark等云计算平台的开源化,采用云计算并行编程框架,将传统的数据挖掘算法进行分布式并行化处理,提高大数据挖……

登录APP查看全文