基于MapReduce 的高维数据频繁项集挖掘

2022-03-12 05:55:50赵欣灿毛伊敏
计算机工程 2022年3期

赵欣灿,朱 云,毛伊敏

(1.江西理工大学 理学院,江西 赣州 341000;2.江西理工大学 信息工程学院,江西 赣州 341000)

0 概述

关联规则挖掘技术[1]是数据挖掘领域的重要分支之一,其旨在找出各数据项之间的相互关系,被广泛应用于社交网络、精准营销等领域。然而,随着动态大数据的发展,数据维数逐渐升高。医疗数据、全球气候数据以及多媒体数据等均属于高维数据,且此类数据具有数据量大、数据特征丰富以及数据稀疏等特性[2]。因此,大部分数据挖掘技术已经从单目标分析扩展为多目标融合分析[3]。采用高效的方式准确捕捉高维复杂数据的特征属性,以及解决节点分布的负载均衡化问题,并有效提高频繁项集的紧凑程度[4]成为研究热点。

本文提出基于MapReduce 的高维数据频繁项集挖掘算法PARDG-MR。通过设计基于高维数据维度粒化以及节点负载均衡的数据预处理策略,并对复杂的高维数据进行特征属性捕捉,构建基于本地PJPFP-Tree 树存储结构的算法步骤并行化方法。在此基础上,提出基于剪枝前缀推论(Pruning Prefix Lemma,PPL)的整合节点算法,从而提高算法整体运行速率,且减少算法执行时间和内存。

1 相关工作

高维数据预处理过程包括以特征提取和特征选择[5]两种方式,在有效消除无关、冗余特征的同时也减小了特征挖掘空间,但是该方法忽略了数据的敏感性以及数据特征之间的关联性。为获得更优的数据特征属性挖掘结果,研究人员对高维数据进行维数约简。文献[6]提出基于图的大数据实体识别算法,并将高维数据关系映射在图中,其中边代表某些数据项间的关系,每条边的权值代表项间关联的程度。……

登录APP查看全文