基于特征加权的分布式大数据相关性挖掘方法

戴惠丽，王敬宇

(1. 闽南科技学院，福建泉州362332；2. 北京邮电大学，北京 100876)

1 引言

数据挖掘是一种通过数据计算来发现数据内部潜在规律和特征的过程，是目前人工智能和数据库建设领域的研究热点[1，2]。数据挖掘技术的发展也带来了很多新的问题和挑战，在海量数据背景下，对于数据挖掘技术的要求已经不仅仅满足于数据相关性挖掘的准确性，还需要保证数据相关性挖掘的效率与实际效果。为此，相关学者对数据相关性挖掘方法进行深入研究。

米捷和刘道华[3]提出基于语义关联性特征融合的大数据挖掘方法，对高位相空间进行重构，在重构空间中提取数据语义关联特征，并进行其进行自适应训练，得到训练后的测试集。运用模糊C均值算法融合处理数据的关联特征，实现数据挖掘的目的。实验结果表明，该方法具有数据挖掘准确率较高的优势，但是在面向海量数据源时，不能对任务进行快速分配，存在数据相关性挖掘时间较长的问题。毛晓菊[4]提出基于模糊关联规则的海量数据挖掘方法，依据模糊理论对海量数据进行模糊化处理，组建数据库，对其中的数据进行聚类与离散化处理，根据关联规则实现海量数据挖掘。实验结果表明，该方法能够有效降低数据挖掘所占内存，并且数据挖掘的支持度较高，但是由于各个节点之间的任务是随机分配的，使得不同节点之间的计算时间差别较大，进而导致整体挖掘时间较长，挖掘效率不高。……