基于MapReduce与两层相关性聚类的实体解析方法

王 宁，黄 敏

（北京交通大学计算机与信息技术学院，北京100044）

基于MapReduce与两层相关性聚类的实体解析方法

王 宁，黄 敏

（北京交通大学计算机与信息技术学院，北京100044）

两层相关性聚类算法由于引入公共邻居，在解析的正确性及抗噪声能力方面性能较好。但该算法分两层执行，在时间效率上不具优势。为此，提出将该算法在MapReduce框架下实现，利用分布式计算提高其执行效率。通过设计辅助文件减少内存消耗以及中间数据的输出，给出分布式环境下的块更新规则，并改写第二层的调整块算法，将需要实时更新的数据统一计算后，根据更为显著的关联特征进行处理。实验结果表明，与TT算法和DTT算法相比，该方法不仅能保证解析的准确性，而且在时间效率上也有大幅提高。

相关性聚类；MapReduce模型；实体解析；大数据；数据集成；分布式计算

1 概述

实体解析［1］是指对现实世界中同一实体的不同表现形式进行识别、连接和分组，它在数据库管理、数据集成、机器学习中都有广泛的应用。大数据时代的到来，使得人们去挖掘数据的潜在价值。

大数据具有数据量大、数据更新速度快、数据源多样和数据存在噪声等特点［2］。其中，数据噪声会造成部分数据关联和依赖的假象。相关性聚类是实体解析的一种基本方法，文献［3］基于对数据噪声的处理提出了一种两层相关性聚类算法，用于提高实体解析的质量。

两层相关性聚类算法分为预分块和调整块两层。与传统的相关性聚类算法相比，该算法在准确率和召回率上占有一定的优势，然而由于分两层实现，它在时间效率上不如传统算法。……