基于Hadoop的改进型遗传聚类算法①

潘俊辉,王 辉,张 强,王浩畅

(东北石油大学 计算机与信息技术学院,大庆 163318)

目前互联网上产生了海量的数据,而单机串行处理海量数据时存在瓶颈,因此使用云计算、大数据对海量数据进行挖掘的技术不断涌现.文本聚类可将相似的文本进行归类处理,提取出文本中的关键信息,该技术目前被广泛的应用在众多领域[1,2].针对目前互联网上的海量数据,采用Hadoop对海量数据并行化实现文本聚类可有效的解决单机处理数据效率低的缺点.

目前,国内外的一些学者对文本聚类的算法进行了研究.国内的贾瑞玉等[3,4]基于MapReduce 模型并行化实现了遗传K-means 聚类算法;赵卫中等[5]通过对云计算平台Hadoop 进行研究,将K-means 聚类算法与遗传算法相结合并基于Hadoop 平台进行了并行实现;而国外的Er和Erdoğan[6]通过改进遗传算法中的染色体编码和适应度函数来选取聚类算法中的最优K 值;文献[7]中的Jiang为减少算法的计算量,以遗传算法中染色体的基因编码值作为K-means 聚类算法的簇中心.

本文针对K-means 聚类算法存在易陷入局部最优解等缺点,而遗传算法所具备的特点正好可解决其缺点,由此提出并实现了一种基于Hadoop的改进型遗传聚类算法.

1 Hadoop 平台及文本聚类

1.1 Hadoop 平台

Hadoop 平台是由Apache Software Foundation 开发的开源项目[8,9].该平台的核心组件是MapReduce和HDFS.

HDFS 以分布式的形式将划分的数据块存储到多节点中.其中名字节点的工作用于管理名字空间和处理有关客户端对数据的访问等操作;数据节点的工作则用以完成所在节……