基于MapReduce的并行PLSA算法及在文本挖掘中的应用

李 宁，罗文娟，庄福振，何 清，史忠植

(1. 中国科学院计算技术研究所 智能信息处理重点实验室，北京 100190；2. 中国科学院大学，北京 100190；3. 河北大学 数学与计算机学院机器学习与计算智能重点实验室， 河北 保定 071002)



基于MapReduce的并行PLSA算法及在文本挖掘中的应用

李 宁1，2，3，罗文娟1，庄福振1，何 清1，史忠植1

(1. 中国科学院计算技术研究所 智能信息处理重点实验室，北京 100190；2. 中国科学院大学，北京 100190；3. 河北大学 数学与计算机学院机器学习与计算智能重点实验室， 河北 保定 071002)

PLSA(Probabilistic Latent Semantic Analysis)是一种典型的主题模型。复杂的建模过程使其难以处理海量数据，针对串行PLSA难以处理海量数据的问题，该文提出一种基于MapReduce计算框架的并行PLSA算法，能够以简洁的形式和分布式的方案来解决大规模数据的并行处理问题，并把并行PLSA算法运用到文本聚类和语义分析的文本挖掘应用中。实验结果表明该算法在处理较大数据量时表现出了很好的性能。

概率主题模型；MapReduce；并行；语义分析

1 引言

当我们得到一个大规模的文本数据集或者是其他类型的离散数据集合时，为了便于理解，总是希望找到这个庞大的数据集的一个简短描述和概括，来代表或是反映出整个数据集的特征信息。对文本数据来说，就是抽取出一个或几个主题这样的抽象概念来描述整个文本数据集。例如,一本期刊，我们如果知道它主要是关于娱乐和时尚的，那么它里面所有的文章自然也是这两个主题相关的，由此可以根据自己的爱好选择是否阅读这些文章。……