基于共享内存的并行LDA算法

杨　希　刘晓升　杨　璐　严建峰

(苏州大学计算机科学与技术学院　江苏 苏州 215006)



基于共享内存的并行LDA算法

杨希刘晓升杨璐严建峰*

(苏州大学计算机科学与技术学院江苏 苏州 215006)

现有的共享内存的并行潜在狄利克雷分配(LDA)主题模型，通常由于数据分布的原因，线程之间一般存在等待导致效率低下。针对线程等待问题进行研究，提出一种基于动态的线程调度方案。该方案能够根据线程的数量进行分块，在此基础上及时为空闲的线程动态地分配任务，从而减少线程间等待时间。实验表明，这种新的调度方案能够有效地解决线程等待问题。该方案不仅在保证收敛精度的同时能够获得加速比25%的提升，还能显著提高向上扩展比。对于大规模分布式集群上单个节点的并行LDA算法来说，这种调度可以更有效地利用计算资源。

潜在狄利克雷分配共享内存并行动态调度

0　引　言

潜在狄利克雷分配(LDA)是现下非常流行的一种概率主题模型，自从2003年由Blei[1]等人提出以后，在文本挖掘，计算机视觉以及计算生物学等方面有着很好的应用。LDA已经被认为是分析大规模的非结构化文档集合的最有效的工具。LDA常用的近似推理方法有三种，吉布斯采样GS(GibbsSampling)[2]、变分贝叶斯VB(VariationalBayes)[3]、置信传播BP(BeliefPropagation)[4]，其中精度最好的就是置信传播算法。随着近年来大数据的普及，单机单核版本的计算已经无法满足日益增加的数据处理需求，而并行计算就是最好的解决方案之一。而并行计算可以分为共享内存以及非共享内存两个方面。……