基于LDA模型的论坛热点话题识别和追踪

徐佳俊，杨 飏，姚天昉，付中阳

(萨尔州大学-上海交通大学 语言技术联合实验室，上海交通大学 计算机系，上海 200240)

基于LDA模型的论坛热点话题识别和追踪

徐佳俊，杨 飏，姚天昉，付中阳

(萨尔州大学-上海交通大学 语言技术联合实验室，上海交通大学 计算机系，上海 200240)

在当今处于信息数量爆炸式增长的互联网时代，如何分析海量文本中的信息并从而提取出所蕴含的有利用价值的部分，是一个值得关注的问题。然而论坛语料作为网络语料，其结构和内容较一般语料相比更为复杂，文本也更加短小。该文提出的方法利用LDA模型对语料集进行建模，将话题从中抽取出来，根据生成的话题空间找到相应的话题支持文档，计算文档支持率作为话题强度；将话题强度反映在时间轴上，得到话题的强度趋势；通过在不同时间段上对语料重新建模，并结合全局话题，得到话题的内容演化路径。实验结果说明，上述方法是合理和有效的。

论坛；话题模型；趋势分析；话题追踪；LDA

1 引言

随着互联网上信息量的不断增大，微博、各大网站、BBS、搜索引擎等网络信息载体已经成为人们获取新闻信息的主要途径。这些载体包含了日常生活中能够谈论到的大部分话题，对其中的热点话题也能够进行连续的跟踪报道。如果可以实现话题的自动识别及追踪，那么可以节省大量的人工时间和精力，能够帮助用户理解新闻话题之间的内在相关性。

话题的识别与追踪(Topic Detection and Tracking)，简称TDT，为解决这一问题提供了一个方向。……