基于词共现网络的微博话题发现方法*

李 伟 贾彩燕

(1.北京交通大学计算机与信息技术学院，北京，100044; 2.交通数据分析与挖掘北京市重点实验室，北京，100044)

引 言

微博作为一种重要的信息交流平台，得到了广泛的关注和使用。由于微博是一个公平、开放的交流平台，越来越多的组织、机构通过官方微博发布信息或对突发事件做出回应，明星和企业也将微博当作自我展示的一个重要渠道。同时，一些事件通过微博用户的爆料后成为热点话题被大众所关注。微博颠覆了传统的信息传播方式，以媒体为主导的新闻传播方式正在面临挑战。微博平台使得人人都能成为记者，人人都可以报道新闻。正是因为微博信息传递过程中的方便和自由，对微博平台的管理和微博信息分析变得更具挑战性。微博平台拥有着庞大的数据量，如何挖掘和处理这些数据已成为海内外学者的研究热点，其中微博平台的话题发现方法是微博研究领域的一个重点课题。

传统文本处理领域中使用的话题检测与追踪(Topic detection and tracking， TDT)[1-2]技术已经日趋成熟。在进行微博话题发现的时候借鉴了传统话题检测与跟踪中使用的方法。其大体思路是：以词为特征使用向量空间模型(Vector space model，VSM)[3]将微博文本转化到空间向量，并且使用词频-逆向文档频率(Term frequency-inverse document frequency,TF-IDF)方法计算每一维的权重，然后使用聚类方法将相同话题下的微博文本划分成一个微博话题簇。周刚等人[4]提出了基于组合相似度的微博话题发现方法MB-SinglePass来提升聚类效果；郑斐然等人[5]提出了一种基于词聚类的新闻话题发现方法；……