面向新闻评论的短文本增量聚类算法*

刘晓琳，曹付元，梁吉业+

1.山西大学 计算机与信息技术学院，太原 030006

2.山西大学 计算智能与中文信息处理教育部重点实验室，太原 030006

1 引言

随着Web2.0技术的快速发展，民众获取新闻信息的方式已经转移到了网络媒体。互联网成为新闻的舆论源头，新闻评论成为网民自发聚集的舆论平台。新闻的议论话题虽然庞杂，但是网民对新闻的关注点却非常集中，其态度有时也表现出一致性。从新闻评论中总结出网民的观点，为政府和相关部门提供决策参考，具有非常重要的意义。因此，如何有效地从评论中发现网络舆情话题，即对新闻评论进行快速准确的聚类，是舆情分析领域面临的重要问题。

受新闻评论篇幅限制，新闻评论常以短文本的形式出现，短文本特征稀疏，描述信息能力较弱，因此很难准确提取主题信息。针对这一问题，通常的做法是对短文本进行语义概念扩展和关联[1]。一种有效的方法是借助外部资源，比如语义词典等[2]，对短文本进行语义扩充，丰富短文本的特征语义，但这种方法严重依赖于知识库的质量，计算量大，计算复杂度高[3-4]。另一种方法是使用基于关联规则的频繁词集文本表示模型，在大规模语料中，如果两个词经常共同出现在文本同一窗口单元，则认为这两个词在意义上相互关联，频繁词集反映了特征项之间的关联性，包含更多潜在语义的同时还起到降维的作用，但该模型在聚类质量上并没有得到明显改善[5]。……