基于语义和图的文本聚类算法研究

蒋 旦，周文乐，朱 明

(中国科学技术大学 信息科学技术学院，安徽 合肥230027)

基于语义和图的文本聚类算法研究

蒋 旦，周文乐，朱 明

(中国科学技术大学 信息科学技术学院，安徽 合肥230027)

传统的文本聚类往往采用词包模型构建文本向量，忽略了词语间丰富的语义信息。而基于中心划分的聚类算法，容易将概念相关的自然簇强制分开，不能很好地发现人们感兴趣的话题。该文针对传统文本聚类算法的缺点，提出一种基于语义和完全子图的短文本聚类算法，通过对目前主流的三大语义模型进行了实验和对比，选择了一种较为先进的语义模型，基于该语义模型进行了聚类实验，发现新算法能较好地挖掘句子的语义信息且较传统的K-means有更高的聚类纯度。

文本聚类；完全子图；语义相似度；词向量

1 引言

文本聚类，在自然语言处理、人工智能和机器学习领域占有重要地位，它提供了一种从文本数据中自动学习知识的方法，可以从海量数据中挖掘人们感兴趣的话题。而文本(语义)相似度的计算是文本聚类的先决条件。

经典的自然语言处理方法主要有两种： 一种是基于词包(bag-of-words)的统计数学模型，采用one-hot 的表示方法将词转换成一个高维的稀疏向量，维数等于词汇量的大小，进而由词向量的加和表示语句，忽略词语之间语义联系以及词序。这种基于统计模型的方法虽然简单，但是由于没有考虑语言的语义这一重要属性，表达能力有限，在复杂的涉及语义理解的文本聚类、机器翻译等任务中表现不佳；……