基于向量空间模型附加词义特征的句子相似度研究

杨 松, 楼新远

(西南交通大学,四川成都610031)

0 引言

随着互联网的发展,现代社会已成为一个知识爆炸的社会,如何从广阔的知识海洋中找到需要的知识是目前人们最需要解决的问题。解决此类问题的主要途径就是利用搜索引擎进行查找,通过使用搜索引擎,可以查找到一系列的相关文章,然后通过阅读文章得到想要的答案。现在,自动问答系统逐渐走入人们的视线,越来越受到重视。用户通过自动问答系统可以直接得到想要的答案,而不是一系列相关的文章,比搜索引擎更加直接、友好。自动问答系统中的一个关键问题就是如何根据用户的提问在知识库中查找到对应的答案,目前一般都是通过计算用户提问的句子和知识库中的对应问题的句子的相似度解决。

目前进行句子相似度计算时主要使用的算法有向量空间模型(Vector Space Model,VSM)[1-2],编辑距离算法(Levenshtein Distance)[3],语义词典方法[4],依存树法(Semantic Dependent T ree)[5-6],以及词形词序结合的方法等。基于向量空间模型的相似度计算方法是一种基于语料库中出现的关键词词频的统计方法,以大规模真实语料为基础,首先计算出每个关键词的权重,然后将句子转换成由关键词权重表示的词项向量,最后通过计算两个句子向量的夹角余弦,得到句子相似度。传统的向量空间模型没考虑到词语的语义,没考虑到词语之间的相似度。论文在向量空间模型的基础上增加了词义特征,通过在传统的向量空间模型中引入词语之间的相似度,从而使计算出的两个句子的相似度分数更加准确。……