王全民,曹建奇,王 莉
(北京工业大学计算机学院,北京 100124)
一直以来,句子相似度计算都是自然语言处理领域中不断研究的重点问题。在机器翻译领域中,句子相似度用来衡量原句和译句间词句的可替换相似程度,从而影响翻译结果的好坏;在考试自动化评分系统中,句子相似度用来比较考生答案和标准答案间的文本相似程度,直接影响对考生成绩的评定;在信息检索领域中,句子相似度用来反映用户输入和检索数据文本间的匹配程度,关系到用户对结果数据的进一步需求[1]。句子相似度计算的准确性在这些领域是如此的重要,如果句子相似度计算的方法和结果能够得到进一步改进提高,那么将会对自然语言处理领域的发展有一定的推动。
随着国内外专家学者的不断研究,句子相似度的计算出现了很多不同的方法。目前句子相似度计算方法有以下几种:基于词序的方法[2]、基于向量空间模型的方法[3]、基于编辑距离的方法[4]、基于语义相关度计算的方法[5]、基于骨架依存树的方法[6]和基于句子多特征信息的方法[1,7-8]等。本文在多特征混合的句子相似度计算模型的基础上进行改进,主要增加了同义词(近义词)的贡献度,增加了句子成分关系对句子相似度计算的影响,综合考虑句子的词形、词序、长度、语义和成分关系这5 种特征对句子信息表示的影响,以期望可以更加准确地获得句子间的相似程度。
多特征混合的句子相似度计算模型,综合考虑句子信息中的各种特征信息,从不同特征的侧重点来衡量句子间的相似程度,综合各个特征的优点,从而能够比较全面地衡量句子的相似程度。……