崔韬世 麦范金
桂林理工大学 广西 541004
词语相似度计算研究的是用什么样的方法来计算或比较两个词语的相似性。词语相似度计算在自然语言处理、智能检索、文本聚类、文本分类、自动应答、词义排歧和机器翻译等领域都有广泛的应用,它是一个基础研究课题,正在为越来越多的研究人员所关注。笔者对词语相似度计算的应用背景、研究成果进行了归纳和总结,包括每种策略的基本思想、依赖的工具和主要的方法等,以供自然语言处理、智能检索、文本聚类、文本分类、数据挖掘、信息提取、自动应答、词义排歧和机器翻译等领域的研究人员参考和应用。词语相似度计算的应用主要有以下几点:
(1) 在基于实例的机器翻译中,词语相似度主要用于衡量文本中词语的可替换程度。
(2) 在信息检索中,相似度更多的是反映文本与用户查询在意义上的符合程度。
(3) 在多文档文摘系统中,相似度可以反映出局部主题信息的拟合程度。
(4) 在自动应答系统领域,相似度的计算主要体现在计算用户问句和领域文本内容的相似度上。
(5) 在文本分类研究中,相似度可以反映文本与给定的分类体系中某类别的相关程度。
(6) 相似度计算是文本聚类的基础,通过相似度计算,把文档集合按照文档间的相似度大小分成更小的文本簇。
基于统计方法计算词语相似度通常是利用词语的相关性来计算词语的相似度。其理论假设凡是语义相近的词,它们的上下文也应该相似。……