词语相似度计算方法分析

2012-03-19 14:02:17崔韬世麦范金
网络安全技术与应用 2012年5期
关键词:语义词汇概念

崔韬世 麦范金

桂林理工大学 广西 541004

0 引言

词语相似度计算研究的是用什么样的方法来计算或比较两个词语的相似性。词语相似度计算在自然语言处理、智能检索、文本聚类、文本分类、自动应答、词义排歧和机器翻译等领域都有广泛的应用,它是一个基础研究课题,正在为越来越多的研究人员所关注。笔者对词语相似度计算的应用背景、研究成果进行了归纳和总结,包括每种策略的基本思想、依赖的工具和主要的方法等,以供自然语言处理、智能检索、文本聚类、文本分类、数据挖掘、信息提取、自动应答、词义排歧和机器翻译等领域的研究人员参考和应用。词语相似度计算的应用主要有以下几点:

(1) 在基于实例的机器翻译中,词语相似度主要用于衡量文本中词语的可替换程度。

(2) 在信息检索中,相似度更多的是反映文本与用户查询在意义上的符合程度。

(3) 在多文档文摘系统中,相似度可以反映出局部主题信息的拟合程度。

(4) 在自动应答系统领域,相似度的计算主要体现在计算用户问句和领域文本内容的相似度上。

(5) 在文本分类研究中,相似度可以反映文本与给定的分类体系中某类别的相关程度。

(6) 相似度计算是文本聚类的基础,通过相似度计算,把文档集合按照文档间的相似度大小分成更小的文本簇。

1 基于语料库的词语相似度计算方法

基于统计方法计算词语相似度通常是利用词语的相关性来计算词语的相似度。其理论假设凡是语义相近的词,它们的上下文也应该相似。……

登录APP查看全文

猜你喜欢
语义词汇概念
Birdie Cup Coffee丰盛里概念店
现代装饰(2022年1期)2022-04-19 13:47:32
本刊可直接用缩写的常用词汇
一些常用词汇可直接用缩写
山东医药(2020年34期)2020-12-09 01:22:24
语言与语义
幾樣概念店
现代装饰(2020年2期)2020-03-03 13:37:44
本刊可直接用缩写的常用词汇
“上”与“下”语义的不对称性及其认知阐释
现代语文(2016年21期)2016-05-25 13:13:44
认知范畴模糊与语义模糊
本刊一些常用词汇可直接用缩写
语义分析与汉俄副名组合
外语学刊(2011年1期)2011-01-22 03:38:33