基于知网的中文词语相似度计算

2015-04-29 23:57:57李国佳
智能计算机与应用 2015年3期

李国佳

摘 要:针对中文词语相似度计算的问题,根据信息论中两个事物相似度计算的思想,提出一种基于知网义原信息量和义原及其角色关系的中文词语相似度计算方法,利用知网分类体系计算出词语义原信息量,根据义原信息量计算出词语概念间主类义原的相似度,结合词语概念中义原及其角色关系相似度及义原结点相似度来综合计算词语的相似度,与刘群、知网在线的方法及人工判断的相似度值进行了比较,实验结果显示该方法与人的判断更接近。

关键词:义原信息量;义原及其角色关系;词语相似度;知网

中图分类号: TP391 文献标志码: A 文章编号:2095-2163(2015)03-

Chinese Words Similarity Computation based on HowNet

LI Guojia

(Department of Software,North China University of Water Resources and Electric Power,Zhengzhou 450045,China)

Abstract:In view of the problems of Chinese words similarity computation, according to the ideology of information theory on the similarity of two objects, this paper presents a new computing Chinese words similarity method based on information content of HowNet sememe and sememe and event role. The method uses HowNet lexical taxonomy to calculate the sememe information content, and uses the similarity of main sememe, the similarity of sememe and event role, similarity of the sememe node to compute Chinese word similarity. The experimental results that have been compared with Liu-qun and HowNets conclusion demonstrate that the method is similar to human judgment.

Keywords: Sememe Information Content; Sememe and Event Role; Word Similarity; HowNet

0 引 言

词语相似度计算在信息检索、文本分类、信息抽取、机器翻译等领域有广泛的应用[1]。词语相似度的计算主要有两类方法:一类是世界知识(Ontology)或者分类体系(Taxonomy)的方法,如基于WordNet中词语结点的距离来计算英语词语的语义相似度[2],基于知网(HowNet)义原间的距离或者深度等信息来计算中文词语的语义相似度[3-4]。另一类是基于语料统计的方法[5-8],这类方法假设凡是语义相近的词,其上下文也应该相似,利用上下文中词语概率的分布来计算词语相似度。

知网(HowNet)是国内外自然语言处理中使用较为广泛的中文语义资源平台,自1999年发布以来受到越来越多研究人员的关注[9]。基于知网计算中文词语的相似度研究也陆续推出了很多方法。王小林等采用变系数对各类义原加权计算,并认为不同词性对词语相似度的贡献度不同,引入词性相似度来综合计算词语相似度[10-11];……

登录APP查看全文