基于免疫原理词表示的词相似度计算

2015-04-29 23:57:57杨锦锋关毅
智能计算机与应用 2015年3期

杨锦锋 关毅

摘 要:词相似度计算在自然语言处理、信息抽取等研究中发挥重要作用。基于语料的词相似度计算是一类重要方法,其基本思路是从语料中学习词的向量表示,基于向量余弦相似度值作为词的语义相似度。本文提出一种新的基于免疫原理词表示的词相似度计算方法,并在SemEval 2012 Task 4数据上进行了验证并和其他方法进行比较,实验表明本文的方法是有效的,并且优于大多数比较系统。

关键词:词相似度;词表示;免疫原理;分布式语义假设

中图分类号:TP391.41 文献标识号:A 文章编号:2095-2163(2014)02-

Word Similarity Measure based on Immune Principles Inspired Word Representation

YANG Jinfeng, GUAN Yi

(School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China)

Abstract: Word similarity measure is important to researches on natural language processing, information extraction, etc. Corpus based similarity computing is a most important type of methods for the task, by which word vector-representations are learnt from corpuses and are applied for word similarity measure with a cosine function. This research proposes a new method for word similarity computing based on immune principles inspired word representations. The proposed method is validated on the data set of SemEval 2012 Task 4 and is compared with other published researches. Experimental results show that the proposed method is effective and outperforms most other published researches.

Keywords: Word Similarity; Word Representation; Immune Principle; Distributional Hypothesis

0 引 言

面向词的语义相似度问题主要体现在两个方面的研究,一个是基于属性相似的词语义相似度,一个是基于模式相似的词关系相似度[1]。本研究主要关注基于属性相似的词语义相似度计算。如果两个词之间有较高的属性相似度,那么称这两个词为义词。词相似度计算是为了挖掘语义相似的词或者相关的词,用于缓解数据稀疏的问题,因而在自然语言处理、信息抽取、信息检索等任务中发挥重要作用,比如特征抽取、查询扩展、问句匹配等。词语义相似度计算方法主要有两类,一类是基于词典或叙词表的方法,这类方法的典型特点是通过计算词典中与两个词相关联的边的数量计算词的相似度;另一类方法是基于语料的方法,这类方法的典型特点是获取词的上下文信息,处于相似上下文的词具有一定的相似度[2]。第二类方法不受限于词典的规模,可扩展性好,逐渐成为主流方法。……

登录APP查看全文