结合词形词性和译文的汉语词义消歧

张春祥 赵凌云 高雪瑶

摘 要：针对汉语中存在的词汇歧义问题，根据左右邻接词汇的词形、词性和译文信息，采用卷积神经网络（convolution neural network，CNN）来确定它的真实含义。选取歧义词汇的消歧词窗，共包含两个邻接词汇单元，抽取其词形、词性和译文作为消歧特征。以消歧特征为基础，结合卷积神经网络来构建词义消歧分类器。利用SemEval-2007： Task#5的训练语料和哈尔滨工业大学语义标注语料来优化CNN的参数。采用SemEval-2007： Task#5的测试语料对词义消歧分类器进行测试。实验结果表明：相对于贝叶斯（Bayes）模型和BP神经网络（BP neural network）而言，本文所提出方法的消歧平均准确率分别提高了14.94%和6.9%。

关键词：词汇歧义;卷积神经网络;词汇单元;消歧特征;词义消歧

DOI：10.15938/j.jhust.2020.03.020

中图分类号： TP391.2

文献标志码： A

文章编号： 1007-2683（2020）03-0131-06

Abstract：For vocabulary ambiguity problem in Chinese， CNN （Convolution Neural Network） is adopted to determine true meaning of ambiguous vocabulary where word， part-of-speech and translation around its left and right adjacent words are used. We select disambiguation window of ambiguous word which contains two adjacent lexical units and word， part-of-speech and translation are extracted as disambiguation features. Based on disambiguation features， convolution neural network is used to construct word sense disambiguation （WSD） classifier. Training corpus in SemEval-2007： Task#5 and semantic annotation corpus in Harbin Institute of Technology are used to optimize parameters of CNN. Test corpus in SemEval-2007： Task#5 is applied to test word sense disambiguation classifier. Experimental results show that compared with Bayes model and BP neural network， the proposed method in this paper can make average disambiguation accuracy improve 14.94% and 6.9%.

Keywords：vocabulary ambiguity; convolution neural network; lexical unit; disambiguation feature; word sense disambiguation

0 引 言

詞义消歧是自然语言处理领域中的关键性研究课题。在汉语文本中，存在着词汇歧义问题。这种问题给机器翻译、信息检索和文本分类带来了很大的困扰。只有先判断歧义词汇的真实语义，才能对汉语文本进行有效快速的分类和翻译。国内外很多学者针对这一现象开展了大量的研究工作。

在汉语词义消歧问题上，张仰森等[1]研究了贝叶斯模型、决策树模型、向量空间模型和最大熵模型。比较了它们的消歧效果，为词义消歧模型的发展与应用奠定了基础。Singh等[2]提出了基于共现词的条件概率和基于朴素贝叶斯分类器的两种有监督词义消歧算法，能够提高消歧精度。赵谦等[3]利用综合词的词性、词语所处的语境和Hownet语义词典来计算语义相似度。……