戴洪涛 侯开虎 周洲 肖灵云



摘 要: 自然语言处理(NLP)旨在如何让计算机更好的理解人类的语言,但是在自然语言中句段、词汇本身存在多义和歧义,计算机无法将其转换为能识别的二进制编码,这是当下NLP领域内存在的最大问题。本文将Viterbi算法的词性标注模型、CBOW语言模型及K-Means聚类算法组合,构建一种基于词向量的多义词组合消歧模型(VCK-Vector)。通过词性分布对比、语义相关度任务和聚类效果分析等方法评测模型,最后通过百度AI词向量与模型输出结果进行对比。结果显示基于VCK-vector模型在实际场景运用中是可行的。
关键词: 自然语言处理;多义词消歧;VCK-vector模型
中图分类号: TP391.9 文献标识码: A DOI:10.3969/j.issn.1003-6970.2020.02.029
【Abstract】: Natural Language Processing (NLP) aims to make computers better understand human language. However in natural language,there are polysemy and ambiguity in sentence segment and vocabulary, and computers cannot convert them into recognizable binary codes. This is the biggest problem in the field of NLP.This paper combined the part of speech tagging model of Viterbi algorithm, CBOW language model and K-Means clustering algorithm to construct a polysemous word combination disambiguation model (VCK-Vector) based on word vector. The model was evaluated by comparing part-of-speech distribution, semantic correlation task and clustering effect analysis. Finally, Baidu AI word vector was compared with the output of the model. The results are showed that the paper propose polysemous word combination disambiguation model (VCK-Vector) based is feasible in scene application.
【Key words】: Natural language processing; Polysemy disambiguation; VCK-vector model
0 引言
中文同一个句子、词汇在不同场景运用会表达出不同的含义,使计算机准确分辨不同的语义是一件很困难的事情。让计算机消除词汇中的歧义,理解人类语言是自然语言处理领域的核心任务。针对计算机如何在处理中文多义词消除歧义的问题,国外的研究起步较早,1986年Hinton等人就提出了One-hot表示法的雛形,虽然运用了神经网络来获取信息,但是还未上升到自然语言处理的高度,仅仅是把符号映射在N维空间中[1]。随后,Benigo等人通过神经网络建立了概率语言模型,然而此模型在训练前指定的上下文范围十分有限,并缺乏对时序信息进行建模,不符合自然语言处理文本信息的要求[2]。另外,Mnih A.和Hin G提出了于语言知识无关的构建词类二叉树的方法[3]。Zheng X等人基于先前的研究结果,将神经网络框架应用到了中文领域[4]。……