基于词向量的维吾尔语词项归一化方法

罗延根,李 晓,蒋同海,杨雅婷,周 喜,王 磊

(1.中国科学院新疆理化技术研究所,乌鲁木齐 830011;2.中国科学院新疆民族语音语言信息处理重点实验室,乌鲁木齐 830011; 3.中国科学院大学,北京 100049)

0 概述

词汇归一化是将看起来不完全一致的多个词条归纳成一个等价类,是众多自然语言处理方面前处理的一个重要步骤。大部分自然语言处理的工作都要求在一个限定的词汇表上进行处理,这样能够降低模型的复杂度。例如机器翻译、命名实体抽取、信息检索等研究,它们处理的数据都是经过归一化之后的“干净”语料。

近年来,随着互联网的发展,社交媒体上的文本也呈爆炸式增长,但是社交媒体上用户产生的文本并不是很正规的文本,它包含很多不合语法的句子、不正规拼写的单词等。对于这种文本进行自然语言处理的相关工作就显得特别困难,因为有太多的未登录词。在对用户产生的文本进行处理之前,词汇归一化就显得特别重要。

本文提出将含有非正式维吾尔语用语的社交媒体语料与正规维吾尔语用语的新闻语料结合起来用于获取一个词的低维向量空间,将正规用语的语料中的词汇当作候选词,对于向量空间中的集外词(OOV),首先找到向量空间中的k近邻,再对k近邻的正规词进行相似度筛选,最后选出一个n-best的候选词汇集。对于非正规语料句子中的集外词(非正规词),从候选词汇集中选出一个最优的对应的词,类似于机器翻译的解码过程,采用贪心解码器,评估指标为综合字符串相似度以及语言模型的一个评分。……