主题联合词向量模型

吴旭康,杨旭光,陈园园,王营冠,张阅川

(1.中国科学院上海微系统与信息技术研究所,上海 200050;2.上海科技大学 信息科学与技术学院,上海 201210; 3.上海物联网有限公司,上海 200018)

0 概述

词向量[1-2]是用数学形式的向量来表达单词,可用于自然语言处理任务中的很多方面,比如命名实体识别、句子成分分析[3]、单词相似度计算等。因此,词向量的研究得到了越来越多的关注。

当前,大部分的词向量模型通常使用一个向量来表示一个单词,忽视了单词的多义性,从而削弱了词向量对单词语义表达的唯一性。为了解决这样的问题,多向量模型被提出[4-5],该模型通过对同一个单词的不同上下文语境(context)进行聚类,针对每一个类簇生成一个词向量,然而,由于该方法过于笨拙和繁琐,于是,另一些基于神经语言模型[6-8]的词向量模型被提出,这类模型通过构造不同的神经网络,使用随机梯度下降(Stochastic Gradient Descent,SGD)或者EM(Expectation Maximum)算法得到最终的模型参数,进而得到词向量。

然而,即使采用多向量模型,在生成多个词向量的过程中也存在一个较大缺陷——这些多向量模型认为同一个单词的不同上下文语境是独立的,不具有相关性。事实上,即使是不同的上下文语境,仍然可以有语义(Semantic)上的相似或者重叠。例如,在英语中,单词“like”在句子“I like that girl”和句子“She is my like”中,两者表达了几乎一致的信息,却完全是2种上下文语境。因此,把不同的语境完全的隔离开并不是完美可行的方案。于是,TWE模型被提出,结合单词的主题信息,得到更具表达性的词向量[9],但该模型简单地将单词和主题向量连接作为最终的词向量,在向量表达性上不够突出。……