基于语言模型的预训练技术研究综述

岳增营，叶 霞，刘睿珩

(火箭军工程大学 作战保障学院，陕西 西安 710025)

0 引言

自然语言处理(Natural Language Processing，NLP)先后经历了语法规则语言模型、统计语言模型和神经网络语言模型。发展至今，语言表示学习成为驱动NLP发展的一个重要因素。基于知识库规则的语言表示是人工归纳出的自然语言的语法规则，它来源于人类掌握的语言学知识和领域知识，在计算机初始阶段，随着编程语言的发展而出现。然而，由于自然语言本身的多样性，基于知识库规则的语言表示学习不可持续。

N元模型(N-gram)的出现利用了较大的语料库，标志着统计语言模型(Statistical Language Model,SLM)的建立，其基本原理是利用前N个词预测下一个词，对于不可见的N-grams，采用平滑操作处理。然而，N-gram模型有三个缺陷，一是只能建模邻近的前N个词，忽略了长距离词语之间的依赖关系；二是无法建模词之间的相似性；三是维度灾难，大大制约了通用语言模型在大规模语料库上的建模能力，尤其对离散空间中的联合分布建模时，这个问题尤为突出。

基于独立同分布假设的词袋模型(Bag of Words，BOW)，基于局部与整体假设的词频-逆向文件频率(Term Frequency-Inverse Document Frequency，TF-IDF)表示以及基于奇异值分解的潜在语义分析 (Latent Semantic Analysis，LSA)模型，都推动了统计语言模型的发展，但是这些方法无法解决维度灾难[1]和数据稀疏带来的零概率问题。

NNLM(Neural Net Language Model)[2]的提出标志着使用神经网络进行语言建模的开始，Word2Vec[3]、GloVe[4]对其进行了简化，实现了符号空间到向量空间的映射，标志着静态词嵌入(Word Embedding)的诞生，使得在NLP领域大规模使用神经网络方法成为可能。……