自然语言处理预训练技术综述

陈德光，马金林,3+，马自萍，周 洁

1.北方民族大学 计算机科学与工程学院，银川 750021

2.北方民族大学 数学与信息科学学院，银川 750021

3.图像图形智能处理国家民委重点实验室，银川 750021

自然语言处理预训练在不同时期有不同的称谓，但是，本质是使用大量语料预测相应单词或词组，生成一个半成品用以训练后续任务。自然语言预处理是预训练以及后续任务训练的一部分，用以将人类识别的语言转化为机器识别的语言，目的是辅助提高模型性能。自神经网络预训练技术用于自然语言处理以来，自然语言处理取得了重大发展，以是否采用神经网络为依据，学者们将自然语言处理技术划分为基于传统的自然语言处理和基于神经网络的自然语言处理。马尔可夫[1]与香农[2]语言建模实验的成功，叩响了传统自然语言处理的大门。在传统的自然语言处理中依据处理方法分为基于规则的自然语言处理和基于统计的自然语言处理。在20 世纪50 年代中期以前，学者们普遍使用的是基于简单统计的自然语言处理。1957 年乔姆斯基出版了《句法结构》[3]一书，该书对语料库的语料不充分性提出了质疑，并提出基于规则的自然语言处理，促使基于规则的自然语言处理逐渐占据大量市场。20 世纪80 年代以后，人们发现规则不但不能穷举，而且规则之间会出现一定冲突，因此，大量研究人员转向基于统计的自然语言处理。在此之后，大多数研究者在这两种方法间寻求突破，直至神经网络蓬勃发展，研究热点才由传统的自然语言处理转变为基于神经网络的自然语言处理。……