基于ERNIE模型的中文文本分类研究

毕云杉,钱亚冠,张超华,潘 俊,徐庆华

(浙江科技学院 理学院,杭州 310023)

近年来,随着移动互联网的迅猛发展,文本数据呈爆炸式增长,而文本分类作为自然语言处理(natural language processing,NLP)中的关键技术之一,受到了越来越广泛的关注。文本分类是一种将文本进行转换并自动分类到指定的某个或某几个类别之中的技术,NLP领域中的多种应用均可划分为文本分类,如意图识别、领域识别、情感分析等。文本分类的方法包括基于规则的方法[1]、基于统计机器学习的方法[2-3]及基于深度学习的方法[4-5],其中,由于深度学习强大的表示学习的能力,被广泛应用于文本分类任务中。而随着深度学习预训练语言模型的发展,文本分类任务的性能取得了更进一步的提升。

早期的预训练语言模型有文本向量化(word to vector,word2vec)[6]、全局词向量(global vectors for word representation,GloVe)[7]等,但这些模型不能解决一词多义问题;之后,从语言模型中获取词向量(embedding from language model,ELMo)[8]等联系上下文的词向量预训练方法被提出,解决了一词多义问题,但ELMo采用的是长短时记忆网络(long-short-term memory network,LSTM)对特征进行提取,而LSTM提取特征的能力相对较弱,不能很好地融合上下文的特征。近几年,生成性预训练(generative pre-training,GPT)模型[9]、双向编码器表征量(bidirectional encoder representation from transformers,BERT)模型[10]等被相继提出。GPT是第一个引入了转换器[11]的预训练语言模型,转换器特征提取能力强于LSTM,且转换器并行计算能力强,但GPT本质上还是一个单向语言模型,无法获得上下文相关的特征表示,无法捕捉更多的信息。BERT模型是一种基于双向转换器构建的语言模型,由谷歌公司提出后被广泛应用到自然语言处理任务中[12-13]。……