SentiBERT：结合情感信息的预训练语言模型*

杨 晨，宋晓宁，宋 威

江南大学人工智能与计算机学院，江苏无锡 214122

1 引言

随着经济社会的发展，互联网中的用户信息呈爆发式增长。爬虫、数据库等技术为收集这些信息提供了极大的便利，而如何使用这些数据则成了一个很重要的研究议题。这其中，最有价值，最让企业、机构或个人重视的就是用户舆论的情感信息，比如微博上对热点事件的评论，豆瓣上对电影的评价等。对用户的情感进行分析、分类，对企业和有关部门的发展、运营有重大的意义。

计算机技术的发展为海量数据的处理提供可能，特别是深度学习的出现，使得计算机模型对自然语言的理解能力大大提高。长短期记忆网络（long shortterm memory，LSTM）[1-2]、卷积神经网络（convolutional neural networks，CNN）[3-4]在情感类任务上都取得了很好的效果。近年也有研究使用降噪自编码器[5]，通过区分领域独有特征和共享特征以及进行二次干扰的方式来进行跨领域的情感分类。

许多研究考虑任务的多元特征或加入外部信息来增强模型的效果。Yu等[6]结合产品信息来训练词向量用于分类不同产品的评论情感。Zheng等[7]通过词的语义规则来提取关键句，实现高效的情感分析。Yu等[8]通过加入辅助任务，删去文中情感词来增加模型的泛化能力。

情感分类模型精度的不断提升一定程度上受益于在大规模预料上预训练模型的发展，作为预训练语言模型的最初应用形式，预训练的词向量[9-10]已经证明在许多任务中都有着明显的积极效果。近些年来，研究者不满足于词向量保留的浅层语义信息，进而追求一个能够像ImageNet一样保留深层次特征的可迁移的预训练模型[11]。……