基于Reformer模型的文本情感分析

王 珊，黄海燕，乔伟涛

(华东理工大学 信息科学与工程学院，上海 200237)

0 引 言

传统的文本情感分析[1]大多采用机器学习和情感词典的方法。随着深度学习的不断发展，越来越多深度学习技术被用于情感分析任务中，目前，已经提出卷积神经网络(convolutional neural networks，CNN)、长短时记忆法(long short-term memory，LSTM)、双向长短时记忆法(bi-directional LSTM，Bi-LSTM)等多种神经网络模型及改进方法来解决此类问题[2-5]。但这些方法还存在着训练时间长、复杂度大的问题。在已有工作的基础上，本文提出了基于Reformer模型的文本情感分析方法，该模型在Transformer模型的基础上，引入局部敏感哈希注意力和可逆残差网络，既能克服传统CNN、RNN网络梯度爆炸或梯度消失的问题，同时简化了情感分析模型结构，提高了文本训练的速度。

1 相关工作

近年来，互联网+的快速发展使评论文本情感分析在基于用户的大数据分析中占有一定的比重，相对于传统机器学习方法的不灵活性等特点，深度学习的方法可以更加高效、准确地判断文本所蕴含的情感信息，因此通过深度学习的方法获取文本情感信息是目前较为热门的一个研究领域，并取得了良好的研究成功。例如，曹宇等利用Word2vec对文本进行向量化处理，然后利用双向门控循环单元进行训练并取得了较好的效果[6]。殷昊等利用多组LSTM对经过欠采样处理的多组数据分别进行训练，最后将各组训练结果融合进行文本情感分析，很好实现了不均衡数据集的情感分析[7]。王丽亚等利用CNN网络和CNN-BGRU网络针对字符级文本分别进行特征学习，最后引入Attention机制(注意力机制)对文本情感进行分类[8]。……