基于ELMo和Transformer混合模型的情感分析

赵亚欧,张家重,李贻斌,王玉奎

(1.浪潮集团 金融信息技术有限公司，山东 济南 250101；2.济南大学 信息科学与工程学院，山东 济南 250022；3.山东大学 控制科学与工程学院，山东 济南 250061)

0 概述

情感分析是自然语言处理的一个重要应用领域，其目的是利用计算机技术分析文本，获得文字背后的情感信息。随着互联网技术的发展，人们的活动越来越多地集中在网络上，人们通过电商网络获取商品信息，购买商品并发表评论；利用新浪、网易等主流网站获取新闻信息，并发表自己的观点；利用微博、微信等APP与其他人互动。如果能对网络上的文本进行情感分析，则有助于电商了解用户需求，实现对商品的改进；有助于新闻媒体了解用户的喜好，进行新闻的个性化推送；也有助于政府机构对舆情进行监控，避免重大舆情事件的发生。

传统的情感分析通常是采用人工抽取文本特征的方式，然后通过训练机器学习分类器实现文本的情感分类。常用的机器学习分类器有支持向量机(support vector machine，SVM)[1]、朴素贝叶斯(naïve bayes，NB)[2]、深度森林(deep forest，DF)[3]等。但此类方法需要针对不同的应用领域构造不同的特征提取方法，需要相关领域专家参与。

近年来，人工神经网络方法也被用于情感分析。人工神经网络可以自动抽取文本特征，具有人力成本低、领域知识要求少、应用范围广的特点，渐渐成为该领域的主流。Kim[4]首先将神经网络方法用于情感分类，该方法将Word2Vec工具在Google News文本语料上训练所获得的词向量作为神经网络输入；……