基于注意力机制的特征融合-双向门控循环单元多模态情感分析

赖雪梅，唐 宏，陈虹羽，李珊珊

（1.重庆邮电大学通信与信息工程学院，重庆 400065；2.移动通信技术重庆市重点实验室（重庆邮电大学），重庆 400065）

（*通信作者电子邮箱798193875@qq.com）

0 引言

随着互联网的普及和科学技术的发展，大量用户通过社交媒体（如微博、抖音、快手等）以文本、图像、音频或视频等多种方式来发表自己的观点，海量社交媒体数据的形态不再局限于单一的文本模式［1］。面对如此庞大的多模态信息，虽然单模态数据的情感分析近年来在客户满意度分析、衡量投票意向等方面取得了成功，但由于信息的多样性，它不能有效处理多模态数据，多模态情感分析（Multimodal Sentiment Analysis）应运而生［2］。

多模态情感分析是在单模态情感分析的基础上，从文本、图像或音频组成的数据甚至视频数据中对观点、情感状态等进行的计算研究［3］。社交媒体是各种产品和用户服务意见的巨大来源，文本、图像、音频和视频等多个模态信息的有效结合可以更好地指导分析，减少分类错误，提高情感分类器的准确性。对视频进行情感分析可以弥补文本情感分析中声音和视觉的不足，语音和面部表情为更好地识别意见持有者的情感状态提供了重要线索，这对于舆情监控、商品推荐和研究用户反馈等实际应用具有重大的现实意义［4-5］。

近年来，深度学习方法在情感分析领域取得了广泛的应用，显示出巨大的潜力［6］。一般的深度学习模型有：卷积神经网 络（Convolutional Neural Network，CNN）［7］、长短时记忆（Long Short-Term Memory，LSTM）网络［8］和门控循环单元（Gated Recurrent Unit，GRU）［9］等。大多数研究者将深度学习模型与多模态情感分析相结合以解决多模态特征融合问题，文献［10］中使用LSTM 模型进行图文融合。……