基于注意力的短视频多模态情感分析

黄 欢，孙力娟,2，曹 莹，郭 剑,2，任恒毅

基于注意力的短视频多模态情感分析

黄 欢1，孙力娟1,2，曹 莹3，郭 剑1,2，任恒毅1

(1. 南京邮电大学计算机学院，江苏 南京 210003； 2.南京邮电大学江苏省无线传感网高技术重点实验室，江苏 南京 210003； 3. 河南大学计算机与信息工程学院，河南 开封 475001)

针对现有的情感分析方法缺乏对短视频中信息的充分考虑，从而导致不恰当的情感分析结果。基于音视频的多模态情感分析(AV-MSA)模型便由此产生，模型通过利用视频帧图像中的视觉特征和音频信息来完成短视频的情感分析。模型分为视觉与音频2分支，音频分支采用卷积神经网络(CNN)架构来提取音频图谱中的情感特征，实现情感分析的目的；视觉分支则采用3D 卷积操作来增加视觉特征的时间相关性。并在Resnet的基础上，突出情感相关特征，添加了注意力机制，以提高模型对信息特征的敏感性。最后，设计了一种交叉投票机制用于融合视觉分支和音频分支的结果，产生情感分析的最终结果。AV-MSA模型在IEMOCAP和微博视听(WB-AV)数据集上进行了评估, 实验结果表明，与现有算法相比，AV-MSA在分类精确度上有了较大的提升。

多模态情感分析；残差网络；3D卷积神经网络；注意力；决策融合

近年来，随着社交媒体的发展，如微博、抖音、快手的出现，人们越来越倾向于在平台上传文字、图片、视频来表达个人情感，由此短视频的数量日益增多。面对海量的短视频数据，根据其情感进行分类，从而引导用户从大量数据中找到有价值的信息，已成为当前的研究热点之一。……