基于自身注意力时空特征的语音情感识别算法

徐华南，周晓彦，姜 万，李大鹏

（南京信息工程大学电子与信息工程学院，江苏南京 210044）

0 引 言

语音作为情感传达的载体之一，包含说话者丰富的情感信息，语音情感识别的目的是让计算机能剖析说话者语音中所带情感的变化，对人类情感感知的过程进行模拟，从而使人机交互更加人性化[1]。

目前深度神经网络（Deep Neural Networks,DNN）、卷积神经网络（Convolutional Neural Networks,CNN）、循环神经网络（Recurrent Neural Network,RNN）能自动学习有效表征说话者情绪的高级情感特征[2-5]，CNN网络特别擅长捕捉空间领域的高级特征，Neumann等[2]从空间角度，采用基于多视图的CNN模型学习音频信号的特征，在（Interactive Emotional Dyadic Motion Capture Database,IEMOCAP）数据库上识别率达到62.11%，Li等[3]提出一种基于注意力池化的CNN网络，使用两种不同卷积核的CNN网络提取空间特征并融合；RNN网络能考虑到语音帧之间的长时相关性，增强长时建模的能力，Ho等[4]提出一种多模态多组注意力机制和RNN网络的语音情感识别方法，融合音频-文本信息，利用RNN网络捕捉上下文信息。然而文献[2-4]只考虑了空间特征学习或时间依赖性构造，并没有对关键的时空依赖关系进行建模。而语音信号是时序信号，本身就存在多样性，且情感相关信号不仅包含某一时刻的空间成分，还包含时间片段之间的上下文相关性，仅仅使用CNN或者RNN网络无法快速学习语音情感特征，为了更好地识别情感，必须对关键的时空依赖关系进行建模。于是Zhao等[5]利用全卷积网络（Fully Convolutional Network,FCN）和长短期记忆网络（Long Short-Term Memory,LSTM）提取时空特征表征，在IEMOCAP数据库上的非加权平均识别率提高了4.2个百分点，但是无法消除说话者差异所带来的影响，且在时间特征提取模块，训练单一的LSTM时会出现不稳定和梯度消失等现象。……