基于双通道语音转图像式情感识别方法

潘慧琳，韩志艳，王树瑞，姜澜，龚伟，王雅琼

（渤海大学控制科学与工程学院，辽宁锦州 121013）

情感识别是一个跨学科的研究领域，近年来受到越来越多的关注，比如可以通过语音信号、面部表情信号和生理参数来进行情感识别。对于语音情感识别，文献[1]在语音识别中引入锚模型的思想，改进了识别系统的性能。文献[2]提出了一种新的傅里叶参数模型，利用语音质量的感知内容和一阶二阶的差异来进行独立于说话人的语音情感识别。文献[3]研究探讨如何使用对抗性多任务训练来提取训练域与测试域之间的共同表示，并发现了从未标记的数据中提取尽可能多的有用信息是至关重要的。文献[4]提出了一种基于子空间学习和特征选择融合的语音情感识别方法，该方法在跨库条件下具有较好的性能。

目前，语音情感特征主要有语句发音持续时间、基因频率、振幅能量、共振峰、声门波、谐波噪声比等，虽然已经提出了一些语音情感特征，但是大多是基于语音的韵律特征和音质特征，目前还没有一个人工设计的最优特征集。研究者可能会将越来越多的特征组合在一起，这可能会导致维度过高。此外，语音情感特征很容易受到说话者、内容和环境变化的影响[5-9]。因此，文中提出采用深度学习模型自动提取情感的抽象特征，有效地降低了运算量，提高了情感特征参数的鲁棒性[10-16]。

1 系统总体结构及功能

如图1 所示为该情感识别系统的总体结构框图，其包括情感信号获取、情感信号预处理、语音信号变图像信号、情感特征参数的自动提取、获取组合特征参数及最终的识别模块。……