西方乐器单音情感感知与音色的相关性分析

戴铭微，王鑫，朱伟，高萌

(中国传媒大学音乐与录音艺术学院，北京 100024)

1 引言

音乐是人们表达情感的重要方式，随着智能音乐的迅速发展，乐器音色情感感知特点的研究逐渐受到关注。音乐的情感感知通常从客体角度和主体角度出发进行区分，客体角度强调听音者感知到的音乐情感表达，而主体角度是听音者所产生的情感体验[1，2]。本文将从音乐情感的客体角度展开论述。在音乐情感感知的研究中，常用的情感模型主要分为离散情感模型和维度情感模型。离散情感模型通常要求被试根据愤怒、恐惧、惊讶、快乐等类别进行分类或打分[3，4]。由于离散情感模型标注的非连续性[5]，很难通过多元统计方法建立情感感知结果与声学特征之间的关联。而维度情感模型能够描述连续的感知水平，便于实现与声学特征的关联。以情感环为基础的愉悦度(valence)—唤醒度(arousal)二维模型[6]是知名度较高的模型。另外Watson提出的积极-消极情感模型(Positive Activation-Negative Activation)[7]和Thayer提出紧张唤醒度(Tension Arousal)-能量唤醒度(Energy Arousal)模型[8]也是研究中经常使用的模型。由于二维模型无法准确描述情感感知的多样性，近年来人们提出了情感感知三维模型。其中，愉悦度、紧张唤醒度和能量唤醒度的三维模型(简称VTE三维情感模型)是最有说服力的模型，并广泛应用到音乐情感感知实验中[7-10]。

多维尺度分析(Multidimensional scaling analysis，以下简称MDS)也是研究情感及音色感知的有效方法。1977年，Grey利用MDS技术推导了音色的三维感知模型，其中第一个维度与频谱能量分布有关，剩下的两个维度与高次谐波起振-衰减的时间同步程度和包络的频谱波动程度有关[9]。Eerola和Vuoskoski利用MDS的方法，基于18个西乐单音建立了音色二维情感感知空间模型，模型的两个维度分别对应愉悦度和能量唤醒度[10]。谢，张对18个民乐的感知属性进行主观实验，利用MDS法得到了音色感知空间。结果表明低频能量分布和亮度是影响音色感知的主要声学因素[11]。

尽管对音乐和情感的研究越来越多，但对于音乐元素如何影响音乐的情感却很难得出决定性的结论[12]。目前许多学者基于音乐的模式、旋律、和声、节奏和形式等心理物理线索(psychophysical cues)进行研究，而音色的声学特征也是传递情感信息的重要元素。张婧颖等人对18种民族乐器单音的谐和性进行分析，发现频谱质心是影响乐器单音谐和性的重要声学特征，并且频域特征也是影响其组合协和性的主要物理因素[13]。Wu等人对西方乐器持续乐音采用配对比较的方法，比较其表达情感方面的差异，结果表明明亮度、起振时间和奇偶谐波能量比与情感感知高度相关。随后将实验在西方乐器瞬态乐音中进行研究的扩展，证明吉他、竖琴和弹拨小提琴与消极情绪高度相关[14]，衰减斜率和显著谐波密度是西方乐器瞬态乐音情感感知的重要音色特征。Eerola等人基于三维情感模型对西乐单音进行实验，发现高低频能量比、频谱规则度和起振斜率对愉悦度起主要作用，而高低频能量比、谱偏度和时域质心是影响能量唤醒度的重要声学特征[15]。由于中西方文化背景差异，西方文化背景被试对西乐单音得出的结果是否适用于中国文化背景被试仍有待商榷。

为了探究不同文化背景被试对西乐单音音色情感感知的差异，本文以中国被试为研究群体，西方乐器单音为研究对象，采用三维情感感知模型和情感感知相似度实验建立中国被试西方乐器单音的情感感知空间，然后提取音色声学特征，通过回归分析方法建立情感感知结果与声学特征之间的关联。最终通过对比中西方被试的结果差异，探究情感感知的共性与差异性。这将为今后音乐情感的跨文化智能推荐提供一定的理论参考。

2 西方乐器单音情感感知实验

2.1 实验1：基于三维感模型的单音情感感知实验

2.1.1 实验方法及过程

实验信号为18种西洋乐器单音，其中包含弹拨乐器(吉他、羽管键琴、钢琴、竖琴)，吹管乐器(小号、长笛、双簧管、萨克斯、长号、单簧管、圆号)和弓弦乐器(大提琴、高音提琴、中提琴、小提琴)。本文采用维也纳管弦乐音色库(VSL)集合中18种音色差异相对较大的西洋常见乐器，演奏时长尽量控制在2s左右，采样率为44.1kHz，量化位数为16bit。为了避免响度对听感实验的影响，所有实验信号进行响度均衡处理。首先在Audition工作站中依据ITU-R BS.1770-4标准进行响度匹配[16]，归一化到-26LUFS，之后由3名音乐专业被试再对响度进行微调，校准后的重放声压级约在71dBA。

30名被试参加了本次实验，其中男生8人，女生22人，年龄在18-25岁之间，所有被试均有五年以上专业音乐学习背景(平均学习年限=12.3，标准差=4.5)。要求被试在愉悦度、紧张唤醒度，能量唤醒度三个维度上，根据九级李克特量表对实验信号表达情感进行打分，表达情感即实验信号试图传达的情感。实验前为被试播放18种单音信号，以便熟悉实验要求。在实验过程中每个信号可随意播放多遍。实验结束后，对被试进行音乐学习背景调查。

图1 情感模型实验界面

2.1.2 实验结果

•愉悦度

图2 乐器类别对愉悦度的影响，误差线根据标准差标注

•紧张唤醒度

图3 乐器类别对紧张唤醒度的影响，误差线根据标准差标注

•能量唤醒度

图4 乐器类别对能量唤醒度的影响，误差线根据标准差标注

为了解三个情感维度之间关系，对三个情感维度进行皮尔逊相关性计算(见表1)。结果表明，紧张唤醒度和能量唤醒度呈显著强相关，而紧张唤醒度与愉悦度呈弱负相关，能量唤醒度与愉悦度呈非常弱的正相关，因此舍去紧张唤醒度，仅保留愉悦度和能量唤醒度作为中国被试对西洋乐器的情感感知模型。

表1 VTE三维情感维度相关性分析结果

18种乐器在这个二维情感模型上的空间分布如图5所示。吹管乐器集中分布在图表下方，能量唤醒度评分较低。弹拨乐器集中分布在图表右侧，有较高的愉悦度评分。弓弦乐器大多集中在上方，有较高的能量唤醒度评分。

图5 18种乐器愉悦度和能量唤醒度空间分布图数字1，2代表由两把不同的乐器演奏相同单音

2.2 实验2：情感相似度实验及MDS分析

2.2.1 实验方法及过程

将实验1中的18个实验信号两两配对，要求被试根据情感相似度(Affective similarity)在9级李克特量表上进行评分(1分表示非常不相似，9分表示非常相似)。情感相似度是指对比的实验信号是否表达相似的情感，例如高兴、悲伤、愤怒、平静、恐惧、兴奋等。5分表示具有中等水平的相似度。实验环境、实验设备与30名被试均与实验1相同，但在不同时间段进行测试，避免不同实验之间的干扰。在正式实验之前，被试将18个单音全部听一遍，感受所有实验信号之间的不同。配对信号一共有181对信号，被分成3组，配对信号中前后两个信号时间间隔1s，被试可以随意播放多次。被试在每组信号之间可以进行适当的休息。实验结束后，让被试填写问卷调查，考察被试进行判断时的影响因素。

图6 情感相似度实验界面

2.2.2 实验结果

对30名被试的情感感知相似度结果进行克隆巴哈系数计算，结果为0.97，被试之间的一致性较好，结果均为有效数据。为得到西方乐器单音的情感感知模型，对实验情感相似度结果采用多维尺度(MDS)进行分析。MDS在音乐心理学领域被大量应用于音色建模[17， 18]，是一种将对象间差异转换成距离，将研究对象在低维空间表示出来的方法。基于最优尺度变换的MDS模型(PROXSCAL)是对传统MDS的优化，可以对相似性数据和不相似性数据、多矩阵源等多种数据类型进行分析[20]。本实验30名被试共构成30个矩阵，以大的数值代表程度大的相似性。考虑到实验中不同被试对于情感相似度的评价标准可能存在差异，因此本实验使用了考虑个体差异的加权欧几里得度量模型，对不同被试分别赋予权重再进行计算分析。因此采用PROXSCAL进行多维尺度分析。MDS的模型拟合优度通常用应力值(Stress)进行衡量。较小的应力值表示较好的拟合解决方案，应力值小于0.2时，认为模型拟合效果较好[21]。由于应力值只能模糊的表示拟合优度，因此会结合碎石图查看拟合效果，并最终确定MDS维度数。在碎石图中，应力大小与维度数成反比，图中的拐点即为可接受应力的最小维度数[22]。

在西方乐器情感感知相似性模型中，通过碎石图(图7)可以看出，维度数为2时，曲线出现了明显的转折，对应的正态化原始应力值为0.06，即前两维坐标就已经可以较好的解释研究主体结构的有效信息，所以选用二维空间来分析情感感知相似度结果。

图7 情感相似度MDS模型碎石图

图8为西方乐器情感相似度空间图。除小号外的吹管类乐器均聚集在左下方；弹拨类乐器均分布在右侧，弓弦类乐器的分布在左上方。乐器的分布按乐器类别形成了聚类。

图8 情感相似度MDS模型二维空间图

2.3 两种情感空间的关联

为了探究两种情感空间之间的联系，实验1中提出的二维情感空间与情感相似度二维空间进行相关性分析，结果如表2所示。实验结果表明，情感相似度一维坐标与能量唤醒度高度正相关，情感相似度二维坐标与愉悦度中度相关。由此可见，两种方法描述的被试情感空间一致性较好，可以用两维情感空间进行描述，第一维度与愉悦度有关，第二个维度与紧张唤醒度有关。由于两种情感空间相关性较好，因此选择情感相似度二维空间进行相关性分析。

表2 情感相似度MDS模型与VTE三维情感模型维度相关性

3 情感感知与音色的关联分析

3.1 西方乐器单音声学特征

本文提取了24种描述单音音色的声学特征，用于探究影响西方乐器单音情感感知的声学参数。声学特征主要包括谐波特征，频域特征，时域特征和时频域特征。使用Timbre Toolbox对实验1中的18个乐器单音进行特征提取，计算方法均采用工具包默认的参数设置[23]。工具包提供了多种算法提取频域特征，本文选择基于FFT计算ERB频带能量的方法。对于时变特征，选择中位数(Median)和四分位(Interquartile Range，以下简称IQR)作为该特征的统计值。通过对特征值进行相关性分析，剔除皮尔逊系数高于0.9的特征值，最终留下较为独立的19维声学特征。提取的声学特征在附录中用“*”进行标注。

3.2 声学特征关联结果分析

将声学特征作为自变量，维度1坐标和维度2坐标分别作为因变量进行逐步回归分析，构建声学特征和情感感知维度之间的关系。逐步回归分析利用事先合定的标准，逐一将具有显著意义的自变量引入方程，同时对每一个自变量进行检验，剔除不具有显著性的变量，使方程中的每一个变量都具有显著意义，即建立“最佳”方程的回归分析[24]。

在逐步回归分析中，校正决定系数R2表示反应变量的总变异中可由回归模型中自变量解释的部分所占比例，是衡量模型好坏的指标[19]。R2越接近1，对模型解释能力越强。标准归一化系数β表示自变量对因变量的影响程度，β值越大说明该变量对因变量的影响越大。实验计算结果见表3。

维度1可由愉悦度解释，由谐波偏移和频谱滚降度组成的回归模型F(1，15)=33.99，p<.001，模型具有统计意义。从实验结果可以看出，对于西方乐器而言，谐波包络平滑，高频分布动态变化较大的单音愉悦度更高。

维度2可由能量唤醒度解释，由时域包络调制幅度、刺激值组成的模型F(1，15)=39.61，p<.001，具有统计意义。实验结果表明，在能量唤醒度上，颤音多，高次谐波丰富的单音，评分更高。

表3 维度1和维度2的回归模型参数值

4 中西方文化背景被试单音情感感知的异同

本文实验结果表明，中国被试对西洋乐器的情感感知模型由愉悦度和能量唤醒度两个维度构成。Eerola等人发现，西方被试对西洋乐器的情感感知模型同样由愉悦度和能量唤醒度构成，即不同文化背景被试的西洋乐器单音情感感知空间构成十分相似，即单音的情感感知具有跨文化的普适性。

对于中国被试而言，愉悦度主要与谐波偏移和频谱滚降度有关，愉悦度高的单音，谐波包络更为平滑，高频动态变化较大。能量唤醒度主要与时域包络调制幅度、刺激值有关，高次谐波丰富，颤音变化大的乐器能量唤醒度更高。在Eerola论文中，西方被试认为愉悦度主要与高低频能量比、频谱平滑度和起振斜率等有关。低频丰富、频谱包络平滑，起振快的单音，愉悦度评分较高。能量唤醒度主要与起振斜率、时域包络质心、高低频能量比等有关，高频能量丰富、起振较快的乐器，能量唤醒度较高。对比中西方被试的实验结果发现，频域包络形状是影响中西方被试对愉悦度评价的重要因素，对西方被试来说，高愉悦度单音特点主要体现在频谱的平滑度上，而对中国被试而言，则体现在高频分布动态变化上。高频能量是影响西方被试能量唤醒度评价的重要因素，西方被试认为，高能量唤醒度的单音特点更多的体现在时域包络的起振阶段，而对中国被试来说，则体现高次谐波分量上。因此，中西方不同文化背景被试对于愉悦度和能量唤醒度与客观特征的关联性上存在一定差异。由此可见，被试文化背景的差异，会对单音情感模型与客观特征的关联产生一定的影响。

5 结论及未来工作

本文分别通过三维情感模型和情感相似度实验来分析中国被试对西方乐器单音的情感感知规律。三维情感感知实验结果表明，中国被试对西方乐器单音的情感感知可以简化为愉悦度和能量唤醒度两个维度。情感相似度实验结果表明，MDS模型第1维度与愉悦度呈中度相关，MDS模型第2维度与能量唤醒度高度相关。两种实验结果一致性较强。因此愉悦度和能量唤醒度的二维情感空间即可较好的解释中国被试对西方乐器单音的情感感知规律。

通过多元逐步回归分析可知，谐波偏移对愉悦度的影响最为显著，高愉悦度的乐器单音谐波包络更为平滑，高频分布动态变化较大，例如弹拨乐器多具有较高的愉悦度评分。能量唤醒度的感知主要与颤音成分和谐波能量分布有关，如时域包络调制幅度、刺激值。高次谐波能量丰富、颤音成分多的单音，被试会感知到越多的能量唤醒度。

未来的工作将进一步探究不同文化背景的乐器对音色情感感知的影响，此外会将音高和音色同时作为影响因素进行情感感知评判，考察音高和音色的交互作用以及情感感知机理的变化规律。