音乐声的音色感知特征与情感的关联研究

郭纪莹,刘京宇,蒋玉暕

(1.中国传媒大学 媒体融合与传播国家重点实验室，北京 100024；2.中国传媒大学 现代演艺技术北京市重点实验室，北京 100024；3.中国传媒大学 视听技术与智能控制系统文化和旅游部重点实验室，北京 100024；4.中国传媒大学 信息与通信工程学院，北京 100024)

音色和情感是音乐声最重要的两个方面，两者都是复杂的、多维的，并且两者密切相关.大多数学者都认为通过人声可以更好地感知到情绪，但是对非语音声音(器乐)的音色研究却很少.2009年，Hailstone等[1]证明在不改变其他音乐特征的前提下，不同音色(乐器)会影响到情感的感知结果.1977年，Scherer等[2]发现音色是合成音色评级的重要因素.并且Peretz等[3]发现，比起音乐中的其他特征，例如和声和旋律等，音色可以有助于加速情感的分类.2005年，Bigand等[4]比较了短音乐片段和长音乐片段(大约25 s长)，证明了音色对情感的重要影响.2012年，Eerola等[5]进行了听力测试，调查情绪与时域特征和频谱特征的相关性，证实了一些特征与情感维度、效价度和唤醒度之间的强烈相关性.Wun等[6]和Chau等[7]通过听觉测试研究音色的客观频谱特征与情感之间的关系，通过改变频谱斜率判断是否对音色有影响，研究证明了改变频谱斜率后对音色识别有很明显的影响，也就是说频谱质心会影响音色.音色特征可以分为底层客观特征、中层感知特征以及高层语义特征.音色与情感的研究通常都是根据音色特征建立音色空间然后与情感进行关联.目前，很少有研究从音色感知特征对情感进行分析，大多数研究都是通过音色的底层客观特征对情感进行分析.同时，音色的物理特征是客观存在的特征，而情感感知属于高层信息，是依赖于人的感官而特定标注的信息，物理特征与高层信息之间存在语义间隙问题，无法直接对应.Jiang[8-9]等通过提取音色底层客观特征建立了音色空间，比较全面地描述了乐器音色.

1 主观评价实验

本节首先确定了5维情感空间，然后对音色素材进行基于系列范畴法的情感评价实验，并对实验数据进行了信度检验、效度检验、噪声剔除与正态分布验证.实验结果将用于音色感知特征和情感的关联分析以及情感的参数化建模.

1.1 情感空间的构建

有关音乐情感语义描述的著名理论大多是西方的研究，国内很少有在汉语语义背景下对音乐情感的研究，如果直接用西方的情感描述词会存在语义差别，所以本文的情感评价词选取于汉语情感评价词库[10]，情感评价词库中包含26个评价词.因为一些情感词之间具有较高的相关性，为了减少信息冗余，采用聚类分析、多维尺度分析(Multidimensional Scaling analysis，MDS)方法对26个情感评价词的相关矩阵进行分析，然后参考Hevner情感环，结合来自音乐专业的被试的意见选择更适合描述音色的情感词，然后根据来自非音乐专业的被试的意见选择更容易被理解的情感词，最终得到了5个情感评价词：宁静(Quiet)；神圣(Holy)；愉快(Happy)；激情(Passion)；悲伤(Sad).这5个评价词构成了情感空间的5个维度，并将用于基于系列范畴法的情感评价实验与情感空间的参数化建模.

1.2 基于系列范畴法的情感评价实验

实验素材包括72种音色的72条音阶素材和48种音色的220条旋律素材，素材时长为10～15 s左右.本次研究的主要对象为音色，但是有研究证明音色和音调是不可分的，因此研究中的音色素材也包括了音调因素.为了排除响度因素对实验的影响，实验中的素材均进行了响度归一化.

本次实验在标准听音室进行，共有66名无听力障碍的被试参加，年龄在22岁到35岁之间.参加音阶情感实验与旋律情感实验的人数均为33人，其中男性14人.在正式实验前，所有被试均受过专业音响的听音训练，具有一定的听音经验，对音乐情感有较好的理解能力.为使被试能够把握评价标准和打分尺度，在正式实验前，播放3条素材库外同等形式的音阶/旋律进行预实验.正式实验流程为播放素材片段，被试一次性判断该素材在各情感上的心理尺度并按照9级尺度进行评价.实验中每段素材播放2～3遍，间隔5 s，每30 min休息10 min.

实验中的样本数据均进行了信度检验和效度检验，检验结果表明实验数据为理想数据，可靠性高.本次研究使用拉伊达准则法对噪声数据进行处理，通过Z分数对原始数据进行标准化，按照Z分数与标准差的倍数为1.5倍标准差对噪声数据进行剔除.对数据进行正态分布验证，验证结果显示实验数据均符合正态分布，所以下一步相关分析均使用Pearson相关系数.

2 音色感知特征与情感的相关性研究

本节根据情感的主观评价实验数据对音色与情感的关系进行研究，通过分析与建模得到本文的音色感知特征如表1所示.首先在已有的音色感知特征基础上，计算各音色感知特征与各情感的相关系数，然后根据乐器演奏内容的不同，将素材分成音阶和旋律；根据时域特征的不同，将乐器分成持续性乐器和非持续乐器，这里持续和非持续乐器分类是按照乐器发声方式划分的，非持续性乐器的声音演奏后会立即衰减而无法持续，一般乐器分为吹奏乐器、弦乐器、弹拨乐器和打击乐器，其中吹奏乐器和管弦乐器为持续性乐器；根据乐器种类的不同，将乐器分成中国乐器和西洋乐器，进一步研究不同音色的感知特征对情感的影响.

2.1 演奏内容对音色感知特征和情感相关性的影响

将素材按照演奏内容进行分类，分别计算音色感知特征与情感的相关系数，根据相关系数绘制音色感知特征与情感的相关系数折线图，如图1所示，图中的相关性为相关系数.

图1 演奏内容对音色感知特征与情感相关性的影响Fig.1 The influence of correlation of playing content on timbre perception features and emotions

表1 5个音色感知特征Tab.1 Five timbre perception features

从图1可以得到以下结论：

首先，旋律素材的大部分音色感知特征与各情感为正相关，对于旋律素材来说，干瘪-柔和、嘶哑-协和这两个音色感知特征与宁静、神圣这两个情感维度具有很高的正相关性，即带有旋律的音色越柔和、越协和，那么这个音色听起来就越宁静、越神圣.

其次，无论是旋律素材还是音阶素材，明亮-暗淡、粗糙-纯净对悲伤和愉快的相关性都非常高，并且均具有相反的影响作用，也就是说一种音色越明亮、越纯净，其听起来就越愉快，越暗淡、越粗糙则听起来越悲伤，这与人们对音乐情感的感知是一致的.

然后，除了神圣这一情感维度，音阶的明亮-暗淡和粗糙-纯净与他4种情感的相关系数都分别分布在最顶端和最低端，这说明明亮-暗淡和粗糙-纯净是对情感影响最大且具有相反作用的两个音色感知特征.

2.2 时域特性对音色感知特征和情感相关性的影响

根据乐器的发声方式不同，可以将音阶素材和旋律素材分为两类：持续性乐器和非持续性乐器.持续性乐器和非持续性乐器的音色感知特征和情感的相关系数的折线图如图2，图3所示.

图2 时域特性对音阶音色感知特征与情感相关性的影响Fig.2 The influence of correlation of temporal characteristics on timbre perception features and emotions of scales

图3 时域特性对旋律音色感知特征与情感相关性的影响Fig.3 The influence of correlation of temporal characteristics on timbre perception features and emotions of melody

从图2和图3可以得到以下结论：

首先，两图中线条的趋势都是比较一致的，无论是持续性乐器还是非持续性乐器，与悲伤情感正相关的都是明亮-暗淡、尖锐-浑厚这两个感知特征，剩下的3个音色感知特征均与悲伤负相关，且正向相关性最大的均为明亮-暗淡，负相关性最大的均为粗糙-纯净.

其次，两图中粗糙-纯净和嘶哑-协和的折线趋近于重合，因此这两个音色感知特征对情感的影响基本相同.

2.3 乐器类型对音色感知特征和情感相关性的影响

中国乐器与西洋乐器的音色是不同的，本节主要分析中西乐器的音色对情感的不同影响.本节针对音阶素材进行研究.中西乐器的音色感知特征和情感的相关系数的折线图如图4(见 第350页)所示.

从图4可以得到以下结论：

首先，除了神圣这一情感外，中国乐器和西洋乐器的音色感知特征对情感的影响趋势高度一致.神圣与中国乐器的干瘪-柔和、粗糙-纯净和嘶哑-协和这3个感知特征具有较高的相关性，也就是说与西洋乐器相比，中国乐器的音色更容易引起神圣这一情感.

其次，无论是中国乐器还是西洋乐器，悲伤和愉快与5个感知特征均具有较高的相关性；宁静与干瘪-柔和、粗糙-纯净和嘶哑-协和这3个感知特征有极强的正相关性；激情与明亮-暗淡和尖锐-浑厚具有较高的负相关性.

2.4 三因素对音色感知特征与情感相关性的影响

为了更直观地展示音色感知特征与情感的关联关系与演奏内容、时域特性和乐器类型三因素对音色感知特征和情感的影响，我们对实验数据进行多维偏好分析.图5(见 第350页)是三因素对音色感知特征与情感关联的载荷图，原点代表整个样本的平均水平，从原点出发，散点离原点越远，倾向性越强；落在从原点出发相同方位上大致相同区域内的散点彼此有联系，对于变量来说意味着这是一个潜在的因子.

图4 中西乐器对音色感知特征与情感相关性的影响Fig.4 The influence of correlation of Chinese and Western Musical Instruments on timbre perception features and emotions of scales

图5 音色感知特征与情感的载荷图Fig.5 The load diagram of timbre perception features and emotions

图5可以从两个方面分析：

首先，可以从成分载荷的分布中分析音色感知特征与情感的关系.由图5中情感的载荷线可以看出宁静与神圣在情感中比较接近，愉快和激情比较接近，而悲伤是独立的一个情感成分.音色感知特征的载荷线中，干瘪-柔和、粗糙-纯净和嘶哑-协和为一个主要成分，尖锐-浑厚和明亮-暗淡为一个主要成分.而悲伤与尖锐-浑厚、明亮-暗淡为同一区域，说明这两个音色感知特征对悲伤影响比较大，而悲伤的方向与愉快、激情大致为共线反向，说明这两个音色感知特征与愉快、激情为强烈的负相关，这与第2节的折线图结论一致.宁静与神圣这两个情感与5个音色感知特征的夹角差别较小，因此5个感知特征对宁静、神圣的影响力基本相同，与折线图的结果相同.

其次可以从乐器类型、时域特性和演奏内容的散点分布中分析三因素对音色与情感的影响.三因素中，乐器类型与时域特性的散点出现了明显的空间定位差异，而演奏内容的两个散点与原点比较近，因此演奏内容对音色感知特征与情感关联没有明显的影响.相比于西洋乐器，中国乐器与原点接近，说明中国乐器对音色感知特征与情感关联的影响倾向并不明显；非持续性乐器与愉快和粗糙-纯净的距离接近，说明非持续性乐器对粗糙-纯净与愉快的关系的影响更明显，而持续性乐器对明亮-暗淡与悲伤的关联具有明显影响.虽然音阶与旋律的散点均在原点附近，但音阶更接近宁静、神圣和悲伤，而旋律更接近原点，距离各音色特征与情感的距离均比较远，所以旋律对音色感知特征和情感关联的影响比较小.

上述结论进一步证明了第2节的结论：乐器类型代表不同乐器的音色，对音色影响是最大的，所以认为乐器类型对音色和情感关联影响最大；时域特性代表乐音音色的起振变化，会产生不同的打击感和冲击感，结合图5可以说明时域特性同样会对音色与情感的关联产生影响；演奏内容主要与乐音的音高有关联且基本上对音色没有影响，所以相对于其他两个因素，演奏内容对音色和情感关联的影响不大，例如用同一个乐器演奏音阶和旋律，不会因为演奏内容不同而对音色情感产生比较大的影响.

表2 三因素与相关系数的方差分析Tab.2 Analysis of variance of three factors and correlation coefficient

为了考察三因素对音色感知特征与情感关联的影响差异，分别计算三因素与相关系数的方差分析，表2为方差分析结果，可以看到演奏内容和时域特性对音色情感的影响的p值均远大于0.05，说明演奏内容和时域特性的统计学意义不大；而乐器类型对神圣的影响的p值为0.04，因此模型中至少有一个因素有统计学意义.综上所述，在下一步建模时将音阶素材和旋律素材进行合并后再建模.

3 音色感知特征与情感关联模型的构建

本节运用多元线性回归构建情感预测模型，多元线性回归时采用逐步回归法，并对存在共线问题的音色感知特征进行了剔除，模型的输入为音色感知特征与情感，输出为情感的表达式.计算各音色感知特征与情感的相关性系数，当相关系数小于0.2时可以认为音色感知特征和情感不相关，则该音色感知特征将不作为该情感预测模型的输入.通过相关系数R和平均绝对误差(Mean Absolute Error，MAE)εMAE评估以上模型的精确度，R越大模型的拟合越好，εMAE值越小模型的预测精确度越好.

YSAD=0.87XB-D-0.47XS-V+0.49XR-M-0.82XH-C+0.57XC-P+2.1,

(1)

YQUI=0.5XB-D+0.71XR-M-0.62XH-C+0.84XC-P-1.52，

(2)

YHOL=0.33XB-D+0.44XR-M+0.19XC-P+0.42，

(3)

YHAP=-0.79XB-D+0.38XS-V-0.29XR-M+0.57XH-C-0.37XC-P+6.98，

(4)

YPAS=-0.89XB-D+0.35XS-V-0.39XR-M+0.67XH-C-0.83XC-P+9.29.

(5)

图6 模型评价的相关系数Fig.6 Correlation coefficient of model evaluation

式(1)～(5)为模型的输出，其中：YSAD，YQUI，YHOL，YHAP，YPAS分别代表悲伤、宁静、神圣、愉快和激情5个情感维度；XB-D，XR-M，XS-V，XC-P，XH-C分别代表明亮-暗淡、干瘪-柔和、尖锐-浑厚、粗糙-纯净与嘶哑-协和5个音色感知特征.

图6为5个情感感知模型的相关系数，可以看出5个情感模型的相关系数均在0.65及以上，说明模型能较好地预测5种情感.

4 结 语

本文对音色感知特征与情感的相关性展开研究，首先利用MDS方法确定了一个5维的情感空间，根据5维情感空间进行了情感评价实验，并对实验数据进行了信度效度检验与噪声剔除.研究了演奏内容、时域特性以及乐器类型对音色感知特征与情感关系的影响，结果表明时域特性和演奏内容对音色感知特征与情感关联的影响非常小，乐器类型会对音色感知特征与情感的关联产生一定的影响.然后利用多元线性回归算法建立了5个情感预测模型，结果表明建立的模型对5种情感均具有良好的预测能力.

在未来的研究中，可以将重点放在以下几点：首先，为了探究乐器类型对情感的影响，在现有的音色数据库的基础上增加西方乐器的旋律素材，提高模型的通用性；其次，可以对比其他机器学习方式，改进模型以提高模型的预测能力；最后，可以对比分析感知特征与情感的模型和底层物理特征与情感的模型，为解决音色的底层客观特征与主观情感空间存在的语义间隙问题提供理论和实验依据.

致谢：感谢中国音乐学院为本次实验提供部分中国乐器的音阶材料！感谢中国传媒大学音乐与录音艺术学院王鑫老师给论文提出的宝贵建议！