音乐对语言加工的影响
——来自ERP 的证据*

王 星 李德高** 李 艺 宋丹贵

（1.曲阜师范大学文学院，曲阜 273165；2.曲阜师范大学音乐学院，日照 276827；3.浙江大学外国语言文化与国际交流学院，杭州 310030）

1 引 言

语言和音乐相似，较小的语言结构单位借助句法规则可以组合构成较大的语言结构单位，同样，较小的音乐结构单位通过音乐句法规则也可以组合构成较大的音乐结构单位（Asano&Boeckx，2015）。音乐句法最重要的特征之一是建立在调性和声基础上的音高组织规则（张晶晶等，2020）。譬如，在和弦序列中，像“主和弦（tonic）-属和弦（dominant）-主和弦”的结构构成完美终止（perfect cadence）。相反，如果不以主和弦结尾，就构成和弦句法违反。

研究表明，有形态变化语言的句子和和弦序列在句法加工上有神经资源共享性（Patel，2010）。汉语缺乏形态变化，那么，汉语句子和和弦序列加工之间是否也有神经资源共享呢？对这一问题做出回答，将有助于加深对音乐和语言句法加工关系的普遍性认识。

根据共享句法整合资源假说（shared syntactic integration resource hypothesis，SSIRH）（Patel，2003），音乐和语言共享用于句法整合加工的神经资源。如Hoch 等（2011）同步呈现有无句法违反的句子和有无和弦句法违反的和弦序列，结果发现，被试对句末有句法违反词进行词汇判断作业时，如果匹配的不是主和弦，其反应时就显著变长。同样，李恒和曹宇（2020）以带有主语或宾语关系从句的汉语句子和中国民乐片段为材料研究发现，音乐句法违反对句子加工有显著干扰作用。Kunert 等（2016）发现，和仅句子是非花园路径句条件相比，当和弦序列和句子同时出现花园路径结构（见图1）时，被试的和弦序列感知完整性评分显著降低。

图1 Kunert et al.（2016）中和弦序列举例

除行为实验研究证据外，采用ERP（event-related potential，事件相关电位）技术所取得的研究证据也支持SSIRH。譬如，和弦序列加工中，调外和弦会诱发反映音乐句法自动化加工的早期右前负波（early right anterior negativity，ERAN）（Koelsch et al.，2013）。Carrus 等（2013）同步呈现句子和音乐旋律，要求被试只关注语言刺激，结果表明，由于低预期音诱发的ERAN 占用了部分加工资源，句子句法违反诱发的左前负波（left anterior negativity，LAN）显著减弱。不论给被试呈现有句法违反的和弦序列还是句子，都会观察到P600，而且在两种刺激条件下，P600 的潜伏期或头皮分布都没有显著差异（Patel et al.，1998）。

同时，认知控制能力不同，音乐和语言共享的加工机制也会有所差异（Slevc &Okada，2015）。譬如，音乐训练可以增强大脑额下回灰质的密度（James et al.，2014），有助于增加左右两侧弓状束之间的联系，进而增强言语的感知能力（Li et al.，2021）。因此，对同步呈现的语言和音乐刺激，受过音乐训练的音乐人，其句法加工会在更大程度上受到音乐加工的影响。

为考察汉语和音乐句法加工资源共享性，本研究拟仿效Yang 等（2021），采用词类范畴违反（syntactic category violation，SCV）的方法构造汉语句法违反句，并参考Koelsch 等（2005）的范式，分别向音乐人和非音乐人被试同步呈现音乐和语言刺激。音乐加工会影响SCV 诱发的P600，且音乐人会比非音乐人受到更大影响；语义违反所诱发的N400 不会受音乐加工影响。

2 方 法

2.1 被试

音乐人是有钢琴等乐器训练背景的26 名大学生（男生11 人），非音乐人是未曾接受音乐训练的26 名大学生（男生7人）。非音乐人还接受了《蒙特利尔失歌症成套测验》（Montreal Battery of Evaluation of Amusia，MBEA，Peretz et al.，2003）。MBEA是一套包含旋律轮廓、音程和音阶等6 方面的标准化测验，是失歌症筛查中广泛应用的工具。如表1 所示，两组被试在年龄（t(50)=0.86，p=0.395）和受教育年限（t(50)=0.73，p=0.470）上无显著差异，在音乐训练年限（t(50)=37.60，p＜0.001，Cohen's d=-13.37，BF10＞100）和每天平均听歌时长（t(50)= 2.11，p=0.040，Cohen's d=0.59，BF10=1.69）上有显著差异。

表1 被试信息表

被试均为右利手，视力正常或矫正视力正常，听力正常，无脑外伤或遗传病史。被试签署实验知情同意书并获得适当报酬。实验获得曲阜师范大学生物医学伦理委员会批准。

2.2 材料

首先确定60 个数量名结构（如，“一部手机”），请25 位大学生用7 点量表评定其熟悉度（1=非常不熟悉，7=非常熟悉），获得熟悉度评分为6.84（SD=0.37）的30 个数量名结构。然后以这些数量名结构为句尾构建30 个正确句（如，“警察捡到了一部手机”）。再确定60 个动作含义动词（如，“奔跑”），请25 名大学生用7 点量表评定动词含义的动作性强度（1=动作性最弱，7=动作性最强），获得评分最高的30 个动词。这30 个动词（M=4.41，SD=11.30；M=18.97，SD=4.02） 与正确句的句末名词（M=6.89，SD=7.71；M=16.93，SD=4.10）在词频（t(58)=0.99，p=0.325） 和笔画数（t(58)=-1.82，p=0.073）上无明显差异。用这些动词分别替换正确句的句末名词构建30 个SCV 句（如，“警察捡到了一部奔跑”）。25 位大学生用7 点量表评定句子的可读性（1= 非常难以读懂，7=非常容易读懂）。结果表明，正确句（M=1.16，SD=0.37）和SCV 句（M=6.60，SD=0.65）的可读性评分之间差异显著（t(58)=56.23，p＜0.001，Cohen's d=-10.29，BF10＞100）。为避免被试对同一句式的策略性加工，增加了60 个有违反和60 个无违反的填充句。填充句中也含有数量名结构，但它们在句中的位置不固定。填充句在句长和可读性上与关键句相当（ps＞0.05）。

音乐表演专业具有副高职称的在编教师编写了30 个有和弦句法违反和30 个无和弦句法违反的和弦序列。如图2 所示，前4 个和弦调相同，无句法违反和弦序列的结尾和弦是该调的主和弦；有句法违反和弦序列的结尾和弦是五度圈中距离至少三步以外调的主和弦。和弦序列选用了C 大调、G 大调和F 大调，每个调各有10 个有无句法违反的和弦序列。

图2 和弦序列示意图

和弦序列使用Sibelius 2019 打谱制作，以.mid 格式导出，并使用Cubase 10.5调至每分钟108 拍的速度，再用Kontact 6加载音源，将和弦序列的音色设为大钢琴，导出为.wav 格式文件。输出音频的采样率为44100Hz，采样位数为16bit，比特率为11411kbps。所有和弦序列都使用Adobe Audition CS6 将音量标准化为-3dB。

2.3 设计

采用2（被试类型：音乐人或非音乐人）×2（句子类型：SCV 句或正确句）×2（和弦序列类型：有无句法违反的和弦序列）三因素混合测量设计，后两个变量为重复测量因素，因变量为被试在对句末词加工上的ERP 成分（ERAN、N400 和P600）的振幅。

2.4 程序

被试佩戴耳机端坐显示器前，眼睛直视屏幕中央，瞳孔距显示器中央约80cm，水平视角为4°。显示器中央先出现一个红色注视点“+”，500ms 后逐词呈现句子，前4 个词的呈现时间为600ms，句末词的呈现时间为1200ms。从第1 个词开始，同步播放和弦序列：第1 至第5 个和弦的播放时间分别和句子第1 至第5 个词的呈现时间相等。要求被试关注句子和忽略音乐刺激，就刚刚消失句子的含义正确与否在键盘上做出按键应答。问题应答结束，程序自动进入下一个试次。所有刺激伪随机排序，相同类型刺激连续呈现的次数不超过2 次，相邻的两个句子不同。实验分两个组块，每个组块有120 个试次。两个组块之间被试短暂休息。要求被试在实验过程中尽量保持头部和身体不动，尽量减少眨眼。

2.5 数据采集与分析

EEG 数据通过NeuroScan 公司ESI-256 系统记录，使用国际标准的10～20系统64 导银/ 氯化银（Ag/AgCl）电极帽在DC 模式下进行数据采集。所有电极点头皮电阻小于5kΩ，采样率为1000Hz。在线参考为鼻尖，离线分析转为双侧乳突。使用EEGLAB 2020 和ERPLAB 7.0 在MATLAB 2020a 上对数据进行离线分析。在手动剔除坏段之后进行0.1～30Hz 的带通滤波，去除50Hz 工频干扰（Zhou et al.，2019）。采用Evoked ERP_ERO_v1.1（Zhang et al.，2020）工具箱进行ICA 分析，去除眼电。数据分段-200ms 至1000ms，即刺激前200ms 作为基线进行校正。最终对两组被试的数据分别进行叠加处理。

根据对叠加总平均后波形图的观察分析和参考前人研究（Carrus et al.，2013），选取24 个电极点并分为4 个区：前部左侧（F1，F3，F5，FC1，FC3，FC5）、前部右侧（F2，F4，F6，FC2，FC4，FC6）、后部左侧（CP1，CP3，CP5，P1，P3，P5） 和后部右侧（CP2，CP4，CP6，P2，P4，P6）。

采用SPSS 22.0 对在句末词上观察到的ERAN（150 ～250ms）、N400（300 ～450ms）和P600（500～700ms）的平均振幅进行2（被试类型）×2（句子类型）×2（和弦序列类型）×2（部位：前部或后部）×2（半球：左半球或右半球）五因素混合测量方差分析。出现球形检验结果显著时，对p 值进行Greenhouse-Geisser 校正，采用Bonferroni校正法进行多重比较，并用JASP 软件进行贝叶斯因子分析（吴凡等，2018）。

3 结 果

音乐人和非音乐人对阅读理解问题的应答准确率分别为0.94（SD=0.07）和0.95（SD=0.06）。如图3 和4 所示，ERAN、N400和P600 都体现了来自操纵变量的显著影响。

图3 音乐人句法条件下总平均ERP 波形图和脑地形图

图4 非音乐人句法条件下总平均ERP 波形图和脑地形图

对ERAN 分析表明，在大脑前部区域，半球主效应显著（F(1，50)=21.51，p＜0.001，η2p=0.30，BF10=80.84），右半球（M=4.14μV，SE=0.40）比左半球（M=4.65μV，SE=0.44）的振幅更大。被试类型主效应显著（F(1，50)=3.89，p=0.044，η2p=0.07，BF10=2.02），音乐人的ERAN 振幅（M=3.57μV，SE= 0.59）显著大于非音乐人的ERAN 振幅（M=5.22μV，SE=0.59）。

对N400 分析表明，在大脑后部区域，句子类型主效应显著（F(1，50)=17.52，p＜0.001，η2p=0.26，BF10＞100），SCV 句（M= 1.41μV，SE=0.41）比正确句（M=2.85μV，SE=0.51）诱发了振幅更大的N400。半球和被试类型交互作用显著（F(1，50)=6.56，p=0.014，η2p=0.12，BF10＞100），简单效应分析表明，音乐人在右半球（M=1.82μV，SE= 0.59） 比在左半球（M=2.54μV，SE=0.66）的振幅更大（F(1，50)=6.33，p=0.015，η2p=0.11，BF10=3.12）。

对P600 分析表明，在大脑后部区域，句子类型和和弦序列类型交互效应显著（F(1，50)=5.49，p=0.023，η2p=0.10，BF10=41.21），SCV 句条件下，有句法违反（M=5.05μV，SE=0.0.52） 比无句法违反的和弦（M=4.31μV，SE=0.49）诱发了振幅更大的P600（F(1，50)=8.25，p=0.006，η2p=0.14，BF10=3.12）；在有（F(1，50)=93.96，p＜0.001，η2p=0.64，BF10=16.64）无（F(1，50)=79.84，p＜0.001，η2p= 0.61，BF10=35.67）音乐句法违反条件下，SCV 句（M=5.05μV，SE=0.52；M=4.31μV，SE=0.49）比正确句（M=2.52μV，SE=0.42；M=2.36μV，SE=0.48）诱发了振幅更大的P600。句子类型、半球和被试类型交互效应显著（F(1，50)=7.58，p=0.008，η2p=0.13，BF10＞100），在正确句条件下，非音乐人（M=4.00μV，SE=0.82）比音乐人（M=1.50μV，SE=0.79）在大脑左半球的振幅更大（F(1，50)=4.82，p=0.033，η2p=0.09，BF10=4.01）。

4 讨 论

与前人研究（Yang et al.，2021）一致，SCV 在晚期阶段诱发了振幅更大的N400和P600；音乐对语言加工的影响仅发生在P600 上。

相比于正确句，被试在SCV 句上有振幅更大的N400，体现了他们对量词和动词间语义不匹配的加工（Huang & Schiller，2021）。N400 反映词汇语义表征与呈现词词义的匹配程度（Lau et al.，2008）。如，在“警察捡到一部手机/奔跑”的阅读中，被试看到“一部”时会根据现有语义信息已经激活“手机”的表征，“手机”的出现符合语义预期；“奔跑”的出现违反语义预期，导致N400 的振幅增大。与研究预期一致，N400并没有受到来自音乐句法加工的影响。

在句法上，量词要求后面出现一个名词。SCV 诱发P600 的结果反映了量词和动词在句法层面上的加工（Levelt et al.，1999）。而且和只有SCV 条件相比，当SCV与和弦句法违反同现时，P600 的振幅显著增大。这说明，P600 的振幅似乎受到了音乐句法加工的影响。即，与SSIRH 一致，在晚期加工阶段，汉语数量名结构和和弦序列可能共享了用于句法整合加工的资源。但是，它们使用的是两套性质相同而又相互影响的加工机制：当两个领域同时出现句法违反时，相应的两种句法整合加工就会相互促进（Roncaglia-Denissen et al.，2018）。

相比于非音乐人，音乐人在调外和弦上诱发了更大的ERAN，表明音乐训练确实增强了其音乐句法意识，致使其音乐句法早期加工的自动化程度更高（Koelsch et al.，2002）。同样，音乐人诱发了比非音乐人更小的P600，表明音乐人有更强的音乐句法意识，能分配更多的加工资源用于和弦序列句法分析（Patel，2003）。而非音乐人由于对音乐句法规则欠熟练，更倾向于采用整体感知的方式进行加工（Featherstone et al.，2013）。

从脑地形图分布结果看，与非音乐人相比，音乐人的N400 和P600 成分都偏向于左半球。这是因为音乐加工更多地激活了大脑皮层左半球区域（Murayama et al.，2004）。音乐训练使音乐人的语言信息编码和整合能力加强（Li et al.，2021），对音乐句法有着更加清晰且敏感的表征（Koelsch et al.，2007），因而不自觉地对音乐句法加工投入更多的资源。

对音乐人比非音乐人诱发了更小P600 结果的另一种更为简单的解释是，音乐和语言刺激同时呈现，受实验任务影响，非音乐人不注意音乐，所以语言响应更强，音乐响应更弱；相反，音乐人自发地更关注音乐，所以响应不同。不过，这种理解也许可以排除。首先，同语言技能发展一样，人在日常音乐接触中能发展关于音阶关系的感知技能（Koelsch et al.，2000）。无论接受音乐训练程度如何，成年人都能按照组成元素之间的等级关系来理解音乐（Bharucha&Krumhansl，1983）。其次，不论是句子句法违反还是和弦序列句法违反，加工都会诱发P600（Patel et al.，1998）。

毫无疑问，本研究在语言和音乐句法整合加工有神经资源共享性方面，提供了新的证据。但是，由于汉语中不存在有句法违反而语义正确的句子，因此，本研究考察句法加工时不能完全排除来自语义加工的影响。此外，本研究采用的音乐为西方调性音乐，研究发现，是否可以推广到中国传统音乐加工上，还有待进一步验证。

5 结 论

汉语句子与和弦序列的句法整合加工之间似乎有神经资源共享，两者使用了性质相同且相互促进的加工机制。同时，音乐训练对语言和音乐句法整合加工资源共享性有调节作用，音乐人对音乐句法加工会比非音乐人投入更多的加工资源。