余思韵 李小诺
国际音乐感知与认知会议(International Conferenceon Music Perception and Cognition, 简称ICMPC)始办于1989年,每两年一届,是目前音乐心理学领域最高规格的国际性学术会议。亚太地区音乐认知科学学会(The Asia-Pacific Society forthe Cognitive Sciences of Music,简称APSCOM)①会议每三年举办一次, 致力于促进亚太地区音乐认知科学的研究活动及深化亚太地区研究人员之间的交流和友谊。2023 年8 月24—28 日,“ICMPC17”和“APSCOM7”联合召开的学术会议,在日本东京日本大学艺术学院举行, 会议由亚太地区音乐认知科学学会主办, 日本音乐感知与认知学会承办。
一、会议概况
会议汇集了全球音乐心理学领域的专家学者。据组委会统计, 本届会议共有来自31 个国家的510名代表参会,其中现场参会426 人(84%),网络参会84 人(16%)。发言代表431 人(85%),旁听代表79 人(15%)。会议包含主旨演讲4 场,专题研讨16场,口述汇报(论文226 篇)及展板汇报(论文179篇)。其中,美国的参会论文数量最多,共92篇;日本位列第二,共68 篇;英国以44 篇的数量位列第三。中国学者为第一作者的参会论文共9 篇。本届会议共提供三十多个议题(数量统计详见图1),从议题归类来看, 各类音乐情绪研究的文章最多,包括口述汇报和展板汇报共约53 篇。
所有参会报告中呈现的关键词共有1995 个,按照关键词归类, 出现频率最高的前十名分别是:感知(79 次),节奏(52 次),情绪(50 次),记忆(37次),演奏(37 次),音高(31 次),分析(27 次),认知(27 次),聆听(25 次),语言(24 次)。
二、学术动向
(一)研究焦点问题的更新与迭代
1.“ LOOP”成为核心主题
“LOOP”(环),指的是从起点出发又回到起点的闭环结构。无论是音乐现象还是心理现象,都不是单一、孤立的存在。例如,在器乐练习时,演奏者大脑发出指令调度运动器官(手指或/ 及身体其他部分)做出相应的动作,外部信息(乐器发出的声音)作为反馈通过听感器官传回大脑形成反馈,大脑对反馈信息进行比对判断从而对即时的或将要发生的动作进行调整。会议中的音乐之“环”勾连声音与感知、历史之“环”勾连过去与现在、科学之“环”勾连技术与现象。由此可见,“LOOP(环)”主题强调了现象中多种要素的相连相缀,强调了音乐心理学研究的综合性和复杂性。本届会议4 场主旨演讲者及多位学者聚焦“LOOP(环)”的核心主题进行交流分享。
普林斯顿大学音乐认知实验室主任伊丽莎白·马古利斯(Elizabeth H. Margulis)以《音乐聆听中的记忆—想象循环》为题进行了报告。她指出,音乐唤起的想象包括自传式记忆和虚构场景,而且,音乐依赖重复,并随时间动态变化,以此为研究切入点能揭示“记忆- 想象”循环中可能被忽视的细节。喀普康株式会社工程师小岛健二(Kenji Kojima)以《游戏音频制作世界:超越真实》为题,重点介绍了游戏音频制作的工作流程和技术要点。他强调,游戏中使用的工作流程和技术虽与CG 电影相似, 但不同的是,游戏更具交互性,凸显了高科技背景下主体与音乐的交互之环。汉诺威音乐、戏剧和传媒大学埃卡特·阿尔滕米勒(Eckart Altenmüller)题为《大脑中的音乐循环:音乐产生和感知中大脑网络的可塑性》的报告,详细展示了与音乐感知和音乐制作相关的中枢神经系统中网络和循环活动的新神经科学范式。阿尔滕米勒表示,7 岁之前的早期训练会对大脑可塑性产生影响,进而优化中枢神经系统的网络活动,让学习更轻松。神奈川大学教授松永理惠(Rie Matsunaga)的报告《如何引导婴儿获取特定文化的音调模式》, 展示了脚手架如何帮助婴儿进行音调模式的关联、引导其音阶规则的学习,并讨论了在领域通用的学习机制和嵌入其文化传统旋律中的感知属性的循环交互下如何激发学习。
另外,来自阿姆斯特丹大学、塞萨洛尼基亚里士多德大学音乐研究学院、普林斯顿大学、纽约州立大学布法罗分校等4 家单位的学者就“语音到歌声的转换不需要精确的重复”“多次接触和重复的音乐模式塑造了对乐思和结构的感知”“耳虫及近期听过的音乐之心理表征的神经重放”“从语音到歌曲的错觉转换会影响对语音音高的模仿吗? ”等话题进行了汇报,从聆听感知和神经机制等角度探讨“音乐- 语言”本体的交互闭环转化。
众所周知, 人类的心理过程并非独立存在,而是相互关联和彼此影响。本次会议提出以“LOOP”作为核心主题,说明学者们对音乐心理的研究重点逐渐从对“单一现象或个案”的关注转向对整体心理现象联动的考察。将个案研究深度植入心理过程的整体勾连中去探讨,有助于更全面理解该现象的产生和特质,进而对心理现象全面考察,最终实现音乐心理学基础理论的构建。
2.跨文化研究形成热点
众所周知,不同文化对音乐的认知、情感、认同和行为等方面存在着影响,跨文化研究有利于扩大音乐心理学研究的范畴和适用性,也有助于丰富和完善音乐心理学理论和模型。因此,跨文化研究在音乐心理学领域中发挥着日益重要的作用。
得益于便捷的交通、远程技术的进步及语言交流的突破,近年来各国学者的合作更为紧密。在本届会议中,近1/4 的文章为不同国家、不同单位的合著。跨文化研究的数量更是显著增加,从第16届的14篇大幅上涨至本届的29 篇,形成本届会议的新热点。其中,大规模量化调查呈现的成果令人瞩目:如伦敦大学金史密斯学院研究团队的“青少年时期的音乐发展:感知技能、认知资源和音乐训练”研究收集了4333 名英国及德国青少年的数据,大样本量化结果表明,青少年的音乐发展与认知发展呈正相关,但会受到音乐训练背景和程度的影响呈现出不同的发展增长和效应;也有基于观察、访谈的定性分析,如印度国际信息技术学会团队的“自闭症谱系障碍患者的音乐偏好——印度人和非印度人的跨文化研究”, 采用半结构问卷的形式对20名印度人及30名非印度人进行了音乐偏好的访谈。分析发现,两者在音乐偏好上存在显著差异。这凸显了在为自闭症患者开发基于音乐的干预措施时,考虑文化因素和个性化偏好将会更有效地改善治疗效果; 更有利用现代科技手段的测量实验研究, 如美国布里奇沃特州立大学梅丽莎·布兰登(Melissa Brandon)等的“我知道你在唱什么:节奏与视觉感知变窄的调查”就是利用眼动追踪技术证明了,人在视觉维度存在着与听觉维度相似的、将其感知缩小到文化上熟悉的节奏范围的现象。
3.传统领域的新景象
音乐聆听与感知一直是传统音乐心理学研究领域中的重要组成部分。在近二十年中,随着认知科学、医学、运动学、语言学等学科的发展及其与音乐心理研究的渗透交融,该领域在多学科交叉方法运用的条件下呈现出发展的新景象。
音乐感知主题共4 个汇报模块,17 个口述汇报,15 篇展板汇报的文章。从关键词词频统计可知,和声、风格和流派、音色、节奏和节拍、不同身体部位之间的协调等是学者们关注的热点。从研究方法看,定量研究依然占主要地位,脑成像技术、脑电信息功能性连接分析、跨模态对应、眼动追踪技术得到较多应用。上海音乐学院李小诺和余思韵就“绝对音高脑神经机制的脑电图(EEG)研究——以上海音乐学院为实验对象”的研究,通过脑电图探究绝对音感(AP)及相对音感(RP)的人群在聆听不同音色(钢琴和弦乐)时α、β 和γ 频段的聚类系数和特征路径长度特征,为AP 组和RP 组之间脑神经反应模式常态差异提供了新证据,吸引了相关领域学者的极大关注以及国际期刊编辑的约稿。赫尔辛基艺术大学西贝柳斯学院伊万·吉梅内斯(IvanJimenez)等学者对和弦持续时间之于和弦知觉影响的研究中发现,持续时间能够增强和弦知觉中对和弦类型变化的感知,而且这种影响与参与者的音乐训练水平无关。德州理工大学王成云(Cheng-YunWang)等学者对美国和日本不同人群对两国五声音阶结构模式的认知和偏好进行了探讨, 研究发现:被试者对自身文化背景下音阶结构中的音级更敏感也更喜爱。虽然在这些感知研究有部分尚待进一步的完善,但它们为我们理解音乐感知提供了新的视角和信息。
音乐与语言是相互密切关联的高级认知活动,近年来受到研究者的极大关注。本次会议该类主题有4 个汇报模块,共23 篇文章,着重探究不同语言背景的人对音乐的感知与表达上的表现差异。如香港中文大学学者滕相斌利用计算机编码模型对古代中国音乐中的句法层次结构进行了神经追踪,研究表明,在音乐结构的基本层面上,人脑对西方调性音乐和中国古代音乐的处理是相似的。但有趣的是,被试者对中国古代音乐神经感知的边界与理论边界并不匹配, 这是值得进一步深入探讨的问题。上海音乐学院李小诺及杨弋重点探究了语音转换为歌声的错觉(STS),以中国大学生为研究对象,探究音乐专业组与非音乐专业组之间对四种语言(英语、意大利语、普通话和德语)的短语感知差异,发现聆听次数、音乐训练和语言类型对语音转换为歌声的错觉有显著影响。荷兰蒂尔堡人文与数字科学学院认知科学与人工智能系宝拉·龙卡利亚- 丹尼森(Paula Roncaglia-Denissen) 等学者以214名来自41种语言区、第二语言为荷兰语的人为实验对象,让他们进行节奏与旋律测试以及工作记忆和语音记忆测试,发现在一定熟练程度下学习第二语言能增强对音乐节奏的敏感性。
另外,音乐心理学研究与人们的现实生活的相关性研究, 在本届会议中也呈现出前所未有的热度。“幸福与健康”主题有4 个汇报模块,共27 篇文章,展现出富有意义的研究结论。莱顿大学学者丽贝卡·奇科夫(Rebecca Schaefer)评估了喜欢与不喜欢的音乐与皮质醇、冷压反应的生理指标的相关程度,初步研究表明,不喜欢的音乐会带来负面的压力反应。剑桥大学克莱尔·豪林(Claire Howlin)等学者对音乐缓解疼痛背后的机理进行了探讨,研究显示,是能动性和积极参与而非音乐复杂性或情绪反应,能够预测聆听音乐后疼痛强度的降低。美国学者克拉克·伦道夫(Clarke Randolph)采用质性访谈的手段对种族歧视之于美国黑人音乐家的影响进行了探讨。她表示,虽然种族歧视有碍于美国黑人音乐家接受正规教育,甚至模糊或边缘化他们的身份,但音乐的聆听和创作对于治愈种族创伤和建立复原力至关重要。基尔大学学者亚历山大·拉蒙(Alexandra Lamont) 则是以乐器捐赠调查为切入点探究音乐家或学习音乐的人在社会角色中的调整和转换。从音乐的角度探讨人民幸福的话题业已成为热点, 与人民生活密切相关的研究也有所增加,这也反映出人们对美好生活的向往和追求。
(二)新方法的提出和运用
本届会议的报告仍以实证研究为主。如图2 所示,使用定量或混合设计的研究总占比超过70%。从数据采集的手段看,问卷调查、测评等传统数据采集方式是主要手段,脑电图(25 篇)、相关事件电位(6 篇)、磁共振(15 篇)、脑磁图(5 篇)、心电图(4篇)等神经及生物学指标也是重要的测量手段。随着科技的发展,眼动、体动、压力传感等原用于其他领域的技术也逐渐得到应用,机器学习、人工智能技术更是日益渗透到音乐研究的领域,本届会议中出现了若干以机器学习为研究手段的文章,这是在之前的会议中所未见的。
普林斯顿大学的研究团队以结合功能性磁共振成像(fMRI)和机器学习的手段对循环于脑海中的耳虫现象所诱发的神经表征及进行了探究。德国娜拉·皮尔逊(Lara Pearson)等学者分析了近六个小时的南印度卡纳塔克(Karnatak)声乐表演(包括音频、视频),通过机器学习手段提取卡纳塔克音乐中的旋律音型,并利用动态可视化手段观察重复的手势动作,总结出表演者的手势(手和手臂的动作)与短小音乐结构的对应关系。美国耶鲁大学的研究团队利用信息理论(MI)技术对1958—1991 年美国公告牌每周百强单曲榜上的739 首歌曲、909 首中国流行歌曲钢琴编曲以及2002 年至2021 年公告牌年终百强单曲榜中的541 首歌曲进行了机器学习,利用迭代算法分析每首歌曲中的循环段落,识别具有类似音调倾向的和声,以此对流行歌曲的音调系统进行多维信息建模,并发现局部预测与全局预测在音乐聆听诱发情绪方面存在重要差异。韩国科学技术高等研究院的学者采用自然语言处理(NLP)的标记化方法,通过字节编码算法的运用来创建爵士乐词典,然后以此为基础对爵士乐独奏旋律进行标记和实证分析,并对独奏即兴演奏进行分类评价,从演奏、风格、节奏等不同的类别中找出独奏即兴演奏的特点。
布鲁塞尔自由大学斯蒂芬·荷马(StevenHomer) 等学者在会上介绍了一种人工智能新方法——频谱知识表征。知识表征和回忆被视为振荡和交感共振。他们用共振的数学结构来模拟声音的神经表征,并对音高、和声等元素进行建模。在初步的实验中, 该模型对巴赫音乐的分析获得了71.4%的正确率,其中大约三分之一的错误是由于混淆了关系大调/ 小调而引起的, 研究人员期望通过更高层次的和声运动学习来解决这个问题。该模型提供了一种可以作为基本音高与和声感知的假设和测试的机制,还展现了一个抽象但明确而规范的神经感知机制,为神经科学家未来的工作提供了新的支持证据。
人工智能技术不仅是数据抓取、分析的有效工具,更成为了音乐领域独特的研究对象。基于人工智能(AI)的自动作曲模型使自动生成特定艺术家风格的音乐旋律成为可能。韩国科学技术高等研究院的研究人员希望通过分析人工智能和人类作曲家各自创作的插入旋律来比较他们的作曲机制。研究结果显示,人工智能和人类作曲家的作品具有一定的相似性,但人工智能创作的旋律更能体现两个参考点之间的调性渐变,而人类作曲家创作旋律更能体现轮廓渐变。
另外, 越来越多学者在研究中应用网络技术,本届会议中运用网页平台、移动端APP 进行问卷调查、数据采集以及利用远程会议软件进行访问、个案追踪的研究近六十个,远程音乐互动也因而成为本届会议中颇具特色的话题。其中以比利时根特大学团队对拓展现实(XR)中的多节奏音乐交互动作动态的研究最具特色。研究人员利用新兴的扩展现实(XR)技术让演奏者可以通过三维虚拟化身进行实时互动,对演奏者在虚拟或现实对象(看到真实对象、看到虚拟化身、没有对象)和音乐背景(音乐、节拍器) 六种不同的条件下演奏复节奏音乐的情况进行比对分析,以对音乐技术精度、具体化协同调节以及主观感受的体验质量进行评估。实验表明,以虚拟化身作介导的音乐互动无论是在演奏音乐的输出、身体交流和主观体验方面都是非常成功的。
三、思考与展望
(一)大数据的运用
虽然在把握学术前沿、综合运用多种研究方法、有效结合音乐分析与心理学课题等方面,我国学者不亚于其他国家的学者, 但在大数据统计、计算机技术应用、先进科技手段使用上相对薄弱,这也是我们未来需要继续努力的方向。奈良科学技术研究院团队对全球103 个城市的天气与音乐偏好之关系的研究让笔者印象非常深刻。研究人员使用来自Apple Music 中各城市每日前25 排行榜数据作为城市内最受欢迎歌曲的参数, 同时收集来自6大洲103 个城市141 天的天气数据,对每个城市每天的天气参数(温度、湿度、云量和大气压)和各城市上榜歌曲的音乐特征(舞蹈性、能量、响度和价效)进行系统相关分析并建立回归模型,以验证较高的环境温度与对高唤醒性音乐偏好的相关假设。中国人口众多、地大物博,多民族、多特征的音乐文化组成既为科研人员提供了丰富多样的数据,同时也造成了统计、分析上的难度。克服大数据统计的技术难点,掌握相关计算机应用技术,特别是机器学习技术,必将有利于日后音乐心理学的领域拓宽及研究深化。这对于音乐或音乐学家出身的音乐心理学研究者而言,既是机遇也是挑战。
(二)反哺实践的努力
牛津大学著名学者埃里克·克拉克(Eric F.Clarke)曾表示,“自20 世纪70 年代末起,表演心理学吸引了各领域越来越多的研究关注……演奏的许多方面实际上尚未得到探讨,尤其是练习过程中的具体变化、在其他乐器而非钢琴上的演奏表情、合奏以及和演奏社会心理学有关的一系列问题”②。
本届会议的报告体现出,研究者们在努力突破原有规限、弥补这一不足。随着体动采集、压力传感等技术的进展,先进的科技不断被运用于音乐表演的研究之中。日本电气通信大学研究团队通过在指板上植入集成传感器制作出可以测量手指对指板三维作用力的小提琴;索尼计算机科学实验室的科研团队则通过体动捕捉、VR 呈现,数据可视化分析等技术手段的综合运用帮助音乐家更好地感知声音/ 触觉的细微差异以克服练习瓶颈。这些研究致力于以研促演,反哺音乐表演,凸显了科学研究的现实意义,这应是值得音乐界多加关注及探究的方向。
(三)中国的参与和发展潜力
在本届会议上,中国学者作为第一作者参会的文章共9 篇, 其中香港地区3 篇(香港中文大学1篇,香港教育学院1 篇,香港中文大学深圳研究所1 篇),中国台湾地区2 篇(台湾大学1 篇,中央大学1 篇),中国大陆4 篇(上海音乐学院3 篇:李小诺、余思韵《绝对音高脑神经机制的脑电图研究——以上海音乐学院为实验对象》,杨弋、李小诺《不同语言从语音到歌声的错觉转换研究》,白心玉、李小诺《如何有效地“练习”:音乐练习计划和策略综述》;福建师范大学1 篇:侯建成《非音乐家灰质体积和皮质厚度对音高识别能力的反映》。同样值得注意的是,海外华人(主要为华裔学者和中国留学生)以第一作者参会的文章数量为23 篇、作为联合作者29 人次参与文章21 篇。这样看来,华人学者参与的研究占会议总文章量(405 篇)的13.1%,这表明我国该领域研究的巨大潜力和良好的发展前景。会议期间,海内外华人学者踊跃交流,并建立了广泛的联系和研究合作意向, 表示将积极参加国内跨学科音乐研究学术交流,为祖国的音乐学术发展贡献力量。此外,中国音乐心理学学会秘书长, 上海音乐学院音乐艺术研究院副院长、音乐审美心理学实验中心主任李小诺研究员,作为中国音乐心理学学会代表应邀出席ICMPC17 和APSCOM执委会会议,并当选为新一届亚太地区音乐认知科学学会副会长, 这体现了国际学界对中国科研实力的认可及重视,也体现了中国在国际学术团队中的地位提升。
作为音乐心理学领域的全球盛事, 为期5 天的会议充分体现了最新的学术前沿动态, 激发了良多讨论与合作。中国学者在本次会议上展现了我国在音乐心理学领域的研究活力,让世界听到更多中国学者的声音,同时也为促成未来更紧密的交流和合作奠定基础。组委会一致表示对中国学者的赞许, 上海音乐学院团队为会议呈现了三篇高质量研究论文, 受到大会极大关注。ICMPC 和APSCOM 学会组织期待越来越多的中国学者参与到音乐心理学的研究中来, 也期待中国音乐心理学学会和上海音乐学院能为ICMPC 及APSCOM 等国际重要学术活动搭建平台贡献资源。
余思韵 上海音乐学院音乐艺术研究院编译,在读博士
李小诺 博士,上海音乐学院音乐艺术研究院研究员
(特约编辑 盛汉)