人工耳蜗使用者汉语声调感知与音乐感知相关性研究

杨丽萍 卢岭 刘莉 梁耕田 金辉 陶朵朵

1武汉大学附属同仁医院（武汉市第三医院）耳鼻咽喉科2苏州大学附属第一医院耳鼻咽喉科

人工耳蜗（Cochlear Implantation，CI）使用者在安静环境下的言语识别表现总体较为理想[1-3]，但由于CI 较差的频率解析及低频有效通道的不足，使得使用者在声调及音乐感知方面一直不理想[4]。声调与音乐在声学线索方面主要为基础频率（F0）的变化轮廓[5]。已有研究表明CI 使用者汉语声调识别水平与其音乐欣赏能力、音高辨识能力及音乐旋律辨识能力等显著相关[6，7]。而Tao 等的研究发现不论语前聋还是语后聋CI使用者声调识别与音乐识别未见显著相关[8]。故本研究对双模式CI 使用者的声调及音乐感知能力进行了评估，并且对二者进行了相关性研究。

1 资料与方法

1.1 研究对象

筛选讲汉语普通话的对侧佩戴助听器的CI使用者12 例作为受试对象，年龄范围12-28 岁，平均年龄18.2 岁。男性4 名，女性8 名。CI 耳在听力计最大输出时无反应。受试者基本信息详见表1。本研究所有受试者在测试之前均由本人或监护人签订知情同意书，并通过了苏州大学附属第一医院机构伦理审查委员会的批准。

1.2 测试方法

分别让受试者在HA、CI、CI+HA 三种助听模式下进行汉语普通话四声调（一声、二声、三声、四声）及音乐音符轮廓识别(Melodic contour identification,MCI)测试。CI 模式时，受试者摘下助听器，并佩戴David Clark M-7A(David Clark, MA)耳罩掩蔽。所有受试者助听设备均使用日常设置。测试前进行声场校准，让受试者以0°入射角面向单个扬声器，距离1 米，扬声器与受试者头部水平高度一致。测试材料通过扬声器给声，声压级控制在70～75 dB SPL。

表1 受试者基本信息（n=12）Table 1 Subject demographic information（n=12）

1.3 测试材料

声调识别测试[9]：声调识别材料分别由一名男性和一名女性专业播音员录制，女声F0 变化范围在150-350 Hz之间，男声在80-250 Hz之间。分别以44100Hz 采样率和16 比特的数字化分辨率，用四种声调：一声（F0不变），二声（F0上升），三声（F0先下降再上升），四声（F0下降），录制以下音节/wa/,/ya/,/ji/,/shi/,/fu/,/zhu/,/ge/,/ke/,/mo/,/po/,/qu/,/xu/。以元音结尾的开音节可以将鼻尾音对声调刺激的幅值轮廓的影响降至最小[10]。利用Adobe Audition software(Adobe Systems Inc.,San Jose,CA)产生每个声调时长均为400ms的标准化声调，同时不改变每个刺激声的基础频率（F0)。共产生384 个声调刺激声（2 个讲者×12 个音节×4 个声调×2 种声调时长）。电脑给声后受试者在测试界面显示的1、2、3、4 四个按钮中选择认为正确的一个。刺激声由电脑随机选择，测试得分=正确识别次数/384×100%。每个受试共进行2 轮测试。最终测试结果取两次测试得分的平均值。

MCI 测试：应用的刺激声和测试方法借鉴了Galvin等[11]的研究方法。测试材料包括5 个音乐音符组成的9 种音符轮廓，包括单一音高轮廓（如“升”，“平”,“降”）及音高变化轮廓（如“平-升”，“降-升”，“升-平”，“降-平”，“升-降”，“平-降”）(见图1)。选择A3(220Hz)为目标音符的基频，旋律轮廓中相邻音符的音程（interval）在1 到3 个半音（semitone）之间变化，每个轮廓中5 个音符间的音程相同。比如“升”这个轮廓来讲，如果相邻音符音程为3 个半音，则该轮廓音程共12 个半音，即1 个八度，如果相邻音符音程为1 个半音，则该轮廓音程为4个半音。最终可获得27个旋律轮廓（9 种旋律模式×1种根音×3种音程），每个测试音符均采用数字模拟钢琴声信号进行测试。每个音符时长均为300ms，每个轮廓时长均为1500ms。在测试过程中，电脑从27个音乐旋律中随机选择，每个轮廓被随机选择2 次。受试者通过点击测试界面所示9种轮廓进行选择，每轮完成54次选择。测试得分=正确识别次数/54×100%。每个受试共进行2 轮测试。最终测试结果取两次测试得分的平均值。

图1 音乐音符轮廓识别测试界面。Fig.1 Melodic contour identification interface

1.4 统计学方法

采用Sigmaplot14.0统计学软件进行数据分析。对声调识别表现及MCI 表现根据数据特征应用One-way RM ANOVA 或Two-way RM ANOVA 进行方差分析。应用Tukey Test或Bonferroni t-test进行多组均数间的两两比较。应用Pearson Correlation进行相关分析。P ＜0.05为差异具有统计学意义。

2 结果

2.1 声调识别表现

自然时长声调识别在HA、CI、CI+HA模式下的平均正确识别率分别为62.2%（SEM=7.6%）、70.9%（SEM=3.2%）、73.1%（SEM=3.3%）。相同时长声调平均正确识别率在HA、CI、CI+HA 模式下分别为55.2%（SEM=7.3%）、63.7%（SEM=3.5%）、68.2%（SEM=4.1%）（见图2）。将声调时长类型（自然时长和相同时长）和助听模式（HA，CI，CI+HA）应用Two-way RM ANOVA 作双因素方差分析发现声调时长对声调识别表现具有显著影响[F (11,1)=43.051,P ＜0.001]，即不论何种助听模式，自然声调识别均显著优于相同时长声调表现。Bonferroni t-test 进行多组间两两比较分析发现，自然时长声调三种助听类型未见显著差异。相同时长声调在CI+HA 模式下的识别表现显著优于HA 模式（t=2.592，P=0.047）。CI+HA 较CI，或CI 较HA 模式的表现均无统计学差异。

2.2 音乐音符轮廓识别表现

MCI平均正确识别率在HA、CI、CI+HA模式下分别为29.5%（SEM=8.0%）、37.5%（SEM=6.1%）、34.0%（SEM=7.2%）。Friedman Repeated Measures Analysis of Variance on Ranks 分析显示，MCI 表现在不同助听模式下具有统计学差异（χ2=6.783，P=0.034)。Tukey Test多组间两两比较发现CI下的表现显著优于HA（q=3.464，P=0.038）。CI+HA 模式下的表现与CI（q=2.598，P=0.158）或HA（q=0.866，P=0.813)均无统计学差异。

图2 自然时长声调、相同时长声调及音乐音符轮廓（MCI）识别表现。Fig. 2 Bar plot showed mean recognition performance(across subjects) for naturally-spoken tone, equal-duration tone, and melodic contour identification (MCI) with HA, CI or CI+HA condition.The error bars show the standard error.

2.3 声调识别与音乐识别的相关性

Pearson相关分析显示MCI表现与自然时长声调在CI和CI+HA模式下均显著相关（见图3），与相同时长声调在三种助听类型下均相关（见图4）。

图3 音乐音符轮廓（MCI）表现与自然时长声调识别表现在助听器（左图）、人工耳蜗（中图）、人工耳蜗+助听器（右图）助听模式下的相关性。Fig. 3 MCI performance for individual subjects as a function of naturally-spoken tone recognition performance, for HA(left panel), CI (middle panel), and CI+HA condition (right panel).The dashed lines show linear regressions fit to the data；r and p values are shown near the regression lines.

图4 音乐音符轮廓（MCI）表现与相同时长声调识别表现在助听器（左图）、人工耳蜗（中图）、人工耳蜗+助听器（右图）助听模式下的相关性。Fig. 4 MCI performance for individual subjects as a function of equal-duration tone recognition performance, for HA (left panel),CI(middle panel),and CI+HA condition(right panel).The dashed lines show linear regressions fit to the data； r and p values are shown near the regression lines.

3 讨论

本研究中自然声调识别表现个体差异大（52.1%-92.7%正确率），平均水平与以往研究基本一致[9，12]。Li等[12]在2014年对12例讲汉语普通话的双模式使用者的言语感知评估研究发现，在CI 模式下的四声调识别率为66.8%，在CI+HA的双模式下提高为74.1%。本研究中12例受试者在CI模式下的识别率为70.9%，在CI+HA的双模式下提高为73.3%。考虑到F0对声调识别的重要性，我们期待使用助听器会对CI使用者的声调识别起到积极影响。但本研究中双模式获益（提高2.4%）很少，我们推测可能与助听器耳的残余听力水平有关[12]。本研究中CI 使用者助听器耳的残余听力非常有限，PTA≤500 Hz 平均阈值为82.2dB HL, PTA≤750 Hz 为86.4dB HL，明显低于Li 等[12]的受试者的残余听力水平。

值得注意的是，汉语普通话声调的声学线索除主要的基频(FO)变化轮廓外，还包括时程和时域包络。人工耳蜗提供相对较少的频域信息，研究表明当频域信息有限时，CI 使用者则更多的依靠时域信息来辨识[13]。考虑到这些辅助关联信息可能会削弱F0 对声调识别的贡献，从而掩盖了助听器耳的声学信息对音高感知的贡献，我们对自然声调的时长线索进行了标准化，使得每个声调的时长相同（均为400ms）。去掉时长线索后，受试者的声调识别能力显著下降。同时，通过对比自然声调与相同时长声调的识别表现，可以间接的反映出声调时长线索对声调整体识别的贡献。本研究中可以看出，声调时长线索对双模式使用者而言，不论是在声信号（HA：7%）或是电信号（CI：7.2%）下的贡献基本一致。且在声电信号联合的情况下，其贡献减少（CI+HA：4.8%）。考虑到本研究中受试者数目（n=12）的局限及助听器耳较少的残余听力，此结论尚需进一步研究来佐证。

本研究中CI 受试者的音乐识别表现较差，且与以往研究结果基本一致[8，14-16]。既往对CI使用者音乐感知研究中应用到了多种测试方法,包括音高分辨、音高排序、熟悉旋律或曲调识别、歌曲赏析等[17，18]。曲调或旋律分辨能力取决于很多方面，诸如对曲调的熟悉程度，是否可以在听到它的时候就说出其名字。这种能力受很多因素影响，如音乐素养、音乐训练，所处的社会文化环境，对曲调和其名字的对应记忆能力等[19]。音乐感知除主要感知音高变化外，还包含节奏、响度、音色等共同因素的感知[20]。CI 使用者基本可依赖节奏信息顺利完成音调丰富的音乐感知任务[21]。本文中应用了音乐音符轮廓识别（MCI）进行音乐音高变化感知评估[22]。虽然MCI与旋律或曲调分辨相关，但因测试材料的听觉线索减少，减少了很多干扰因素。在一个典型的MCI识别测试中，听者需要判别两个音高序列变化是否相同。构成每组音高序列的音符都有相同的节奏（两个相邻音符间隔均为300ms），相同的音色（钢琴音），且没有歌词提示。MCI同时也不受受试者对旋律的熟悉程度的影响，这种分辨主要依赖于听者对音高变化模式的感知能力，并不需要听者对其绝对或相对的音高进行精确的分辨。

本研究采用MCI测试，旨在探究音乐音高感知与声调感知间的内在联系。研究发现不论在CI模式下还是CI+HA 模式下，声调识别与音乐识别均显著正相关，当去掉声调的时长线索时，声调识别能力与音乐感知能力的相关性更强。此结果也进一步验证了声调识别和音乐识别在电听觉中可能源于相同的机制[6,7,23]。Xu 等[23]应用声嵌合技术的研究同样表明声调识别与音乐感知机制相似，主要由声信号中细微结构决定。Wang 等[6]研究发现声调识别表现与语音音高（voice pitch）范围内的音高分辨能力相关，并推测可能在具体频率范围内（比如≤300 Hz）声调与音乐音高感知均依赖于提取时域包络调制中的周期性线索。本研究中女声声调的F0 变化范围在150-350 Hz 之间，男声在80-250 Hz之间。而MCI的根音为220Hz，两个音符间最大音程为3 个半音，故所有音乐轮廓的F0 变化在220-440Hz 间。这与Wang 等[6]所用音高分辨测试中测试音所在频率范围一致。Fu 等[15]及Chen 等[16]发现音乐训练可提高音乐感知能力的同时，也可提高声调及言语识别表现。如何改善人工耳蜗使用者的声调和音乐感知仍是我们科研和临床面临的重大挑战之一，明确声调识别和音乐识别在电信号的感知机制及内在联系具有重要意义。