中文听觉行为学实验平台的构建与教学应用

朱 莉，洪向共，常为科，赵 俊，张丽英

(南昌大学 信息工程学院,江西 南昌 330031)

听觉是人类重要的感知和认知能力,对听觉的研究不仅可以深入研究人的神经机理而且可以指导听力障碍患者进行康复治疗[1]。国外现有的研究主要针对人们对英文或音乐的听觉认知[2-3]。英文是非音调语言,而中文是音调语言,音调及音高均会影响人的听觉[4]。与此同时,日常的声音环境中噪声无处不在,本文研究了说中文的被试者在噪声环境下的听觉认知能力[5-6]。进一步研究中文听觉的影响同样具有重要的理论价值和实际应用意义[6-7]。音调是音节内有区别作用的相对音高的变化。已有研究表明,音调变化会影响人的听觉感知能力。重要的是,中文的音调遵循不同的表义原理,且与词语的含义有关[8]。研究员在对不同词汇音调的研究中发现,在信息结构类型中,不同词汇音调指定的基频彼此间不同,中文词汇音调在幅度与长度方面也有不同；相对于说英语的人群,说中文的人群对音调信息更为敏感[9-10]。这意味着基于英语的研究方法不能直接用于中文听觉。音高是听觉刺激的主观属性,它允许声音以从低到高的规格排列,同时也是大多数自然和人造声音的重要组成部分,例如言语和音乐[11]。一方面,音高会影响人在实际环境中对频率感知的能力；另一方面,它是临床上检查听力正常与否的重要准则。通常,听力检查是通过调节音高的频率,将合适音高的刺激声播放给受试者,通过获取被试的听力图来判断其听觉感知能力是否正常[6]。在中文中,音高对语义的对比和理解也起着至关重要的作用[12]。音高在多种听觉场景中发挥着重要作用,例如,音高是声源分离的重要特征；具有共同音高的声源在听觉处理中被视为同一听觉物；基频丢失的音高感知能力同时存在于人类以及鸟类等物种中[13-14]。研究说中文人群对音调和音高的行为学特征不仅有助于进一步探索中文音调和音高对人的听觉系统的影响,还有助于临床上对听力损伤患者、人工耳蜗植入患者进行言语康复治疗[15]。因此,音调和音高的心理学、行为学和神经机制是听觉认知神经科学的重要研究方向,研究说中文的人群的音高与音调具有理论和临床应用价值。

随着非线性科学的发展,人们不再盲目地对信号进行去噪,相反对信号进行加噪研究,在生物医学领域这一趋势尤为明显。有研究表明,对听觉刺激加噪能加强元音编码。感官神经元为了实现对信号的编码与传递,会用噪声来放大微弱的刺激信号。国外有机构通过加噪来增强人的呼吸功能,改善对身体的平衡控制[16]。因此在听觉的研究中运用加噪方法颇具意义。

在生物医学工程本科教学中,人的感知和认知能力是神经科学、解剖学的主要内容[17]。但现有的教学局限于课堂表述,无法让学生直观而具象地理解实际人群的真实感知和认知情况。基于以上原因,本文构建了基于MATLAB的中文听觉行为学实验平台,用于实验和教学。该实验平台可以分析不同的中文音调、不同的噪声水平以及不同的音高差等因素对说中文的受试者的听觉认知能力的影响,并能够在线地实时计算和记录多种听觉环境下听觉反应时间和判断准确率,数据能够保存用于离线数据分析和处理。该实验平台应用于南昌大学生物医学工程专业的实验教学,取得了良好的教学效果,并完成了两组实验研究。

1 实验平台的构建

1.1 实验平台

本文选用MATLAB为实验平台,利用MATLAB的图形用户界面(graphical user interface,GUI)完成实验平台的搭建。GUI是一种MATLAB对象,可以通过MATLAB中的集成开发环境GUIDE来编程实现界面化。本文使用MATLAB控制台与GUIDE联合编程方法实现实验平台的搭建。

1.2 中文听觉行为学实验方法

1.2.1 实验数据

本文选用 yī、 yí、 yǐ、 yì四种音调声音作为实验数据。在听觉方面,这四种音调有利于提高隔离音高编码的效果。通过利用音高差能最低限度地区分这四种发音与韵母相同的音调的声音；其次,所用的四种音调声音都表现出声音的基频轨迹和谐波处于易记录的频率跟随响应的范围内,且这四种音调声音表现出了俯仰运动方向的变化[12]。

本文所选音高差范围,以国际第一音高低音(440 Hz)为基准。音高差较小是同时播出低音6(440 Hz)和低音5＃(415 Hz)；音高差适中是同时播出低音6(440 Hz)和中音3(659 Hz)；音高差较大是同时播出低音6(440 Hz)和中音6(880 Hz)。

1.2.2 实验一

在左右两声道中同时播放 yī、 yí、 yǐ、 yì四种音调声音中的任意两种。实验过程中,测试者首先根据视觉提示信息 “左边”或 “右边”,将听觉注意集中于对应声道中,然后对相应声道中播放的声音音调进行感知,最后根据音调认知结果完成实验判断。在实验平台基础上,考虑噪声影响因素,分别在安静、信噪比0 dB、信噪比10 dB三种环境下进行上述听觉认知实验,记录反应时间和判断正确率。其中,噪声选用典型的高斯白噪声,高斯白噪声包含真实环境中的几乎所有频率,可以较真实地模拟现实听觉环境噪声。

1.2.3 实验二

考虑音高差因素,分别在左右两声道中同时播放音高差较大、音高差适中、音高差较小的3种声音组合。实验过程中,受试者首先根据视觉提示信息 “高音调”或 “低音调”,确定目的声音的音调高低特性；然后通过对播放的两种声音的音调进行感知,判断出与目的声音相对应的播放声道；最后,做出判断并记录反应时间和判断正确率。

1.3 实验步骤及流程图

本实验分为等待阶段、视觉提示阶段、听觉注意阶段及判断反馈阶段4个阶段。

1)等待阶段,测试者集中注意力,准备开始测试；

2)视觉提示阶段,实验界面中出现向左、向右或向上、向下的箭头图形并持续300 ms；

3)听觉注意阶段,左右声道中播放声音并持续700 ms,操作符出现后马上开始反应计时；

4)判断反馈阶段,测试者根据听觉认知结果,做出实验判断并结束计时。

若反应时间超过1 500 ms则记为反应超时,因为反应时间过长会增加实验中的不确定影响因素,故在最后的数据处理时应剔除。测试者完成20次听觉测试后,实验界面汇总出20次的反应时间及正确率结果。实验流程图如图1所示。

图1 实验流程图

1.4 MATLAB GUI实验运行界面

利用GUI结合混合编程完成实验设计,首先,分析界面需实现的功能,然后,利用编辑工具绘制操作界面,结合混合编程达到控制静态界面运行的目的。实验中,利用3个或5个按钮控件完成实验设计,按钮设置为 “开始” “左边” “右边”,以及 “开始” “yī” “yí” “yǐ” “yì” 等； Table 控件负责显示实际声音、判断结果及反应时间等数据；Axes控件用来显示上、下、左、右提示箭头；Static Text控件实现 “正确率:” “%” 和 “正确率数值结果”等设计。MATLAB的运行流程图如图2所示,实验一和实验二的判断界面布局图如图3所示。

图2 MATLAB运行流程图

图3 实验主要GUI界面

图3(a)为实验一的判断界面布局图,实验过程中随机选取 yī、 yí、 yǐ、 yì四种声音中的任意两种,在左右声道中同时播放,测试者点击 “开始”进入测试, 听取声音后, 选择 yī、 yí、 yǐ、 yì四个按钮中的任意一个,完成本次测试。

图3(b)为实验二的判断界面布局图,实验过程中随机选择声音组合内任意两种音调不同的声音在左右声道中同时播放,测试者点击 “开始”进入测试,听取声音后,选择左边、右边两个按钮中的任意一个,完成本次测试。

对实验中的实际声音、判断声音和判断时间实时计算,并以可视化界面的形式给出受试者的统计结果。安静环境下的可视化结果如图4所示,其中1、 2、 3、 4 分别代表实验中的 yī、 yí、 yǐ、 yì四种音调声音。

图4 实验一统计结果图

1.5 MATLAB混合编程过程

1.5.1 编程思路

根据实验需要,利用GUI完成界面设计后,用OpeningFcn函数完成界面初始化。利用Callback函数使实验循环20次。编写动态执行过程代码,将音频标记为a,储存并存放在表格中。写入呈现持续300 ms提示图标代码,然后关闭图标的可见性并写入播放声音代码。完成20次实验后编写实验结果表格的代码。接下来完成四个音标按钮的“Callback”函数的编写。设定回调函数,在其下面写入计时停止的语句,实现受试者点击按钮后停止计时的目标。然后将时间值保存并显示在表格中。当计时功能完成后,利用ks＿Callback函数实现正确判断的指令。此外,需要注意的是,在调用前,要先写入四条关闭四个音标按钮可见性的指令。

1.5.2 Function函数

本程序主要由OpeningFcn、OutputFcn和Callback三个function结构构成。在OpeningFcn框架中记录反应时间和判断结果以及实际播放的音调。在OutputFcn框架中更新用户数据。对于Callback,在实验的第一阶段设定控制循环的参数、控制提示图形控件和关闭开始按钮的语句。进入第二阶段,定义两个随机数；产生随机数0或1可达到控制提示符方向的目的；产生随机数1～12可控制左右声道播放四个音调的12个不同组合。在第三阶段中保存相关数据并显示300 ms提示符,再关闭图形的可见性并播放音频,打开四个音标按键的可见性。

在控制四个音标按钮的回调函数框架下,依次实现了停止计算反应时间；关闭四个音标按钮的可见性,并进入到下一次测试,以保证数据不被覆盖。

2 实验平台教学应用及实验结果分析

2.1 实验平台教学应用

该实验平台应用于南昌大学生物医学工程专业的实验教学。在教学中,讲授平台搭建过程以及平台使用方法,使得学生在学习编程的同时能更直观地分析听觉认知现象。调动了学生的积极性,有利于学生进一步深入研究基础科学。已有的听觉认知实验以人工计分为主,缺乏准确性和客观性。本文搭建的实验平台能调动学生研究认知的积极性,推动教学改革,改善教学效果。

学生利用该教学平台,分组完成了两组实验并分析了实验结果。募集南昌大学20名平均年龄为22岁大学生,其中男女各10名。经听觉测试,所有的受试者进行了双耳纯音听力阈值测试,测试频率为250～8 000 Hz倍频程。所有受试者的单侧耳的听力阈值都低于15 dB,且没有中枢神经或外周听觉损伤病史,所有受试者听力正常。与受试者签署了同意实验程序协议,并支付了相应实验费用。

本文采用T检测(ttest)方法判断实验结果是否具有统计学意义上的显著性,为实验结果提供可靠的科学依据。本文在3种不同噪声环境下及3种不同音高差条件下对受试者的反应时间及准确率进行T检验,共比较了2(噪声、音高)×2(反应时间、准确率)×3(噪声水平差异、音高差异)＝12组实验结果的显著性。本文的置信水平设置为常用95%,即当ttest比较结果的p＜0.05时,对应组的结果差异具有统计学意义。

2.2 实验一结果及分析

计算3种噪声环境的反应时间和判断正确率的平均值以及标准差的结果如图5所示。

图5 不同噪声水平下听觉感知实验结果(∗为p＜0.05)

图5 (a)为3种噪声环境下的判断反应时间数据柱状图,其中安静环境下为0.50±0.19 s,SEM；0 dB环境下为0.40±0.14 s,SEM；10 dB噪声环境下为0.38±0.18 s,SEM。实验结果表明噪声增大,反应时间缩短。

图5(b)为3种噪声环境下的判断正确率数据柱状图,其中安静环境下为88.67±5.01%,SEM；0 dB环境下为87.67±7.07%,SEM；10 dB噪声环境下为84.33±6.94%,SEM。实验结果表明噪声增大,正确率降低。

进一步分析实验结果,可得到以下2个结论。

1)随着环境中噪声量的增大,测试者的平均测试结果呈现反应判断时间缩短,判断准确率降低的变化规律。原因是,噪声环境中不同的声源之间存在竞争,在噪声不至于损伤人体听觉前提下,噪声越大,听觉神经活动越兴奋,使人体对声音信息的认知反应时间缩短[18]；但随着噪声量的增大,干扰信息源增多,人体认知目的声源则更困难,导致判断准确率下降。

2)3种噪声环境下的实验结果两两组合并利用ttest计算反应时间和判断正确率的p值,发现安静与信噪比0 dB环境、安静与信噪比10 dB环境的反应时间差异显著 (p＜0.05),结果具有统计学意义。说明0 dB噪声环境及10 dB噪声环境下的反应时间均绝对小于安静环境下,其他p值计算结果均大于0.05,则不存在相互间的绝对大小关系。

2.3 实验二结果及分析

计算3种音高差环境下的反应时间和判断正确率的平均值以及标准差的结果如图6所示。

图6 不同音高差水平下听觉感知实验结果(∗为p＜0.05)

图6 (a)为3种音高差环境下的判断反应时间柱状图,其中音高差较大环境下为0.63±0.23 s,SEM；音高差适中环境下为0.53±0.19 s,SEM；音高差较小环境下为0.56±0.19 s,SEM。实验结果表明,音高差适中环境下反应时间大于音高差较小环境,但小于音高差较大环境。

图6(b)为3种音高差环境下的判断正确率,其中音高差较大环境下为84±7.23%,SEM；音高差适中环境下为73±6.17%,SEM；音高差较小环境下为48±9.24%,SEM。图形特征表明,音高差减小,判断正确率降低。

表1为实验二中每位受试者的判断结果和判断时间。其中,3、4分别代表左右声道,001 0、002 0分别代表音调低和音调高,3.001 0、3.002 0、4.001 0、4.002 0则分别代表左声道播放的低音调声音、左声道播放的高音调声音、右声道播放的低音调声音、右声道播放的高音调声。

表1 实验二结果统计表

由以上结果可知:

1)音高差较大时反应时间最长,这与干扰源导致的能量掩蔽作用结果[19]有差异,原因可能是在音高差较大环境下进行实验测试时会出现注意力涣散,导致反应时间增大。而随着音高差减小,受试者的注意力更加集中,反应时间缩短。当音高差适中时,最容易做出判断,反应时间最短。

2)随着环境中音高差的减小,测试者的判断正确率逐渐降低,对目标声音的认知更困难。

3)3种音高差环境下的实验结果两两组合并利用T检验,统计出反应时间和判断正确率的p值。音高差较大与音高差较小、音高差适中与音高差较小的判断准确率具有统计学意义(p＜0.05)。音高差较大音高差适中环境下的判断准确率均绝对大于音高差较小环境下。

3 分析与讨论

语言的研究结论可知,在人体的听觉选择性认知过程中,噪声可能起到以下两个作用:

1)提高听觉神经的兴奋度,缩短听觉反应时间；

2)引入竞争声源,干扰目的声源被认知的过程。

噪声主要通过调制皮下层及其反映形态,使皮层下的反应延迟,N1响应幅度值减小以及神经编码精度降低,最终导致大脑脑干反应与N1皮层响应幅值协调失衡[20],使得说中文的受试者对于目的声音的感知能力减弱。声音环境中的音高差因素则通过非目标声音的能量掩蔽作用来干扰听觉选择性认知行为[21]。音高差能够干扰听觉选择性注意的主要原因是,声音的音高特性主要取决于基音的频率,对于音高差异较小的两类声音,它们在频谱上会出现较多的相互重叠部分,这两类声音将一起激活听觉外周神经系统的相同区域,使听觉神经细胞对目标声音反应的动态范围变小,听觉外周对目标声音的编码失真[22],导致说中文的受试者对目标声音的判别能力减弱。

4 结束语

本文首先利用MATLAB的GUI及混合编程,构建了自动运行的中文听觉行为学实验平台。该平台实现了不同条件下声音选择性提示、左右两声道同时播放、自动记录受试者反应时间和判断准确性。实验数据能够在线实时记录,可存储用于离线分析处理。将此实验平台应用于生物医学工程本科生的实验教学及实验研究,调动了学生研究认知的积极性,改善了教学效果。在此实验平台基础上,完成了两组实验,分析了不同的噪声水平、不同音调以及不同的音高差因素对说中文的受试者听觉认知的影响。实验表明,噪声越大,听觉认知系统对音调的判断准确率越低,反应时间越短；音高差异越大,判断准确率越高,反应时间越短。以上实验结果有利于进一步研究听觉认知,如利用噪声效应的研究结果对儿童在噪声下进行音乐训练以提高其语音神经编码能力[23]。国外对语音的研究已涉及脑部语言经验水平[24],我国在中文音调语音方向的研究结果则相对较少。因此,本实验平台能有效地应用于中文听觉行为的研究与教学。