英语学习者英汉口语产出多模态话语分析

王平平 洪雅妮

内容摘要：二语学习者的口语产出作为重要且棘手的问题一直受到学界的高度关注，但鲜有研究提及到口语产出中的多模态特征。本文运用多模态的方法，基于张德禄构建的多模态话语分析的综合理论框架，借助ELAN5.5作为多模态视频分析软件，对2名研究生产出的英汉口语中涉及到的符号模态做定量标注，并对收集到的数据进行定性分析。研究显示：（1）在语言层面上，相较于汉语口语产出，两名被试的英语口语产出存在一些问题，表现在语速慢，停顿多;句子声调单一，倾向于使用降调等。（2）在非语言层面，两名被试的个体差异较大，动作特征因人而异，但存在的共同问题是目光交流偏少。

关键词：多模态话语分析 口语产出 ELAN

1.引言

Vygotsky（1978）认为语言习得是将认知过程和社会活动联系在一起的社会文化现象，是个体与外部世界不断相互作用的结果。这一过程是间接的，需借助中介工具调节完成，这些中介工具包括物质工具（如电脑）和心理工具/符号（如语言）。除语言本身外，非语言手段（如手势），也具有认知和交际双重功能（McNeill，1992）。然而，人类的交际方式多种多样，因此仅仅关注语言和手势是不全面的。例如，本文所关注的二语学习者的口语产出就具有很强的多模态性，语调、语速、头部移动、面部表情、眼神、手势等都在口语产出中发挥作用。20世纪90年代兴起的多模态话语分析（Multimodal Discourse Ananlysis）则可以在很大程度上克服目前二语习得研究的局限性，将对语言的研究扩展到其他表达意义的符号资源，如图像、声音、动作等。

2.社会文化理论与多模态话语分析

社会文化理论最基本的概念是人类的思维是有中介的（Lantolf，2000）。其核心思想是：人类高级思维功能的发展是依靠文化建构的中介工具的调节完成的，这些中介工具包括数字、地图、手势等。在此基础上，McNeill（1992）提出手势-语言辩证观，引起国内外二语研究者对手势研究的关注。由此可见，社会文化视角下的语言研究不仅仅局限于语言本身，也关注其他表达意义的符号资源（手势）。研究视角由宏观转向微观，但目前仅局限于手势研究。

多模态话语分析领域的学者Scollon（1998）将语言看作社会行为，以中介活动（mediation action）为基本分析单位。在此基础上，Norris（2004）提出高层活动（higher-level action）和低层活动（lower-level action）的概念，例如，一次晚餐是高层活动，而其中具体使用的话语、手势、表情等属于低层活动。多模态话语分析就是对这种现象的分析，强调话语意义不止由语言因素组成，非语言因素同样占据举足轻重的地位（张德禄，2009）。O'Halloran （2011）指出，在話语研究中，多模态话语分析是一种新兴的范式。它不仅可以显示出语言系统在交际过程发生的作用，而且可以呈现出图像、手势等其他符号系统在这个过程中所产生的的效果，从而使话语研究更加全面、更加准确，进而发现人们如何通过多模态实现交际的目的。

综上发现，社会文化理论与多模态话语分析不谋而合，即信息交互是多模态性的，这其中包括语言及非语言行为（手势、表情等）。但多模态话语分析更胜一筹，将除语言和手势之外的符号模态纳入考虑之中。因此，本文基于多模态话语分析的研究方法，运用ELAN5.5对2名被试的英汉口语产出视频进行标注，考量2名被试口语产出中的多模态特征。

3.研究设计

3.1被试

被试是某外国语大学英语专业研二的2名学生，均通过专八考试，且顺利通过本校研究生部组织的研究生英语综合水平测试口试考试。2名学生均没有海外生活经历，学习英语时间约为15年，被试被标记为被试A和被试B。

3.2实验材料

因此本研究采用图片故事Frog， where are you？《青蛙你在哪里？》（Mayer，1969）作为实验材料，全书共有25张图片（加封面），没有文字介绍，在故事理解上没有难度。但是在进行实际操作中，发现由于图片数量过多，被试在进行故事叙述的过程中会有不同程度的遗漏，因此本研究在正式实验之前调整了实验材料，选取其中16张（加封面）图片组成完整的故事。

3.3研究工具

本研究以ELAN5.5作为研究工具进行定量标注，该软件可以帮助ELAN还可以开展多种语言研究，尤其是对应用语言学研究十分有用，例如，可以对演讲话语、教师课堂话语、学生口头中介语等进行多模态分析（王立非等， 2008）。

3.4实验过程

为避免实验过程中相互干扰，2名被试分别进入一个安静的房间内参与实验。除被试外，研究者也会参与到实验中，担任听话者及录制视频的角色。在实验过程中，2名被试分别在规定时间内自行浏览完图片故事，然后使用汉语进行故事复述。间隔四周后，同样的实验流程，被试再使用英语进行故事复述。研究者对复述过程进行全程录像，最终得到4段完整视频。

3.5标注框架

张德禄（2009）将多模态话语分为语言媒体和非语言媒体两个层面，尝试建立了一个多模态话语分析的综合框架。本研究以该框架为基础，结合二语学习者口语产出的实际情况，提炼出了一套详细的标注框架（表1）。

4.结果与讨论

4.1语言特征

表2显示被试A在进行汉语口语产出中纯语言为20句，时长约为96秒。这其中语速标记10处，主要以慢速和停顿为主，快速较少;声音标记2处;语调较单一，多以降调为主。同样，表3显示被试B共产出26句，时长约为103秒，包括语速标记5处，以停顿和慢速为主;声音标注2处，以音量提高为主;语调以降调为主，平调次之。由此可见，两名被试的语调使用较单一（降调），语速时有减慢或停顿，有时会出现音量提高的现象。在英语口语产出中，两名被试的语言产出时长增长。如表2所示，被试A共使用句子18句，时长为106秒。语调仍以降调为主;慢速和停顿标注10次。在表3中，被试B共使用句子22句，总时长为155秒，语调较丰富，包括降调，升调和变调;语速7处，以停顿为主。相较于汉语口语产出，英语口语中出现了语调变化特征;语速更慢，停顿次数更多;音量大小无明显变化。

造成上述现象的原因有很多。首先本文口语产出方式为故事叙述，大多是陈述句，因此语调上更多出现降调。在英语表达中并未出现过度使用变调的现象，相反，其中一名被试语调比较单一，多为降调。其次，在英汉口语产出中都出现了语速慢且停顿的现象，且多出现在故事情境变换或推进的时候，尤其是在英语口语中更为明显。因此本文认为在这一过程中被试既要思考故事发展、内容表达，又要兼顾单词和语法等的准确性，加重了工作记憶的负担，造成语速减慢，停顿的现象。最后是声音特征，英汉口语产出都出现了音量小的特征。被试在此时往往是对自己的表达犹豫不决;而对某一些词或句子提高音量则是想进行强调

4.2非语言特征

本研究以身体部位作为划分单位，从上到下依次观察被试头部、四肢和躯干动作。头部动作细分为头部移动、眼神和表情;四肢动作包括手势和腿部动作;躯干动作则主要观察姿势变化。在分析被试非语言特征时发现，两人一致的特征较少，动作的差别较大。在汉语故事叙述中，被试A和被试B（表2、表3）的动作都集中在头部和四肢。其中被试A头部移动较多;与听话者的眼神接触少;表情一直保持微笑状态，无明显变化。四肢的动作以手部动作为主，无腿部动作，且手势标以指示手势、隐喻手势为主。被试B（表2、表3）的头部移动较少;与听话者的眼神接触较多;表情平静，同样无明显变化。无腿部动作，手势标注多，以图示手势为主;姿势变化有6处，以身体左倾和前倾为主。相比之下，在使用英语进行故事复述时，被试A（表2）的非语言特征与汉语表达相似，但是手势减少。同样被试B（表3）仅有细微变化，例如眼神接触减少。

总的来看，非语言特征的个体差异性强。被试A在进行英汉口语产出时以头部移动为主，且习惯头部右倾进行思考;眼神交流、手势、姿势偏少。被试B则是手势产出较多，且以图示手势为主，头部移动、眼神交流和姿势特征偏少。其次，较汉语口语产出而言，两名被试在使用英语时相应的非语言特征有不同幅度的下降且类别减少。再就单个动作来看，腿部动作和躯干动作在标注中极少出现，这是因为实验对象坐在椅子上，可能限制了一部分动作的产出。手势特征的差别很大，被试A手势较少，而被试B则倾向于大量运用手势来配合表达。此外二者存在的一个共同问题是与听话者的目光交流少，她们倾向于不断变换的目光接触（如向下看、向上看、向左右看等），显然将此次实验当做任务来完成，而非一次交流活动。

5.结语

本文分析了两名英语专业研究生的英汉口语产出的多模态特征，弥补社会文化理论当下研究的不足，肯定了交际的多模态性。同时发现，在语言层面上，相较于汉语口语产出，两名被试的英语口语产出存在一些问题，表现在语速慢，停顿多;语音语调还有待完善。在非语言层面，两名被试的个体差异较大，但存在的共同问题是目光交流偏少。本文是一个探索性的研究，选取的被试数量较少，因此后续研究需要继续进行完善，在大样本的基础上对中国英语学习者的口语产出进行多模态研究。

参考文献

[1]Lantolf， J.P. Sociocultural Theory and Second Language Learning[D]. Oxford： Oxford University Press，2000.

[2]Mayer， M.Frog， Where Are You？ New York：Dial Press.1969.

[3]McNeill， David. Hand and Mind. What Gestures Reveal about Thought [M]. Chicago： Chicago University Press， 1992.

[4]Norris， S. Analyzing Multimodal Interaction. A methodological framework[M]. New York & London： Routledge， 2004.

[5]OHalloran， K. L. Multimodal Discourse Analysis[A]. In K. Hyland and B. Paltridge（eds） Companion to Discourse[C]. London&New York： Continuum. 2011.

[6]Scollon， R. Mediated Discourse as Social Interaction[M]. London： Longman. 1998.

[7]Vygotsky， L.S.Mind in Society： the Development of Higher Psychological Processes[M]. Cambridge， MA： Harvard University Press，1978.

[8]王立非，文艳.应用语言学研究的多模态分析方法[J].外语电化教学，2008（03）：8-12.

[9]张德禄.多模态话语分析综合理论框架探索[J].中国外语，2009，6（01）：24-30.

基金：大连外国语大学研究生创新项目“中国英语学习者英汉口语产出的多模态话语分析-对3名研究生的个案研究”（YJSCX2018-099）的研究成果。

（作者介绍：王平平，洪雅妮，大连外国语大学英语学院硕士研究生，研究方向：二语习得）