动态多模态话语的模态协同研究*
——以视频演讲为例

唐嘉梨

(遵义医科大学，贵州 遵义，563000)

一、引言

随着信息技术的日益发展，人们的交际模式和交际媒介呈现多样化。从书信时代到信息时代再带今天的新媒体时代，在这一发展进程里，不管是有声或是无声的“语言”，已不再是人类交际中的唯一模态，而是汇聚了形式各异的模态来完成，比如：肢体语言、面部表情、音调音速、图像背景、眼神变化等等。这种运用听觉、视觉、触觉等多种感觉，运用语言、图像、声音、动作等符号资源进行交际的现象就是多模态话语。[1](张德禄，2009a：24)“人们的交际是多种模态交互作用关系，主要表现为文字、图表、语言、音乐、视频、身姿、手势等。多模态话语为视、听、触等多种感觉系统共同参与的，经画面、语言、声音、姿势等多种信息载体同时作用下完成的交际现象。”[2](Kress G & T.van Leeuwen，2001)关于语篇的话语分析也涉及覆盖到了多种模态，诸如Kress 和van Leeuwen(1996，2001)[3]、O’Halloran(2004)[4]、Baldry 和Thibault(2006)[5]等语言学者，开始探索多模态话语中各模态间的联系和模态间的协同关系及其意义。国内多模态话语分析从初期大量研究静态语篇进行(新闻图片、社会符号等)，到目前这个崭新的阶段，越来越多的学者开始关注动态语篇(视频、演讲、广告、电影等)的研究，有基于系统功能学的多模态话语分析，有认知意义的多模态话语分析，有多模态协同互动分析，也有基于语料库的多模态话语分析。张德禄(2009a)[1]绘制出了多模态话语分析的的综合理论框架，很多学者运用这一框架展开多模态话语研究，所选语料多为演讲、新闻、广告、天气预报、电视剧等。官方的贺词视频也属于演讲类，受众对象也很广泛，算是比较典型的多模态动态语篇。本文也将以张德禄的“动态多模态话语分析理论框架”为基础，对英国首相农历新年发出的官方贺词视频进行研究，在进行语篇分析的同时对其视频中输出的各种模态间的关系以及协同性进行探讨。

二、动态多模态话语分析理论框架

张德禄(2009a)[1]以Halliday的系统功能语言学为指导，结合Lim(2004：220-246)提出的多符号性模式框架[6]，绘制出具有指导意义的动态多模态话语分析综合理论框架，如图1。

图1 动态多模态话语分析框架

从图1中我们可以看到，这个框架里涉及了文化语境、情景语境、话语内容和输出信息四个主层级。在特定的一个文化语境中，讲话者受不同情境和交际意义的影响，选择合适的模态输出信息。交际意义可为视觉的也可为听觉的，不同模态显现的意义为单一的一个事件，不管选择哪种意义，要想实现其交际意义必须将它们整合在一起，在这一整体意义构建的过程中，最重要的是各模态间的关系决定了模态间是否能紧密结合。各模态间关系的搭配也是灵活呈现的，图像和话语可以主辅交替，也可以互补协调。张德禄(2009a)[1]把这样的关系概括为两种类型：互补关系(强化和非强化)、非互补关系(交叠、内包和语境)。交际过程中对应的事件与这些关系变化紧密相连，动态多模态话语分析正是研究话语和静态或是动态画面之间的关系。

三、研究对象和研究方法

1.研究对象

本文选择英国首相特雷莎·梅自2016年任职以来每年农历新年发出的贺词视频作为研究对象，有2017年、2018年、2019年三年的官方新春贺词视频，长度分别为：2分42秒，40秒、1分19秒。Baldry&Thibault(2006：185)认为阶段之间的过渡可以从表达层面或内容层面的变动得到提示，根据听觉模态和视觉模态的递进，每个视频所输出的信息都可切分为不同的阶段[5]，其所表达的内容如下图2：

图2 多模态话语形式及关系

其中，2017年的视频从开始到结束只有特雷莎.梅的前景化镜头、音频、固定的背景；2018年和2019年的贺词视频有视频、音频、身势等多样模态语料。这三段视频包含了视觉模态以及听觉模态等模态间的递进、协同、互补，涉及到字幕、肢体动作等符号信息，将这些要素合成在一起就成了一个统一的赋有逻辑意义的整体。

2.研究方法

本文采用定性分析与定量分析相结合的研究方法。根据动态多模态语篇的三个切分标准[7](张德禄，2010c)：

1)语篇结构:语篇的整体意义包含若干个阶段,每个阶段又包含若干个步骤,或者是次级单位,所以语篇的最小意义单位是由录像切分的最小单位图像实现的。

2)经验意义:找出标志着过程变化的转折点,这个点标志着一个新过程的开始,包括其参与者和情景因素。

3)前景化的事物和特征:这些是语篇的显著特征,所以应该予以考虑。在图像语法中,图像成分的单位可以分为图像素、图式和图像。图像素是图式的组成成分,而不同的图式则组成体现一个事件的图像。在语篇层面,每个图像实现一个事件,一系列交际事件就形成一个情节,几个情节可以组成一个故事,或者一个语篇。(张德禄,2009a)这为分析录像等动态多模态语篇的语法结构提供了基本框架。

3.研究工具及步骤

选用ELAN5.2为研究工具，研究工具是ELAN5.2视频分析软件(http://www.mpi.nl/tools/elan/ELAN_5-0-0beta_win.exe)。该软件主要用于对多模态的分析，可精确到0.01秒，便于分割，标记，定位，循环播放，根据时间标签，可实现标注与图像，声音，文本同步进行，即点即播。

具体研究步骤如下：

1)运用ELAN5.2将三个视频进行分切，标注，对3个视频所覆盖的不同事件(图像)的具体转写如附表1、2、3所示。

表1 特蕾莎·梅2017年新春贺词多模态语篇转写表

2)运用动态多模态分析框架，从文化语境、情境语境和模态协同方面对语料进行研究。

4.语料转写

图3 特蕾莎·梅2017年新春贺词语篇

这三个视频中的每个阶段可划分为不同的步骤,每个步骤是一个语篇结构单位,可细分成很多个图像。每个图像又标志着一个语篇单位、一个语法过程和一个信息单位,如图2、3、4所示；2017年的语篇结构包括5个阶段，可细分为13个步骤，一共42个图像；2018年的语篇结构包含4个阶段，可细分为4个步骤，一共12个图像；2019年的语篇结构包含5各阶段，可细分为6个步骤，一共22个图像。

图4 特蕾莎·梅2018年新春贺词语篇

图5 特蕾莎·梅2018年新春贺词语篇

表2 特蕾莎·梅2018年新春贺词多模态语篇转写表

表3 特蕾莎·梅2019年新春贺词多模态语篇转写表

四、新春贺词的多模态话语分析

1.新春贺词演讲的文化语境

“农历新年”(农历正月初一)称为“春节”，是国家领导人发表讲话和致词的重要节日之一。在中国传统新年“春节”，除了我国的国家领导人，大部分国家的国家领导人都会向这个节日致新春贺词，向国家人民致以节日的诚挚祝福，而且每一年贺词中的内容都有所不同，发布形式也日益多样。国家领导人通过视频演讲向受众表达重视传递祝福，通常情况下，这类贺词里使用的政治话语政治色彩相对较弱，但潜在的政治意义却耐人寻味。文化语境是使多模态交际成为可能的关键层面,包括由人的思维模式、处世哲学、生活习惯及一切社会潜规则所组成的意识形态和可以具体实现这种意识形态的交际程序或结构潜势。文化语境决定人们根据交际目的的不同而采用的不同的交际阶段和步骤,即体裁。语篇的交际目的是通过体裁来实现的。[8](张德禄，袁艳艳2011)“演讲是一种以声、像为主的公共交际活动，多数在公共场所进行，主要的手段为语言，辅助手段包括姿势等，最终达到声情并茂、准确无误地向公众阐述自身观点的目的。”[9](靳雅姝，2012)政治演讲是有关政治内容和政治活动的讲演，是代表一定政治立场和团体利益的一种演讲。基本特点是具有思想性、政策性和策略性。政治演讲较之其它演讲更带有宣传的成分。以前的演讲形式主要靠演讲者的语言来传递信息，现代信息技术的发达，通过各种模态的结合让演讲变得更加丰富饱满，用多种形式满足受众的习惯。但不管形式怎么变，国家领导人的新春贺词演讲主要目的是为了拉近与受众的距离，表达重视关怀之情，传递真挚的祝福，具有一定的政治意义。所选取的这3段贺词演讲结构包括：开场问候阶段、回顾过往阶段、展望未来阶段、祝福结束阶段。

1)开场问候：向受众问好，简单描述新春场景及活动

2)回顾过往：通过回顾过去从政治、经济、文化、旅游等方面与中国的友好往来，突出华人群体的重要性，突显英国是一个多元化的国家。

3)展望未来：表达对未来中英关系的信心以及期许

4)祝福结束：提到农历新年对应的生肖，送出祝福

2.新春贺词演讲情景语境分析

Haliday(1978)在Cohension in English中提到情景语境包括语场(field)、语旨(tenor)和语式(mode)[10]三个变项。语场指语篇的主要内容，这3篇贺词的语场都是送出新春祝福，表达潜在政治意义。语旨是指说话者和受话者双方的社会角色关系，3段视频中的语旨是英国首相特蕾莎·梅还有所看到此视频的大众。语式是语言交际过程中的媒介和渠道。特蕾莎·梅利用声像合一的视频，通过中国的社交媒体(微博、秒拍)向世界受众发表新春贺词，其穿着从2017年的英伦特色格子装配珍珠耳环，到2018年黑色干练休闲西装配耳钉及单色项链，再到2019年喜庆橘红休闲西装配中国风多彩项链，既符合政治演讲场合的严肃性和突显个人精明干练的形象，还向主要受众释放出亲近的态度。部分模态里出现戴腕表和婚戒的画面，向大众传递出家庭和睦的重要信息。流利浓郁的英伦腔，亲和力十足的演说加上适中的语速，同时配上一些得体的肢体动作和非言语的交际模态作为辅助，让整个新春贺词演讲视频更具多模态的意义和政治感染力。

3.模态协同

不管在哪一类的动态语篇中，听觉模态和视觉模态的协作是必然的。因此,只有充分利用新媒体视频的立体、广泛传播优势,克服时间有限的短板，使视频的视觉模态和听觉模态两个系统相互协作、相互补充,才可以在短短的几分钟时间内传递给受众更多的有用信息,提高观众的关注度和接受能力,从而更好地达到交际目的。实际上,在这个过程中,视觉模态虽然十分突出,但只提供交际的条件,听觉模态决定交际进程。视觉模态则对听觉模态主要起两个作用:强化,观众可以通过视觉模态来使通过听觉模态得到的信息更加清晰和准确;补充、弥补听觉模态所缺失的、没有传达清楚的、不懂英语的、或者观众没有完全接受的信息。(张德禄，袁艳艳，2011)

下面将依据这三年的贺词动态语篇对其各阶段所采用的各模态交际模式中模态间的协同关系。

第一类，开始和结尾阶段提示型交际模式：2019年的贺词视频语篇中，以介绍春节场景及相关庆祝活动引出春节的主题，背景是各种春节装饰以及每个华人手中都拿着一些新春吉祥物(第一阶段)，画面再切换到唐宁街10号外和一些其它城市的中国春节装扮(第二阶段)，然富有激情的说“So wherever and however you are celebrating, let me wish you a very happy new year, and a prosperous and auspicious year of the Pig.”(第五阶段)。

2018年贺词视频语篇中，以新春祝福为开头引出春节的主题(第一阶段)，在最后也提起情绪说“So wherever you're celebrating, enjoy the fesitivities, have a fantastic time.And I hope you have a very prosperous and peaceful year of dog.” 并且还说了一句中文的“Happy new year, 新年快乐！”(第四阶段)

2017年视频语篇中，同样以新春祝福为开头引出春节的主题(第一阶段)，接着镜头切换到各地新春装扮场景(第二阶段)，最后同样以饱满的情绪送出祝福：“So as the lanterns are lit and the dumplings are served, let me wish you and your family, wherever you are, a very happy and healthy New Year.Xin Nian Kuai Le.”(第四阶段)

在这一类型模式下，此种交际模式的类型以听觉模态为主，其背景、或是呈现出来的部分动态画面属于视觉模态，并没有实际交际的过程中，主要起勾画语境、补充说明的作用，以丰富的画面感呈现给受众，与主模态形成非互补的关系。

第二类，信息提供型交际模式。在这一类型中，特蕾莎·梅想传递出的信息隐含了一部分的政治意图，分别在三年都提到了华人群体的贡献，表达其对华人群体的感谢与重视。

2019年的贺词视频语篇中，在第三阶段提到不管是留学生或者是扎根到英国很久的家庭时，画面会配合给到这两类群体特写，再配上她的旁白描述，让受众很直观的感受到英国政府是很重视华人群体的，接着第四阶段画面切到特雷莎·梅在首相府邸唐宁街10号与华人庆祝春节的场景，配合听觉模态由此巧妙的向大众传递英国是一个多元化文化的国家。

2018年的贺词视频语篇中，第二阶段的听觉模态提示要回顾过去一年却没有更多的细说过去发生了一些什么，而是通过视觉模态不同的情景画面带着受众回忆了过去一年的一些大事纪，比如与习近平主席的会面等，在第三阶段顺势提到华人群体表示感谢。

2017年的贺词视频语篇中，在第三阶段就释放了很多信息，没有过多的视觉模态辅助，只有特蕾莎·梅前景化的画面，眼神目光没有任何闪躲直视前方，让受众感觉其就在眼前讲话一样，透漏着一股坚定和亲切，更多的靠声觉模态强调中英关系，对之前的国事访问进行回忆阐述，从商业、外交、经济、教育、文化、旅游及国际问题凸显中英两国的往来，充满信心的展望2017年，描绘自己对未来中英关系的期望，同时又很巧妙的强调了英国形象的构建。最后还通过回忆去杭州与习近平主席的首次会晤，表达自己期待再次访华。也许是因为刚上任很迫切的想要表达自己的政治立场，这是三年新春贺词中信息提供最多的一年。

在第四阶段通过讲述生肖鸡的品质，赞扬华人群体也具备通同样的品质，强调华人群体的贡献，同时也展现英国是一个多元文化的国家。

在这一类型的模式下，无论哪种模态都无法独立存在以保证完整的整体表达意义，仍然以听觉模态为主，视觉模态递进补充说明，两模态间呈互补型关系。

第三类型，再次表达主题求取注意型。特蕾莎·梅三年的新春贺词结尾，也就是最后一个阶段，都会再次送出祝福唤起受众对她整个行为的注意，画面会切换到特蕾莎·梅的前景化，整个肢体正对受众，目光正式前方感觉与受众对视交流，再次感觉其本人就在眼前一般。在此类型下，主模态依然是听觉模态。听觉模态不能充分的表达其意义，这时需要特蕾莎·梅的视觉模态对听觉模态起强化作用。所以两模态在这一类型下是强化类互补关系。而此时每一年里特蕾莎·梅所处的环境为整个视频提供了背景图像，三年的背景图像对听觉模态和视觉模态的意义构建上并无太大的贡献，只是作为一种模态为听觉模态提供了语境信息，因此，其所呈现的视觉模态与听觉模态间是语境交互类的非互补关系。

表4 特蕾莎·梅2017—2019年新春贺词视频演讲模态间的协同关系

在特蕾莎·梅的新春贺词演讲视频实例中，多模态间的关系呈现如下：听觉模态和视觉模态结合在一起引出表达主题，形成联合非强化类型；视觉模态的主要表现形式有与演讲主题相符合的装饰背景语境环境，丰富立体的不同事件画面，传递出演讲者想要释放的信息，完美的与特雷莎·梅自信亲切的听觉模态构建完整的交际意义，形成互补型交际模式。整个视频过程中不同图像动作的间断和生动的语言让所传递信息更加饱满。

五、结语

通过对特蕾莎·梅2017—2019年发出的新春贺词视频的动态多模态间的模态协同分析可见，动态多模态话语分析需要不同阶段的交际目的，选择不同的模态组合，按照一定的逻辑顺序递进发展。要想实现演讲者话语的完整意义所体现出来各模态之间的关系通常是相互协调、相互补充或者强化。希望信息接收者能通过多模态间模态协同关系的深入了解更好的理解接收演讲者的话语意图。本文虽然初次对此类演讲视频的多模态话语进行了研究，但仍存在很多不足，希望能在以后更深入的研究中有所改进。