《遥远星球的孩子》预告片的多模态协同分析

（江苏科技大学 外国语学院 212003）

一、引言

时下人们的交际大都是图、文、声、动同步进行，以多种模态的形式呈现，使信息传递更加快捷、精确、全面，适应时代交际的需求。这种运用多种感觉（听觉、视觉等）和符号资源（语言、图像、声音、动作等）进行交际的现象就是多模态话语。多模态话语分析研究语言和其他非语言的意义系统，突出图像、音乐、颜色等其他符号系统在社会交际中的地位，能更加全面准确地解读话语意义，探索人类如何综合使用多种模态顺利进行交际。经过二十多年的发展，多模态话语分析逐渐从静态语篇转向对视频、电影等动态语篇的研究。其中，Baldry等从多模态角度分析了媒体、网页、电影和广告等；Bateman和Schmidt提出了系统分析电影意义构建的符号学框架；张德禄提出并运用了动态多模态话语分析理论框架来分析一则电视天气预报中视听等模态间协同，发现听觉模态为主模态，其他模态对其补充或强化；管乐、张嵋琳在张德禄的理论框架下分别研究了两场Ted演讲，发现在演讲视频中，听觉模态是主模态，其他模态与之协调配合达到具体交际目的；孟凡英从动态多模态话语形式和关系方面分析中国申办2022年冬奥会刘延东陈述视频，发现其中各种模态话语的形式（语言、声觉和图觉）相互关联共同实现语篇的整体意义。整体来说，从多模态角度分析动态视频中交际目的的达成，对人们社会交际产生积极指导作用，是社会发展的需求。

二、动态多模态话语分析理论框架

张德禄基于系统功能语言学提出动态多模态话语分析综合框架，文化层、语境层、意义层、形式层及媒体层是其五大层面。针对形式层的分析，具体探讨了多模态话语的形式及关系，不同模态有实现意义的不同表意形体和语法系统，如视觉模态中有图像形体和图像语法，前者是本身可以实现一定意义的图像项目，后者是不同项目组合后形成的图像结构体，可体现一定的（更复杂的）意义。且各模态间构成多种协同关系，分为互补性和非互补性两大类。互补性关系指一种模态不能充分或全部表达话语的意义，需要第二种模态的补充，其下细分为强化（突出、主次和扩充）和非强化（交叉、联合和协调）；非互补关系则指第二种模态的出现对第一种模态在话语意义的表现上并没有大的贡献，分为内包（整体与部分、抽象与具体）、交叠（冗余、排斥、抵消）、语境交互（独立、依赖）。

三、《遥远星球的孩子》预告片的多模态协同分析

（一）语料和语料切分

2011年7月21日CCTV9频道首播纪录片《遥远星球的孩子》的预告片，时长1分34秒。该预告片从医学、伦理、家庭、工作、梦想等多个角度为观众揭开孤独症患者独特的内心世界和生活，尝试改变社会上“孤独症是一种神秘疾病”的刻板印象，立意深刻，引人深思。

作为典型的动态语篇，该预告片以字幕、画面、音乐、音效等多种符号来进行意义建构，其中视听两种模态是否巧妙协同直接影响着预告片的交际目的是否能实现。为了便于分析，首先依据张德禄对动态语篇切分的三个标准（语篇结构、经验意义、前景化的事物和特征）切分该视频。在一个语篇中，每个主题下有多个阶段，每个阶段下又有多个次要单位，随着语篇内容的发展，主题发生转变，该转折点可作为单位切分的界限，也带来了语篇参与者和情景因素的变化，另外语篇中同主题密切相关的前景化事物和特征在语篇切分时也应考虑。再者，从语篇整体上来看，张德禄指出，每个图像可以实现一个事件，一系列交际事件形成一个情节，几个情节可以组成一个故事或者一个作品。由此，该预告片被切分为5个阶段，9个步骤、12个情节、19个事件和19个图像。预告片的开始与结尾分别对应阶1和阶5，主题发展对应阶2和3，高潮部分对应阶4。

（二）模态间协同关系分析

该预告片由不同的交际阶段构成，各阶段有各自的交际目的，从而产生不同的多模态话语交际模式，具体存在提示型、提供信息型和求取注意型三类交际模式。

第一类：提示型交际模式（阶1、5）。首先，与舒缓的背景音乐几乎同时，配音陈坤以缓慢的语调向观众询问“你知道吗？你身边每1000个人当中，至少有6个人，他们无法沟通，无法表达，无法互动。”在此阶段听觉模态始终处于前景中，为主模态，同时事件1中灰黑色整体色调下的少年背影（视觉模态）为听觉模态提供背景信息，起强化突出作用，事件2、3、4依次呈现从窗口遥望的少年沉浸在自己的世界里，不与他人沟通；以奇怪的手势扭杯子的少年不知要表达什么；在公众场合直立身子，抬起手臂，双手合十的少年则不知道如何与他人互动，在这视觉与听觉模态构成非强化协调关系，共同表达该阶段话语的整体意义。接着，在预告片结束部分（事件19），白底色下的蓝色字“系列纪录片；遥远星球的孩子；首播22：00”以及画面左上角浅白色英文缩写“CCTV9 纪录”构成的视觉模态为主模态，提示观众其预告的正片的相关信息，听觉模态体现在逐渐消去的背景音乐，与视觉模态构成强化突出关系。

第二类：提供信息型交际模式（阶2、3、4）。首先，配音周迅将孤独症者既害怕身体接触又怕与人交流的特点向观众缓缓道来（事件5、6），紧接着陈坤用数据向观众说明孤独症者的高患病率（事件7、8），同时构成听觉模态的背景音乐，一改之前的轻柔舒缓，而是略有些低沉悲壮，引起观众情感波动。接着，高潮部分（阶4）讲述孤独症者家长认为孤独症者很天真，呼吁社会大众接受他们（事件11和12），以及孤独症者自身坦然接受现状，积极做出改变（事13、14、15、16），并积极与地球人分享他们的世界（事件17、18）。在这交际阶段听觉模态始终为主模态，推动主题的发展，控制预告片的进程；视觉模态上，事件7和8中呈现一位小男孩的面部特写和一位在空马路上莫名奔跑的少年的图像，没有传达新的意义，但具体化已传达给观众的语篇意义，与听觉模态构成非互补内包关系，其他事件中视觉模态提供具体形象的图像信息，与听觉模态共同传达语篇的整体意义，构成互补非强化协调关系，使观众快速准确理解该预告片传达的交际意义。

第三类：求取注意型交际模式（事件9和10）。在事件9中，不同于之前写实的画面，画风一转为色调明亮，由显眼简洁的图形（分别代表孤独症、大于、艾滋病加癌症和糖尿病）和英文缩写（AUTISM、HIV、CANCER、DIABETES）构成的动画，一目了然，接着事件10中，代表孤独症的人形图形变大，代表艾滋病、癌症和糖尿病的图形从横排有序排列变为一团，在整个画面中占比变小，十分明确生动地传达出自闭症人数持续增加的语篇意义。在这视觉模态为主模态，处于前景化中，听觉模态补充和准确其表达意义，两者结合精确表达出语篇的整体意义，构成非强化协调关系。

表1 《遥远星球的孩子》预告片的模态协同关系

四、结语

通过以上对《遥远星球的孩子》预告片的多模态协同分析可见，不同模态有着不同的意义潜势，不同模态的扩展和组合引起交际语篇整体意义范围的扩展，例如图像能够体现具体形象的意义、增强概念意义表达的精细度，音乐可以增加人际意义的表现范围，其表达出的细腻情感难以用语言来描述，多种模态的组合使语篇整体意义的表达更加多维立体。此外在不同的交际阶段，模态之间的关系不同。在预告片中，声音起着表达内容、连贯叙事和吸引观众的重要作用，除了展示孤独症高患病率（事件9、10）和结尾显示预告的正片信息时（事件19）视觉模态为主模态，其余的都是听觉模态为主模态，处于前景中。且在整个预告片语篇中，视觉模态与听觉模态绝大部分处于互补关系（非强化协调或强化突出）中，共同构成完整的语篇意义；在部分事件中，视觉模态与听觉模态构成非互补内包关系，视觉上的图像没有提供新的信息，但使听觉模态提供的信息更加具体形象。多种模态的配合，聚集了多种模态的表达优势，多方位迅速地传达意义，使预告片语篇交际更加多元和真实，引起观众的情感共鸣、加深观众的印象，从而达到吸引观众的目的。