TED演讲视频中动态多模态话语的模态协同

王丽娟

(广东培正学院，广东 广州 510830)

自从20世纪90年代以系统功能语言学为理论基础的社会符号学者开始研究多模态语法以来，国内外对多模态话语的研究已经如火如荼。迄今为止，多模态话语的研究从不同方面、不同角度得到了更进一步的发展。Kress & Van Leenwen (1996) 研究了视觉语法，从功能的角度探讨了图像的功能[1]。张德禄(2009)探索了多模态话语分析的综合理论框架[2]。目前的多模态话语研究除了对图像、符号、图表等静态形式展开探讨，也对动态多模态话语进行了分析。如张德禄，袁艳艳(2011)以电视天气预报多模态语篇为例研究了动态多模态话语的模态协同问题[3]。管乐(2017)分析了动态演讲视频的多模态话语[4]。虽说目前动态多模态话语的研究有一定的进展，但相对静态多模态研究还是不足，需要再进一步扩展。本文以TED演讲视频为例，研究动态视频中各个模态之间的关系。

一、动态多模态话语分析综合理论框架

以系统功能语言学为理论基础，张德禄(2009)提出了动态多模态话语分析综合理论框架，如图1所示[2]。该框架由文化语境、情景语境、内容层面和表达层面四部分组成。根据该框架，文化语境主要指的是意识形态和体裁系统，讲话者为完成交际目的会根据情景语境(语场、语旨和语式)来选择交际模态(视觉模态和听觉模态)去表达意义。在意义表达的过程中，主要由图像意义体现的视觉模态和由声音意义体现的听觉模态形成互补(强化、非强化)或非互补(交叠、内包、语境互补)的关系。……