双重视角下国内广告多模态语篇研究

邹俊飞

(衡阳师范学院 外国语学院,湖南 衡阳 421002)

随着数字技术的发展和不同媒介的运用，现代广告的内容和形式越来越丰富。广告由仅包含单一的语言模态逐渐向包含语言、图像、声音等多模态转向。而近年来，广告的多模态研究逐渐获得研究者越来越多的关注，研究者开始从将语言学理论简单应用于图像、手势等非语言符号的分析，转向对多模态表意资源的跨学科系统阐释与实证研究。因此，构建具有独特理论体系和分析方法的多模态研究正成为一个新兴的人文学科[1]。

目前语言学家进行多模态语篇分析时，主要基于两个视角，即社会符号学视角和概念隐喻视角。两种视角基于不同的理论基础，其中社会符号学起源于系统功能语言学，而概念隐喻视角源自认知语言学。20世纪90年代以来，以Kress、Leeuwen[2]为代表的社会符号学者基于韩礼德的系统功能语法，为描述图像、音乐等非语言符号建立了视觉图像语法。他们把基于语言符号发展起来的元功能理论拓展到其他符号资源，研究在一定语境下建构意义的符号资源，探讨其他非语言符号的语篇语义系统。但是符号学只能对语言和非语言模态的表意系统进行抽象地描述，而不能充分阐释多模态语篇中动态的认知表意机制。另一方面，自20世纪70年代起，广告中的视觉(图像)隐喻作为单模态修辞方式引起学者们的关注。之后，由于认知隐喻理论的不断发展，隐喻是一种思维和行为方式的观点已被研究者普遍认同。自20世纪90年代起，以Forceville[3-4]为代表的学者开始关注广告中的图像隐喻。他们以概念隐喻理论为基础，提出隐喻既可以用语言模态，也可以用其他模态，如图像、手势、声音、构图等来表征意义。他们常常借助概念隐喻的相关理论，从认知角度探讨在不同语类中不同模态对隐喻识别和意义解读的作用。其中，作为多模态隐喻研究关注最早的语类，广告多模态隐喻研究已从平面图文广告逐渐拓展到动态的电视、新媒体广告等。

近10多年来，在“多模态”转向的语境下，广告多模态研究已成为国内研究者关注的热点。他们尝试在不同学科领域如符号学、语言学、传播学、心理学，运用不同理论对广告语篇中的语言和非语言各种模态进行探讨。随着广告多模态语篇研究的增多，研究中也存在一些问题。如部分研究或是对模态的理解存在一些误区，或是模糊了多模态隐喻的不同定义和分类，或是对各种研究路径及方法区分不清。因此，从双重视角下厘清国内广告多模态语篇研究的基本概念、研究路径、研究方法等，帮助研究者更好地了解广告多模态语篇的研究热点和发展趋势，对多模态研究的发展很有助益。

一、双重视角下的广告多模态研究的理论基础

(一)基于社会符号学视角

韩礼德[5]创建了系统功能语言学，提出语言是一种社会符号，具有一种意义资源(即意义潜势)。语篇是人们根据语境从意义潜势中选择的结果。以Kress、Leeuwen[2]为代表的社会符号学家在此基础上，提出符号资源可以由社会中各种有意义的活动构成，各种符号(语言、图像、声音等)也都是一种意义资源。因此，根据社会符号学，在社会文化中形成的可以创造意义的符号资源就是模态，也就是说，模态是用来传递信息的不同形式或渠道，如声音、图像、色彩、文字、构图、造型等。这种意义的多种呈现方式被称为多模态。符号学家认为任何模态(如图像、文字、音乐等)都可以构建完整的表意系统。虽然图像、声音、手势等非语言模态与文字模态不同，但它们具有同样的语篇语义系统。因此，社会符号学家基于系统功能语言学框架，尝试将语言学理论拓展至其他模态中，包括其分析范畴和方法。他们认为语言的元功能、层次、连贯、态度等理论，都可以运用到多模态语篇分析中。

在广告多模态话语研究中，研究者探讨广告中拥有意义潜势的各种符号如文字、图像、声音等如何通过组合、布局以及变化来协同构建并传递其特定意义。Kress、Leeuwen[2]将系统功能语言学的元功能理论扩展到视觉图像上，建立了视觉图像语法。与语言的三大元功能(概念功能、人际功能、谋篇功能)相对应，他们构建了视觉图像的三大元意义，分别是再现意义、互动意义和构图意义。同时，在对广告多模态话语的解读中，研究者还注重语境因素对意义构建的影响。

(二)基于概念隐喻理论视角

Lakoff、Johnson提出的概念隐喻理论已经证实“隐喻是一种思维和行为方式，语言只是概念隐喻的一种外在表现形式”[6]。基于此，以Forceville[4]19为代表的学者提出，除了语言，其他模态如声音、色彩、构图等也能构建和表达概念，反映出其背后的认知心理机制。他们致力于将语言学领域的概念隐喻研究拓展为跨学科的多模态隐喻研究。

在其专著《广告中的图画隐喻》里，Forceville[3]首次在认知语言学理论框架内对广告图像隐喻进行系统论述。之后，Forceville继续发展和完善图像隐喻理论，提出“多模态隐喻”的概念，将其由平面广告拓展到漫画、电视广告及电影等语类。多模态隐喻研究相关的最新成果被收录在论文集《多模态隐喻》中，并在多模态研究领域引起较大反响。

Forceville把模态与人的感官相连，定义为“利用具体的感知过程可阐释的符号系统”[4]19。因此，根据五种感官模态被分为视觉模态、听觉模态、味觉模态、嗅觉模态和触觉模态。但这种分类比较宽泛，Forceville[4]22又将模态细分为图像、书面语言、口头语言、声音、手势、音乐、味道、气味等。而多模态隐喻的定义也有广义和狭义之分，从狭义上来看，多模态隐喻是指隐喻的源域和目标域分别用不同的模态来表征。而从广义上来讲，隐喻的源域和目标域由两种以上模态共同参与表征即可界定为多模态隐喻。多模态隐喻研究主要从认知体验的角度，探讨多模态隐喻的各模态如何协同实现意义构建过程及影响意义解读的因素等。总而言之，多模态隐喻研究经历了从图像修辞到图像隐喻再到概念隐喻多模态表征的飞跃。

二、国内双重视角下的广告多模态语篇研究路径及热点

国外社会符号学视角下的多模态话语研究与概念隐喻视角下的多模态隐喻研究均起始于20世纪90年代，它们基于不同的理论框架，属于在多模态转向语境下的语篇研究的新范式。此后随着国外多模态研究相关成果的引进和推介，近十多年来多模态研究也逐渐引起

国内研究者的关注，而广告的多模态研究更成为研究者关注的热点。

笔者以“多模态语篇”“广告”为主题词在中国知网检索，对相关的文献进行筛选后共获取157篇文献。从文献中可以看出，国内广告多模态研究起始于2007年，除了少数几篇文献探讨多模态广告语篇翻译或对多模态广告语篇进行批评性话语分析外，其余的文献大多数都基于社会符号观和多模态隐喻来研究，另外还有少数学者试图将两种视角融合进行研究。下文研究者基于研究视角的不同对这些文献进行分析和梳理，总结十多年来双重视角下国内广告多模态语篇研究的路径和热点，归纳研究发展的趋势及存在的不足，以期对未来的广告多模态研究有所助益。

(一)社会符号学视角下的广告多模态话语研究

在国内，对多模态语篇研究的理论探讨始于李战子[7]，她推介了Kress、Leeuwen从社会符号学视角探讨多模态语篇的视觉语法，提出这种分析方法对于加深认识语言的社会符号特点具有重要意义。系统功能语言学家朱永生、张德禄先后探索如何基于系统功能语言学建立多模态话语分析理论框架。朱永生[8]分析了多模态话语的产生和定义，探讨多模态话语分析的理论基础、研究内容和方法。张德禄[9]提出可以从文化、语境、意义、形式及媒体五个层面研究多模态语篇，同时还探讨了各个模态之间的关系以及非语言模态是如何体现概念意义、人际意义和谋篇意义的。这些研究为不同语类的多模态语篇研究提供了理论基础和研究方向。

国内基于系统功能语言学的广告多模态语篇研究起始于2007年[10]，从2009年起不断增长。由于社会符号学理论起源于系统功能语言学，所以国内研究者对于社会符号学理论和功能语言学理论未加严格区分，有些概念混用。从现有文献来看，国内多数研究都结合案例分析来探讨、验证多模态话语分析理论框架。具体来说，研究者通常以社会符号学中的视觉语法为基础，结合不同主题内容的平面或动态广告语料，提出适用于广告的多模态分析模式，并试图揭示不同模态，尤其是文字和图像这两种符号系统对构建广告语篇意义、发挥广告功能的影响。(1)有些研究侧重探讨广告多模态语篇的整体意义构建，如彭漪、杨海燕[11]1以一则多模态平面商业广告为例,探讨多模态广告语篇的整体意义构建,验证了多模态语篇中各种符号资源之间的互动和互补关系。张蔚[12]以“探索频道”广告为例证，展示语言、图像等两种符号所具有的表意性功能，证实了图像符号在商标形象意义构建中的优越性。李德志[13]解读了旅游形象广告超文本的多模态化,探讨了广告的意义解读、视觉语篇的空间划分以及读者与图像之间的社会关系。周怡[14]探讨了央视公益广告“Family”中各模态间如何共同协作进行意义表达。(2)有些研究则侧重广告多模态语篇在某一个特定方面的意义表达。如侯建波[15]分析了国内48个房地产多模态平面广告，探讨了房地产广告人际意义系统、项目的选择特征及其背后的原因。杨增成[16]在研究中提出广告可以通过选择恰当的模态来构建概念意义,使其能有效传递相关产品的特性，实现其促销的目的。于雷雷、徐朝晖[17]收集了中英交通安全公益广告各60例，通过对比分析找出中英广告中多模态互动意义的异同点及其理据。

由于多模态话语本身的复杂性，有些研究将社会符号学理论与功能语言学的其他关联理论结合来研究广告多模态语篇。(1)和评价理论结合来探讨广告多模态语篇的态度意义，如毛现桩[18]以春晚公益广告动态语篇为语料进行例证分析,考察其建构态度意义的多种资源,分析态度意义的诱发条件和表达方式。在此基础上，毛现桩[19]2018年又借助多模态视频语篇分析软件(MMAV),基于自建的英国交通安全类电视公益广告的小型语料库，总结出其语篇发展模式和多模态态度资源的调配特征。(2)与情景语境理论结合。如王霞、孙阳[20]以动态广告《老唱片》为例,从语篇外部环境入手,分析了情景语境的三个变量:语场、语旨、语式对多模态语篇意义生成和理解的制约作用。

(二)概念隐喻视角的广告多模态隐喻研究

相对于社会符号学视角的多模态话语分析，基于概念隐喻的多模态隐喻分析起步稍晚，主要成果也可以分为理论评介和具体案例分析两方面。在理论评介方面，赵秀凤[21]详细介绍多模态隐喻研究的缘起、发展，提及在多模态隐喻研究中广告是受关注最早，最多的语类，并预测了其发展前景，认为多模态隐喻研究有助于推动概念隐喻理论体系的发展和完善。谢竞贤[22]探讨多模态隐喻的特点，并通过一个广告图片实验探讨文字与非文字文本的关系。

在广告多模态隐喻研究中，大多数研究都结合具体的广告实例，运用概念隐喻的双域映射，概念整合等理论，从认知角度探讨多模态隐转喻的本质，运作机制等。研究热点包含以下方面：(1)广告多模态隐喻的分类及区别性特征；如宋丽丽[23]对平面广告中的多模态隐喻类型及其表现方式进行分析。她将平面广告中的多模态隐喻分为单域图像呈现式，双域图像呈现式及文字-图像互补式。程瑾涛[24]利用概念整合理论，结合具体实例，探讨平面广告创作中三种类型的多模态隐喻：源域替换目标域，源域与目标域融合，源域与目标域并置。(2)广告多模态隐喻中涉及的概念隐喻，各模态的配置及作用；官科[25]以“中国梦”系列公益广告为语料，发现其隐喻主题主要是旅行隐喻、动/植物隐喻、棋局隐喻和戏曲隐喻，在其模态配置中，源域一般包含画面和文字两种模态，目标域由文字单一模态呈现。王扬、向恩白[26]基于自建的国内外汽车平面广告语料库，总结出汽车广告的七种多模态隐喻表征类型，并探讨中英汽车广告中多模态隐喻的主要表征方式的差异及原因。黄洁、何芬[27]探讨了在益达口香糖系列微电影广告中的多模态隐喻，研究发现其涉及三种概念隐喻:味觉隐喻、事件隐喻和实体隐喻。(3)影响广告多模态隐喻意义构建的因素。如才亚楠[28]探讨了概念隐喻与文化认知模式之间的相互作用和互动机制。邹俊飞[29]以58幅“中国梦”系列公益广告为语料，关注了在其多模态隐喻意义解读中的文化突显性。(4)多模态隐喻和转喻的关系。张辉、展伟伟[30]以三个平面广告为例讨论了多模态隐喻和转喻的本质和认知运作。钟书能、李丹婷[31]对一网络视频广告进行多模态隐喻和转喻的识别和具体解读，提出多模态隐喻很大程度上是通过转喻实现的。黄洁、何芬[27]探讨了益达微电影广告中隐喻和转喻的多种互动模式，如多模态隐喻的建构既涉及隐喻和转喻的互动、隐喻的平行式互动和上下式互动等。

(三)双重视角融合下的广告多模态语篇研究

在多模态话语分析中，基于系统功能语言学的社会符号观和基于概念隐喻的多模态隐喻都拥有各自独立的理论框架，但多模态话语研究作为一个新的研究领域，仍处于探索阶段。因此，研究者将两种视角融合来进行研究，不断在理论上和语料分析中进行尝试。冯德正[32]尝试用系统功能理论来阐释图像隐喻的意义构建，并对多模态隐喻的构建与分类提出自己的观点。 他认为可将视觉图像的元功能资源看作隐喻潜势,而且可以通过映射方式与文字-图像关系对多模态隐喻分类，这两种理论视角可相互补充。张德禄、郭恩华[33]也通过理论探讨提出两个研究视角既在理论范式上相互连接，又在话语分析实践中相互补充。

除了理论探索，研究者也通过实例来进行分析。如冯德正、邢春燕[34]以汽车平面广告为语料，提出在多模态视觉语篇中，通过方位关系，空间隐喻也可以构建社会现实与人际关系，将语言、图像等各种意义载体组合并建构为连贯的整体，达到广告语篇特有的促销目的。崔鉴[35]以FAMILY公益广告为例，在后现代哲学框架中，将功能语言学和多模态隐喻结合来全面展示多模态语篇意义。余忆萍、李勇忠[36]以两则可乐广告为例，将视觉语法与多模态隐喻相结合来具体解读多模态广告的再现意义、互动意义与构图意义的动态构建。

三、广告多模态研究的发展趋势和不足

经过最近10多年的发展，双重视角下的国内广告多模态研究已经逐渐成熟，在各自的理论框架内形成独立的研究路径和方法，在研究中越来越注重跨视角和跨学科的融合，研究方法也不断创新，呈现出以下发展特点和趋势。

(一)跨视角、跨学科的融合

在多模态转向的语境中，除语言文字外，图像、声音等其他模态都能用来构建语篇意义。因此，研究者尝试把语言的相关理论拓展到其他模态中。广告是多模态研究最受关注的语类，其中不同符号系统之间的动态协作随处可见，加大了对其意义的识解难度。社会符号学家提出的视觉语法能整合语言符号与图像符号，阐释多模态语篇意义的构建，为多模态隐喻提供分析基础。同时，多模态隐喻能弥补视觉语法在认知层面的不足，反映其意义建构的动态过程。另外，也有研究者[37]将批评话语分析理论，文本分析的互文理论[38-39]、修辞结构理论[40]应用到广告多模态语篇中，提供了新的研究思路。

(二)研究方法的创新

广告多模态研究多采用定性方法，选取一个或几个实例进行解读。但是定性研究往往有主观偏颇之嫌，因此，研究者开始自建小型语料库，将定性和定量研究相结合，如王扬、向恩白[26]以国内外汽车平面广告为语料构建一个语料库(含250则广告)，归纳出汽车广告中存在的七种隐喻表征类型及中英广告中的差异。王小平、王军[41]收集了30则电视公益广告，研究发现了动态广告话语中多模态隐喻在模态调用层面存在一定的规律性。毛现桩[19]也自建了英国交通安全类电视公益广告的小型语料库来进行研究。

广告多模态研究仍处于不断探索中，研究里也存在以下不足：

(1)不同视角下的多模态语篇研究术语不够规范统一，譬如功能语言学提出三大元功能为概念功能、人际功能和组篇功能。视觉语法提出与之对应的三大意义，即再现意义、互动意义、构图意义，但在文献中却有研究者用到“概念意义”“人际意义”等术语，将之混合使用，容易导致困惑。

(2)虽然研究开始采用定量研究，但数量不多，且在语料库的构建中，对于多模态隐喻的识别程序不能形成统一规范、简单可行的标准，这样也就无法解决语料的标注和自动识别的问题，因此无法建立大型语料库供广大研究者共同使用。

(3)多模态研究理论未形成统一的体系。虽然研究者基于系统功能语言学和认知概念隐喻等理论对多模态语篇进行研究，但更多的是对原来语言理论的一种拓展延伸，并未真正建立起一套权威的、统一的多模态研究理论体系。

(4)对某一媒介文化单一角度的研究，往往可以纳入到多模态研究的视域下。如江保锋、闻婧[42]研究了民间艺术视觉图式语境与电视公益广告相结合，以其文化共鸣、审美共鸣和情感共鸣，将具有具象寓意、情景喻意和语义叙述的图像语境构建融入传播语境的构建之中，可以创作出符合时代需求的传播语境。

在当今社会，多媒介普遍存在，不容忽视，而多模态研究作为一门新兴的学科，正处于探索发展阶段，多模态研究的理论发展对于拓展人类语言及意义的研究具有十分重要的意义。