多模态语篇分析综观

高亚男

（中国海洋大学 外国语学院，山东 青岛　266100）

多模态语篇分析综观

高亚男

（中国海洋大学 外国语学院，山东 青岛266100）

多模态语篇分析关注语言、图片、肢体语言等多种符号系统的意义构成，突破传统仅以语言为核心的单模态分析法的局限，是语篇分析的新视角。本文从多模态及多模态语篇分析的产生、理论基础、重要人物及其研究成果、多模态研究的不同视角及研究对象的扩展，以及科学技术，尤其是数字技术在多模态语篇分析中的应用等方面进行了综述性介绍。

多模态语篇分析社会符号学系统功能语言学多模态隐喻多模态语料库

一、引言

随着研究的不断深入发展，国内外语篇分析学家逐渐认识到语言仅是意义生成的手段之一，人们交谈过程中的手势、肢体动作、夸张的表情，书本材料中的绘图、排版，戏剧中的舞蹈、妆容、服装等，都属于生成意义的符号手段。因此，对社会行为和意义表征的解读应包括非语言符号等所有表意资源（Jewitt2009）。此外，随着科技的发展，人类生活和交际模式更多模态化和多媒体化。多模态语篇分析的出现为语篇分析提供了新视角，极大地丰富了语篇分析的研究手段。

二十世纪九十年代以来，为描写数学符号、视觉图像、手势等符号模态，社会符号学家以Halliday的系统功能语法为基础建立了语法语义系统。然而，随着对多模态现象认识的逐渐加深，研究者发现当前研究仍存在许多问题。目前，研究者在分析更多社会符号的同时，开始注重不同学科视角的融合。在研究方法上，他们开始运用数字技术对复杂的多模态语篇进行注解、模拟，并建立多模态语料库，开发多模态检索软件。此外，利用调査问卷、脑成像技术、眼动实验等考查读者对多模态语篇认知的实证研究逐渐兴起（孟艳丽，2011）。

二、多模态语篇分析产生的背景

根据Stöckl，多模态指多种符号系统即模态相结合的交际产物或交际过程。Jewitt指出，多模态语篇分析是把所有交际模态看做意义生成资源进行研究的一种语篇分析视角。该视角指出意义是通过多种模态实现的，所有模态都经过社会使用变成了符号资源，而所有语篇都是多模态的（Kress&vanLeeuwen2001；Levine&Scollon2004）。在多模态语篇分析中，每种模态都属于一种独立的意义生成资源，因此，我们能够为每种模态制定相关语法，以总结概括其作为意义生成资源共有的规律。此外，多种模态结合表达的意义要大于单个模态表达的意义之和，即整体功能大于各部分功能之和，而并非各个部分功能的简单相加。

多模态语篇分析的产生有着深刻的技术背景和理论背景。

1.多模态语篇分析产生的技术背景

在技术方面，科学技术，尤其是数字技术的发展，如数码多媒体数据的保存及提取技术的发展、数码摄像机的广泛使用等，使得交际的多角度研究成为可能，而不仅仅局限于语言。此外，由于因特网和多媒体技术的广泛运用，语篇本身内容更加丰富，形式更加多样，如在计算机介入性语篇中，多种模态往往有机结合在一起表达一种崭新的意义。传统的仅以语言为核心的单模态分析法显然局限众多。因而建构一种针对多模态语篇的分析理论不仅在技术上成为可能而且非常必要。

2.多模态语篇分析产生的理论背景

在理论上，多模态语篇分析是语篇分析经过长时间发展，吸收各学科成果，逐渐扩大研究领域、丰富研究视角的结果。

R.Barthes最早对多模态语篇进行系统性分析，他总结了多模态语篇中图文关系的三种模式，即锚定、说明和接递。Barthes从一个符号学家的视角对图文关系做出结构性分析，因而多模态语篇分析从起初就具有浓重的符号学的印记。二十世纪末以来，一些系统功能符号学家一直活跃于多模态语篇分析领域，他们以功能语法为理论基础，以社会符号学为视角，指出非语言模态在交际中具备同样的功能价值，同样作为符号资源参与意义的建构。因此，研究者认为非语言模态应与语言模态置于同等的平台，且可以使用针对语言模态的理论与方法分析非语言模态，因而有了“视觉语法”的建立及各学者对体态语模态、声音模态及空间设计进行的相关研究。

李战子的“多模式话语的社会符号学分析”，对Kress和vanLeeuwen的“视觉语法”进行了相关介绍，这是国内学者对多模态语篇分析关注的开始。

总之，多模态语篇分析的产生有其技术和理论的双重背景，且随着研究的深入，多模态语篇分析将不断取得新的进展。

三、多模态语篇分析的理论基础

Halliday创立的系统功能语言学是多模态语篇分析的主要理论基础。朱永生指出，多模态语篇分析吸收系统功能语言学的成果，支持语言是社会符号和意义潜势的观点，认为语言之外的其他符号系统同样是意义的来源；赞同纯理功能假说，认为多模态话语与只包含语言符号的话语一样，具有多功能性，即同时具有概念、人际、语篇三大功能；吸收系统理论，认为多模态语篇本身有系统性；接受语域理论，认为语境与多模态话语的意义解读之间有密切联系。

四、多模态语篇分析的主要人物及其研究成果

1.韩礼德学派的多模态语篇分析家

Halliday的系统功能语法对多模态语篇分析具有重要影响。目前多模态语篇分析学家的主要代表人物有Kress和vanLeeuwen。二人在系统功能语法理论的基础上发展建构自己的多模态语篇分析理论，并实际利用该理论进行多模态分析，为该领域作出了重要贡献。

为研究视觉形象表达的交际意义，Kress和vanLeeuwen为视觉语篇建立了一个分析框架。对应功能语法的三个元功能，即概念、人际、语篇，该框架包含三方面，即再现、互动、构图。再现类似功能语法的概念功能，包括叙事、概念两类。互动由接触、社会距离、态度三个子系统构成。对照功能语法的语篇意义，二人提出视觉语法的构图意义，并分析了该意义的三种资源，即信息价值、突出度、分格。

随着研究的发展，Kress和vanLeeuwen逐渐意识到单独地讨论某一种模态的语法还远远不够，应构建一个交际理论，使其可以应用于所有模态。为构建交际的分析框架，二人从语篇、设计、生成、传送四个方面着手。胥国红、曲航对此分别进行了概括总结，二人认为语篇是关于现实（或现实的某些方面）的社会建构的知识。相对独立于体裁、模态、设计，仅能由符号模态实现。设计指各种模态中符号资源的运用。生成即符号事件或符号产品的具体产生过程。传送是为了记录或传送而对符号产品进行的技术性“再编码”。其中语篇和设计是内容层面，生成和传送是表达层面。通过此分析框架，我们可以从内容、表达两方面回答“人们是如何运用各种符号资源在具体社会背景中制造符号的”（Kress&van Leeuwen2001）。

O’Halloran、Jewitt、Ventola等，同样是韩礼德学派的多模态语篇分析学家，他们构成了多模态语篇分析的中坚力量（胥国红，曲航，2009）。

2.以行为理论为基础的多模态语篇分析家

Scollon的介入性语篇理论和顾曰国的实时语篇分析以行为理论为基础，为多模态语篇分析提供了不同的理论分析框架。

Scollon吸收融合各相关学科的理论，如语言人类学、交际社会语言学、社会文化心理学、跨文化交际等，提出新的语篇分析理论，即介入性语篇理论。以往的语篇分析理论往往忽视行为而社会学理论则忽视语篇，为弥补此不足，Scollon的介入性语篇理论试图把人们的社会行为和语篇有机结合起来进行研究。因此，与传统语篇分析把话语或篇章作为分析单位不同，介入性语篇理论把介入性行为作为分析单位。

以Scollon的介入性语篇理论为基础，Norris（2002， 2004，2006）同样构建了多模态分析框架。接受了介入性语篇理论把介入性行为作为分析单位的观点，并进一步把介入性行为细分为低水平行为和高水平行为。如一句话和一段交谈分别属于低水平行为和高水平行为。同时，Norris用模态密度描述构成某一具体高水平行为的模态的强度和复杂性。如在一段相声表演中，口头语言占很高的模态密度，但在舞蹈表演中，语言的模态密度就很低。此外，为描绘社会行动者对不同高水平行动给予的不同程度的关注，Norris进一步提出了前景-背景连贯体的概念。

国内学者顾曰国受Scollon的影响构建的多模态语篇分析模式，从内容层和媒介层对多模态语篇进行分析。不同于以往理论，顾曰国从社会语境入手，采取“从上至下”的方法，将多模态语篇分为社会心理层和个人行为层。他运用该理论框架对多模态语篇进行分析并获得了许多有价值的发现。

3.重视多模态语篇分析方法的话语学家

在《多模态转写和语篇分析》中，Baldry和Thibault具体介绍了多种多模态语篇的转写和分析方法。

Norris提出了多模态转写方法。胥国红、曲航对其转写方法进行了总结：Norris主张在实现对各个模态的分别转写后，再以时间为标记，将同一时间内所有对交际产生重要影响的模态（如语言、动作等）集中在一张图片上表现出来，给人留下完整的印象。

五、多模态研究的多种视角和研究对象的不断扩展

对于多模态研究的视角，Jewitt进行了详细区分：社会符号学分析、系统功能语法分析、社会互动分析。然而，Bateman和Schmidt认为三个视角虽略有不同，却同属于“社会功能分析”。此外，Jewitt同时忽视了另外两个重要视角：以Lakoff和Johnson的认知隐喻理论为基础的多模态隐喻研究和语料库语言学视角的多模态文本分析。

社会功能分析的研究对象的扩展主要指从传统的图文语篇分析到对复杂的动态多模态语篇和新媒体语篇的符号学阐释。具体地说，随着研究的不断发展，国内外学者将社会符号学等理论运用于更多模态的系统分析，如副语言特征、三维空间、现场即席话语等。课堂教学分析、多模态教材在理论及研究方法上越来越系统深入，如Chen、顾曰国、张德禄等。多模态电影分析和新媒体分析从无到有的发展则最具开拓性。

认知视角的多模态隐喻理论的发展是近年多模态研究的重要成果。多模态隐喻理论的研究范围广泛，不但涵盖了静态媒体，如政治漫画、平面广告等，还涉及了动态媒体语篇，如电影、电视广告等，以及其他符号资源，如音乐、手势语等。国内多模态隐喻研究逐渐发展，如李毅、石磊初步探讨了在教学中多模态隐喻的运用；赵秀凤全面评介了《多模态隐喻》并详细介绍了多模态隐喻理论的前沿与进展；冯德正则基于系统功能语法系统阐释了多模态隐喻的构建与类型。

简言之，当前社会功能及认知隐喻视角的多模态研究分别取得了重要进展。然而，二者之间真正的融合尚未引起研究者的足够重视，而这也是多模态语篇分析今后的重要发展方向。

六、科学技术在多模态语篇分析中的运用

由于科技的发展，无论在规模还是复杂性上，多模态语篇都远远超过了语言语篇，使用传统分析方法已难以外理。正如顾曰国所言，如何把多模态文本记录的信息提取出来并进行结构化外理，是目前语言信息工程中面临的一个难题。因此，多模态语篇的外理必须充分借助科学技术。当前，在多模态语篇分析中，科技运用主要包括：多模态语篇注解与语料库建设、多模态语篇心理实证研究（冯德正、张德禄、Kay O’Halloran2014）。

1.多模态语篇注解与语料库建设

目前，在多模态语篇分析方面，研究者在使用ELAN等注解软件的同时，正开发专门的注解软件。当前研发的最新成果是Semiomix。Semiomix具备动态转录与缩放功能，实现了转录单位的灵活性。同时，可以实现多模态语篇特征与意义发展的动态分析，而且具备搜索、脸部识别、镜头识别等功能。

软件的应用促进了多模态语料库的建立。在多模态研究领域，Baldry建立了在线多模态检索器，可以对多模态数据搜索、注解、定量分析等。国内学者顾曰国在该方面建立的现场即席话语语料库及其提出的基于角色的建模语言，是当前语料库视角多模态研究的最显著进展。语料库分析能够为系统阐释多模态语篇的特征及多模态意义的社会建构提供实证理据，是解决多模态分析主观性等问题的重要方法（冯德正、张德禄、KayO’Halloran2014）。

此外，近年来研究者开始运用可视化软件模拟动态语篇的语义规律及各模态之间的复杂关系。目前研究中，不仅自然科学与社会科学中的可视化软件被运用于动态多模态语篇分析，而且研究者们正努力研发用于多模态分析的可视化软件。

2.多模态语篇心理实证研究

近年来，认知心理学视角的实证研究逐渐兴起。利用眼动实验考察读者对多模态视觉语篇的认知是该领域最新的研究成果。Boeriis和Holsanova利用眼动实验考察了读者外理视觉图像的认知机制；Gidlöf等通过调查问卷、访谈、眼动实验探讨了多模态网络广告对瑞典青少年的影响；Bucher和Niemann通过眼动实验、访谈、知识测试分析了观众对幻灯片演讲的注意力分配和理解与模态之间的关系。国内学者开始采用眼动实验、调査问卷等进行多模态分析。实证研究的发展具有重要意义，不但可以加深我们对多模态语篇解读的认识，而且为进一步探讨多模态语篇的意义构建提供客观依据。

七、结语

近二十年来，多模态语篇分析进一步发展。多模态研究的理论体系逐渐完善并被应用于阐释更复杂的多模态语篇；多模态研究采取多学科视角，其研究对象几乎包括人类所有交际媒介和符号形式；以科学技术为基础的多模态注解、可视化模拟及实证研究逐渐兴起并不断发展。总之，展望未来发展，多模态语篇分析的研究会更广泛全面深入。

［1］Baldry，A.P.andP.J.Thibault.MultimodalTranscription andTextAnalysis［M］.London：Equinox，2006.

［2］Barthes，R.Rhetoricoftheimage［A］.Image·Music·Text［C］.London：Fontana，1977.

［3］Bateman，J.A.andK.H.Schmidt.MultimodalFilmAnalysis［M］.London：Routledge，2012.

［4］Boeriis，M.andJ.Holsanova.Trackingvisualsegmentation［J］.Visual.Communication，2012，11，3：259-81.

［5］Bucher，H.andP.Niemann.Visualizingscience：ThereceptionofPowerPointpresentations［J］.VisualCommunication，2012，11，3：283-306.

［6］Chen，Y.Exploringdialogicengagementwithreaders inmultimodalEFLtextbooksinChina［J］.VisualCommunication，2010，9，4：485-506.

［7］Gidlöf，K.，N.Holmberg，andH.Sandberg.Theuseofeyetrackingandretrospectiveinterviewstostudyteenagers，exposuretoonlineadvertising［J］.VisualCommunication，2012，11，3：329-45.

［8］Halliday，M.A.K.AnIntroductiontoFunctionalGrammar［M］.London：Arnold，1994.

［9］Jewitt，C.Technology.LiteracyandLearning：AMultimodalApproach［M］.LondonandNewYork：Routledge，2006.

［10］Jewitt，C.，ed.HandbookofMultimodalAnalysis［M］. London：Routledge，2009.

［11］Kress，G.andvanLeeuwen，T.ReadingImages：The GrammarofVisualDesign.London：Routledge，1996.

［12］Kress，G.andvanLeeuwen，T.MultimodalDiscourse—TheModesandMediaofContemporaryCommunication［M］. London：Arnold，2001.

［13］Levine，P.andScollon，R.（eds.）.DiscourseandTechnology：MultimodalDiscourseAnalysis［C］.Washington，D.C：GeorgetownUniversityPress，2004.

［14］Norris，S.ATheoreticalFrameworkforMultimodal DiscourseAnalysisPresentedviatheAnalysisofIdentityConstructionofTwoWomenLivinginGermany［M］.PhDdissertation，GeorgetownUniversity，UMI，2002.

［15］Norris，S.AnalyzingMultimodalInteraction：AMethodo logicalFramework［M］.London：Routledge，2004.

［16］Norris，S.Multipartyinteraction：Amultimodalperspectiveonrelevance［J］.DiscourseStudies，2006，8（3）：401-421.

［17］Scollon，R.MediatedDiscourse：TheNexusofPractice［M］.London：Routledge，2001.

［18］Stöckl，H.Inbetweenmodes：Languageandimagein printedmedia［A］.InE.Ventolaet.al.（eds.）.Perspectiveson Multimodality［C］.Amsterdam：JohnBenjamins，2004：9-30.

［19］冯德正.多模态隐喻的构建与分类一系统功能视角［J］.外语研究，2011（1）：24-29.

［20］冯德正，张德禄.KayO’Halloran.多模态语篇分析的进展与前沿［J］.当代语言学，2014（1）：88-89.

［21］顾曰国.基于角色的建模语言.第十二届CODATA国际学术大会，2006.［22］顾曰国.多媒体、多模态学习剖析［J］.外语电化教学，2007（4）：3-12.

［23］李毅，石磊.教学中的多模态隐喻［J］.外语电化教学，2010（4）：47-9.

［24］李战子.多模式话语的社会符号学分析［J］.外语研究，2003（5）：1-8.

［25］孟艳丽.中国英语学习广告中的连贯构建：多模态视角［D］.北京大学，2011.

［26］胥国红，曲航.多模态语篇分析—信息时代的新视角［J］.山东外语教学，2009（2）：3-7.

［27］张德禄.多模态外语教学的设计与模态调用初探［J］.中国外语，2010（6）：48-53.

［28］赵秀凤.概念隐喻研究的新发展—多模态隐喻研究［J］.外语研究，2011（6）：1-10.

［29］朱永生.多模态话语分析的理论基础与研究方法［J］.外语学刊，2007（5）：82-86.