多模态话语分析视阈下儿童绘本的图文意义建构研究
——以“Make Way for Ducklings”为例

韩凌云

（曲阜师范大学，山东 曲阜 273165）

多媒体改变人们的生活方式和交际方式。 交际不再是利用一种感官进行，而是用两种或多种感官同时进行[1]。 图像、声音等多模态组合的交际模式出现逐渐取代单模态模式，继而产生多模态话语。儿童绘本利用图像和文本构建意义，是一种典型的多模态语篇。 现有儿童绘本多模态话语研究大多集中在人际意义图文关系研究[2，3]、概念意义构建[4]和图文音三模态互动研究[5]等，鲜少关于文本、图像以及图文关系的多意义层面研究。

作为一种传递信息、传播意识形态的读物，绘本为儿童读者的价值观的形成奠定基础。 因此，儿童绘本创作和解读研究变得尤为重要。 文章选择经典英语儿童绘本“Make Way for Ducklings”为研究对象，结合Halliday 功能语法、Kress 和Leeuwen 的视觉图像语法，解读绘本的文本和图像模态，以探究文本和图像是如何共建意义的。

一、 理论基础

系统功能语言学的创始人Halliday 揭示语言固有的普遍特征，提出了语言的三大元功能，即概念功能、人际功能和语篇功能[6]。 语言的概念功能是指语言能反映存在主观和客观世界的过程以及事物的功能，及物性系统是概念功能的重要体现。 人际功能则具有反映人与人之间的关系的功能，语气系统表现人际功能中的话语角色关系。 语篇功能指的是把语言成分组织成为语篇的功能。

Halliday[7]提出“语言是社会符号”的论断，并认为语言之外还有其他表意方式[8]。 在此基础上，学者[9]开始关注声音、图像等非语言符号，多模态话语分析理论逐渐发展起来。 O'Halloran[10]讨论了图像和文字之间的隐喻关系，将“语法隐喻”拓展到非语言符号中。 Martinec and Salway[11]通过研究新旧媒体话语，提出了图文关系系统包括地位和逻辑关系。 Kress and Leeuwen[12]将元功能运用到视觉图像的分析中，提出视角语法理论，即使用再现、互动和构图的方式解读图像意义。 文章结合元功能和视觉图像语法，分别从概念意义、人际意义和语篇意义三个层面进行图文分析。

二、 图文模态分析

该绘本有76 页（包含封面及扉页），均为图像为主、文字为辅的跨页设计。 在对文本及跨页图画重新编码后，共计得到145 个文本小句，33 张图像。

（一）概念意义层面

及物性系统将人们现实世界的所见所闻，所作所为分为六个过程，分别为物质过程、心理过程、关系过程、行为过程、言语过程和存在过程[13]。

由表1 可知，物质过程（86 个）占比最高，占59.3%。 结合文本发现，物质过程小句的谓语动词多为“flap”“follow”“waddle”等实义动词，旨在呈现绘本故事，推进故事情节的发展。 言语过程（21 个）占14.5%，多分布于动物主角间的交流中，是绘本角色拟人化的表现。 言语过程在使得绘本的角色关系更为紧密的同时，对塑造人物性格特点和加深故事矛盾也起到了重要的作用。 心理过程（14 个）和行为过程（3 个）也是角色拟人化的产物，共占11.7%。动物主角被赋予人的特性，有了人类的情绪和行为举止表达。 关系过程（12 个）占8.3%，多为归属类关系小句。 存在过程（9 个）占6.2%，多出现在故事转场后，旨在文本中为读者提供背景类信息。 例如：“There was no water to swim in. There was the police car with four policemen.”

表1 及物性过程分布表

图像再现意义对应文本概念意义。 该绘本是叙事性语篇，因此文章侧重分析图像的叙事再现。 绘本共有54 个动作过程，36 个反应过程以及13 个言语/心理过程。 角色的肢体动作丰富，动作过程数量大。 反应过程大多表明角色间的眼神交流。 在第13 版面（图1）中，三个参与者分别是马拉夫妇和警察，其中警察喂食、马拉夫人抬头以及马拉先生吃食的动作组成三个动作过程。 警察与马拉夫人眼神交流是双向及物反应过程，加深了角色之间的亲密人际关系。 动作过程和反应过程协同合作，图像主体的动作和适当的眼神交流，使得读者仅靠对图像的主观感受便可以直观地推测故事情节。

图1 Make Way for Ducklings 第13 版面

（二）人际意义层面

语气系统是实现人际意义的主要语法系统。 语气系统通过小句语法结构的变化来表达言语功能，一般区分为陈述、疑问、祈使和感叹四种语气。

由表2 可知，陈述语气（134 个）占92.4%，提供故事情节、角色的行为情绪及环境背景信息。 陈述语气结构中，主语通常由主要角色承担，置于句首位置，以此凸显角色的重要地位。 疑问语气（6 个）占4.1%，多存在主角间的交流对话中，以增加角色之间的互动性，凸显角色性格。 祈使语气（4 个）和感叹语气（1 个）数量较少，共占3.5%，均出现在角色间的对话交流中，表达人物强烈的情绪。

表2 语气小句类型分布表

图像的互动意义与文本分析的人际功能相对应，表现图像主体与读者的交流，接触、社会距离和态度是形成互动意义的三个主要因素。

如果图像的参与者与观看者之间有直接的视线接触，此类图像叫作索取类图像；若无视线接触，则为提供类图像[14]。 由表3 可知，提供类图像占比较大，图像注重提供故事情节信息。 索取类图像占比较小，参与者和观看者的互动性弱，参与者更大限度地客观审视整个故事。 社会距离层面，远近景切换自然协调。 近景占比较大，图像主体在整体画面中更为突出，图像的细节丰富，读者与图像主体间更为亲密。 远景图像则以较为宏观的方式刻画场面，拉大了图像主体和读者的距离。 例如，通过远景刻画鸭妈妈带领鸭宝宝在城市中过马路的场面，读者由此产生的疏离感烘托了动物主角与城市格格不入的突兀感。 在态度层面上，Kress ＆ Leeuwen[12]指出态度是指角度或者视角。 视角的变化体现图像主体同读者的互动关系平等与否。 由表3 可知，侧面角度和平视视角占比高，读者更多以旁观者的角度平等地观察故事发生。

表3 图像的互动意义分析表

（三）语篇意义层面

文本的主位和述位构成了主位结构，指称话语的新旧信息。 根据主位结构的复杂程度，将其分为单项主位和复向主位。 其中，单项主位（38 个）占44.7%，简单易懂，符合受众人群的认知发展特点。复项主位（47 个）占55.3%，兼顾上下文的衔接，注重因果关系，强调语言的逻辑性。

图像中构图意义对应文本语篇功能，即各构成元素的布局安排有一定意义。 该儿童绘本中，信息值由图像元素在画面的位置布局实现，显著性体现在图像元素尺寸和前后景手段实现，两者互相合作，共建图像的构图意义。 在马拉夫妇被骑自行车的人吓到的场景中，马拉夫妇和骑车人分别放置在图的左右两侧，作为图像的旧信息和新信息，安置在画面的前景。 同时马拉夫妇和人类的尺寸大小悬殊，对比凸显了马拉夫妇在人类世界的弱小和慌张。

三、 绘本的图文建构

绘本图文关系紧密，相互协同。 在概念意义层面，物质过程占比最高，同图像中动作过程和反应过程比重高相适应。 绘本重在展示故事情节和剧情走向，文章描述同图像主体的肢体动作结合，帮助读者更好地构建故事脉络，增加绘本的故事性和趣味性。另外，角色间大量的语言交流使得言语过程（14.5%）和图像模态的言语/心理过程的占比较高。文本表达得到图像的加成和丰富。

在人际意义层面，语气系统和互动意义相互协作。 陈述小句（92.4%）同图像模态的提供类图像（87.1%）注重提供绘本的故事情节信息，共同构建故事情节意义。 绘本侧重平视视角（74.2%）和侧面角度（77.4%），读者成为旁观者而非故事的参与者，这也与文本陈述语气比重高相适应。 图文两种模态间相互配合作用，共同构建了人际意义上的图文衔接关系。 例如，在第33 版面故事结尾处（图2），左下角用陈述小句提供动物主角回家休息的信息，隐含故事即将结束。 图像模态采用远景的方式和侧面角度，拉大读者和故事角色的心理距离，营造疏离的态度，使读者从故事情节中抽离。 这种图像表达手段作为绘本的结局最为合适。

图2 Make Way for Ducklings 第33 版面

在语篇意义层面，主位转换同图像构图布局协同合作。 小句主位和图像主体共同伴随情节发展不断切换。 具体来说，主位位于句首，一般由绘本故事中主要角色担任，突出重要角色。 同时，图像的凸显通过主要角色被布置在图像中心位置或加大角色构图尺寸的方式实现。

四、 结论

文章结合元功能和视觉语法理论分别对绘本的图文两种模态解读和分析。 文章发现绘本图文关系紧密，图文两种模态相互协同，相辅相成。 在概念意义层面，物质过程同图像动作过程、反应过程相适应、言语过程同图像言语/心理过程相配合。 在人际意义层面，陈述语气和提供类图像作用一致，视角切换予以辅助。 在语篇意义层面，主位转换同图像构图布局协同合作。 文章是多模态话语理论在儿童绘本话语分析的尝试，希望对未来儿童绘本创作提供一定参考价值。