符号重构视角下的图像复合体功能分析——以英语沙龙杂志为例

陈树坤

(广东金融学院 外语系，广东 广州 510520)

1.引言

随着打印技术，数字技术的发展，图像已经成为报纸、杂志、网站等媒体的重要交流手段。近年来，不少学者从Halliday的社会符号学出发，研究图像、声音、动作等作为符号是如何表达意义的。O’Toole(2010)应用级阶的概念建立自下而上的多模态分析框架，Kress和van Leeuwen(1996)基于系统功能语言学(下称SFL)的三大元功能建立了图像语法，Royce(2007)则探讨了图像与文字的关系，他们的研究充分证明了SFL在多模态语篇分析中强大的解释力，SFL中许多对语言符号系统的描述适用于对图像系统的描述。本文正是出于SFL中对小句复合体的描述提出图像复合体这一概念。

在SFL中，为了区分简单句(小句)与复杂句，把两个或两个以上的小句所组成的更大的整体称为小句复合体(clause complex)。小句以下的单位词组和短语同样可以组成复合体。这种复合体的概念也被应用到体裁分析的研究中，Martin和Rose(2008)、于晖(2009)提出的体裁复合体(genre complex)的概念，并探讨不同体裁如何通过扩展与投射现象组合而成，用于解释体裁的混合现象。我们认为，复合体的概念对图像同样具有适用性。在英语沙龙这种类型的杂志中，两张或者两张以上的图片会经常被以某种排版方式放在一起，或者是紧靠的，或者是边角重叠的。在视觉上，几张图片形成一个整体构型，我们把这样的图片组合称之为图像复合体(image complex)。在英语沙龙杂志中，我们可以发现非常多图像复合体现象。杂志编辑会在很多文章中挑选多张图片放在一起作为文章的插图。那么随之而来的问题就是，为何杂志编辑要把几张图片放在一起呢?图像复合体与分开的图片相比，具有哪些特殊的功能呢?探讨这个问题之前，我们先从符号重构这一角度探讨杂志的图文关系。

2.图像复合体与文本的符号重构关系

O’Halloran(2011)认为，研究多模态语篇的理论视角有三个:(1)研究语言与其他符号在表达意义方面的区别;(2)研究各种符号如何在多模态语篇中整合，实现语义扩展(inter-semiotic expansion of meaning);(3)把多模态语篇看作是一种社会实践活动，是一种符号重构或再符号化(resemioticisation)。这三个理论视角反映了多模态语篇研究在社会符号学中的“人本位”转变:从研究各种符号的意义潜势，强调意义表达背后的系统网络，到研究符号间的协同互补，到后来在分析多模态语篇时充分考虑到“符号制造者”(sign maker)在潜在的意义资源中作出的选择以及他们与社会实践语境之间的关系。在这种视角下，多模态话语分析所关注的重点转向“人”在某种具体环境中所有的各种符号资源。也就是说，把多模态语篇看作是某种社会环境下的社会过程。具体来说，是分析人们为何在某时刻会选择某种形式(符号)去表达某些意义。人们为了某种社会实践目的，会重新阐释或重新设计某种符号资源。

Iedema(2003)把符号重构定义为意义由一种语境向另一种语境转变、或者由一种实践向另外一种实践转变、抑或是由实践的一个阶段向另一个阶段转变过程中意义的转化。在多模态语篇的建构过程中，当不同符号表达同样的意义的时候就会发生符号重构，而意义在符号重构过程中会产生转化，如《英语沙龙》杂志中的语篇是由语言和图像两种符号组成的多模态语篇，语言与图像不一定完全对应，但是图像符号会在编辑某种目的之下被放置到该语篇当中。如果把杂志中的多模态语篇看作是一种社会实践，我们应该考虑符号制造者，也就是编辑们在制造符号时拥有的各种符号资源，符号制造的目的，符号制造的先后顺序。可以设想，杂志编辑先确定刊登什么文章，然后再根据文章内容选取和编辑图片。在契合杂志的风格和要求下，图片编辑将文章中某些意义通过图片表达出来，这是一种符号重构的过程。由于不同的符号表达意义的资源是不对等的(Lemke，1998)。出于社会实践目的，各种模态的资源优势会被符号制造者利用起来，那么图像复合体便会因为某些资源优势被编辑选择。

在本研究所关注的多模态语篇中，语言符号是主模态，是社会实践的表征，而图像符号是对语言符号所表征意义的二次表征。英语沙龙杂志编辑作为符号制作者，选择图像符号对文本意义进行符号重构。意义从社会实践转移到杂志的语言符号，再转移到杂志图像符号。van Leeuwen(2008:6)把这种现象定义为语境重构(recontextualisation)或者说语境要素重构，“指一种社会实践中的语境要素可以挪用到另一种社会实践的语境当中，并以特定的方式发生转变，话语的某些部分在语境重构过程中常会发生简化、扩展、重点重置等变化”。语篇在特定社会语境下会以契合该语境的方式对现实中的社会实践进行语境重构，同时也是对社会实践的知识构建。图像复合体作为图像符号的一种表达资源，如何重构语言符号的各种意义?重构过程发生了哪些简化、扩展或是重点重置?下面我们将从语篇意义的符号重构，概念意义的符号重构以及评价意义的符号重构三方面探讨图像复合体的功能。

3.语篇意义的符号重构

图像通过信息价值(information value)、凸显度(salience)以及框架(framing)三个系统网络表达语篇意义(Kress＆van Leeuwen，1996:177)。图像复合体表达语篇意义的资源比单张图片更加丰富，可以通过数张图片进行灵活的排版布局、尺寸大小的对比和要素的归类等手段表达语篇意义。如在例1(《英语沙龙》(实战版)2013年1月刊第58页，下省略杂志名］这篇书评中，以书名A Street Cat Named Bob作为主标题。文章分为两部分，两部分的标题分别为“New Book”和“The True Story”，其中“The True Story”占据文章大部分的篇幅。图像复合体符号重构了文章的这种结构，两张图片对应文章的两大部分。两张图片呈现出尺寸上的对比，描绘书的封面的图片较小，描绘猫和主人的图片较大，凸显度最高，并且该图片被置于页面的中心位置。中心位置能提高图片的重要性和稳定感(Arnheim，1988:133)，使旁边的图片成为其附属图片，这实际上符号重构了文章总体的篇章结构，即文章重点介绍的是“The True Story”。并且书的封面图片融入到了“New Book”标题下的文字当中，猫和主人图片置于“The True Story”正上方，增强了图文的衔接关系。

例1

另外，该图像复合体符号重构了文章两大部分之间的逻辑语义关系。Halliday(2008)在研究小句复合体时提出两种主要逻辑语义关系:扩展和投射。Martin＆Rose(2008)借鉴小句复合体中的逻辑语义关系，分析一个宏观体裁(macrogenre)，也就是于晖(2009)所提出的体裁复合体(genre complex)如何由不同的体裁通过扩展与投射现象组合而成。在例1文章中的两大部分实际上形成了体裁复合体，其中第一部分“New Book”是书评，在书评中会投射出叙述文这种体裁，如:“A Street Cat Named Bob，a story that chronicles how the 33-year-old busker ”这句话中包含报道投射关系，其中“a story”是投射载体，“how the 33-year-old busker ”是被投射的内容。而文章第二部分“The True Story”则是第一部分投射内容的扩展。这种“投射—扩展”关系在图像复合体中得到符号重构，左图是一本书的封面，“书”这一图像要素成为“a story”的载体，故事中的人物在右图中出现，形成投射关系。左图中的“猫”这一图像要素情态较低，右图是情态值高的真实图片，呈现更多细节，这样便形成了扩展关系。也就是说，符号制造者(编辑)在选择图像复合体时候，可以更灵活地对文章的主题、重点、新旧信息进行符号重构，也可以对文章中各层次的逻辑语义关系进行符号重构。

例2

4.概念意义的符号重构

在大多数的情况下，《英语沙龙》杂志编辑都是针对文章的主题或者标题的概念意义选择图片。由于某些概念或者话题比较难用一张图片去表达，或者说难以找到符合杂志风格以及高质量的图片去表达。在这种情况下，图像复合体在重构主题概念意义的时候更具灵活性，能更好地表达或者烘托主题内容。主题的概念意义会被解构为不同的语境要素，然后被不同的图片重构，组成图像复合体。图像复合体所表达的概念意义会相对于文字的概念意义发生一些偏离，但是会保持一定的关联性。这种关联性可以用Halliday和Hasan(1976)的衔接理论来解释。图片的图像要素与文本的词汇项通过重复、同义、反义、上下义、部分整体义和搭配等意义关系形成符号间的互补(intersemiotic complementarity)(Royce，2007)。如例 2(2013年 3月第 52－53页)的文章主题“Working in Sydney’s Chinese Restaurant”被三张图片重构，其中中间尺寸最大的图片是一张餐馆内部环境的照片，没有任何人物，只有一些中餐的桌椅，与“Chinese Restaurant”词汇同义。“Sydney’s”这一概念被拆分开来，被右边的图片中几个外国人重构，表示餐厅是在“国外”，“国外”与“Sydney’s”词汇是上下义关系。左边的图片中的食物并没有被主题或者正文中任何地方提及，但根据餐馆吃饭这一意象图式，食物与餐馆形成搭配关系。也就是说“Working in Sydney’s Chinese Restaurant”被解构为“Food”、“Chinese Restaurant”和“Sydney’s”三个语境要素组成图像复合体，而“working”这一概念意义在图像复合体中未被重构。这里值得指出的是，一般来说，重构环境成分的图片在图像复合体中尺寸会较大，而重构参与者成分的图片则尺寸会较小。这样的构图方式更符合读者把参与者融入环境中的认知习惯。例2中重构“Chinese Restaurant”的图片尺寸最大，置于三张图片中间位置，两边的图片中的参与者便会被读者融入到中间图片。例2以格式塔的方式重构了“in Sydney’s Chinese Restaurant”这一环境成分。可以想象，三张图片位置和尺寸如果对调一下，都会改变读者对图像复合体的整体意义的解读，那么图像重构文字的意义会进一步偏离。例3(见下页)则能更好说明这个问题，文章主题“在路上的背包客/The Backpackers Hiking around the World”被解构为“在路上”(around the world)和“背包客”(the backpackers)两个要素。上下两张图片通过边框裁剪(framing)把读者注意力引导到backpackers上，环境的因素被尽可能地去除。中间的图片未出现任何的参与者，读者所能观察到的是图中的环境因素，并且图片尺寸较大。通过这种编排中间图片与上下两张图中的backpackers形成空间关系，让读者对backpackers所处的环境产生一种联想。

例3

有些比较抽象的概念意义在图像复合体中以符号隐喻(semiotic metaphor)(O’Halloran，1999)的方式重构。Halliday(2008)提出语言中存在语法隐喻现象，例如动词名词化现象，还有人际意义用概念意义的方式表达等。那么语言的词汇语法和图像语法之间也会存在符号隐喻现象，这是因为一种符号中表达某种意义的要素与另外一种符号表达该意义的要素往往是不对等的。比如语言中实现动作过程的动词“look”，在图像中可能会使用箭头来表达。实现心理过程的动词“love”，则可能被重构为实体，例如象征爱的钻石。符号重构过程中，一种符号的抽象概念被另一种符号实体化。下面我们通过例4(2013年2月第58－59页)来看看杂志编辑如何利用图像复合体的特殊意义潜势对文字进行符号重构。文章主题“追溯情人节”被解构为“追溯”和“情人节”两个要素，“情人节”这一概念分别在下面四张图片以花、巧克力、心等象征物重构。表面上看，“追溯”这个动词似乎没有在图片中体现出来。但仔细分析一下图像复合体的编排，图片的阅读路径是从左到右最终落在最上方。左边的两张图片与右边的三张图片形成情态上的对比，即左边两张真实程度高，代表今天的情人节，右边三张图片真实程度低，代表历史上的情人节，最后正上方的图片代表一个历史事件，情态对比与阅读路径协同使读者明显感觉到图片的时间关系，是由现在到过去。因此，“追溯”通过图像复合体的阅读途径、情态对比等手段表达出来，是一种符号隐喻。

例4

5.评价意义的符号重构

评价是指人们表达自己的情感、表达对某些事物行为或者现象的态度，是属于人际意义范畴。Martin和White(2008)提出评价系统包括态度、介入和极差，其中态度分为情感、判断、鉴赏，极差系统包括语势和聚焦，其中，态度是指人类对各种事物或现象所作出的判断。根据评价对象，态度可进一步划分为三个次系统:情感(Affection)、判断(Judgment)和鉴赏(Appreciation)。简单地说，情感指说话人表达自己的感受，可进一步划分幸福/不幸福，安全/不安全，满意/不满意等意义。判断是指说话人对行为的评判，可进一步分析评判是属于社会评判(social esteem)还是社会约束(social sanction)。社会评判包括常规(normality)、才干(capacity)和韧性(tenacity)三方面，社会约束包括真实性(veracity)和适宜性(propriety)，而鉴赏是指说话人对事物的评判，其中包括反应(reaction)、构成(composition)和价值(valuation)等方面。介入系统主要是指评价中的话语空间，即:是否容忍别人的意见。极差系统则指评价的程度所用的语言手段。

例5

图像具有评价功能，Kress和van Leeuwen(1996)论述图像语法过程中也有提及图像如何实现评价意义。他们(同上:67－68)指出，图像中的人物眼睛会产生视线，视线形成指向矢量(vector)时，图像体现的是反应过程(reactional processes)。在反应过程中，参与者包括反应者(reactor)和现象(phenomena)。例如:图像中描述一个人微笑地看着另外一个人，微笑的人就是反应者，被看着的人是现象，眼睛视线则是反应过程。这里便产生了评价意义，给予该现象一个认可的态度。在图像复合体中，“指向矢量”或者“反应过程”可以被符号重构为图片间的阅读路径，这也是一种符号隐喻现象。如在例5(2013年1月第60页)中，左边的图像人物是在对着镜头微笑，人物开船的方向指向右边，读者读图片的顺序也是从左到右，形成一个隐性的箭头指向右图。右边图片重构了主题“Otter Bay”，注意右边图片的尺寸在这个时候是比左边图片小的(不同于例2、例3)，“Otter Bay”环境成分被弱化，成为了评价对象。图像复合体通过左图中人物微笑的表情符号重构了文章当中对“Otter Bay”认可的态度。

例6

图像复合体还可以利用图片排版的信息价值提升评价意义的“语势”，即提高评价强度。如在例6(2013年6月第8－9页)中，图片竖立的排版方式给读者图书馆非常高大的感觉。图书馆外观的图片是仰视的视角，并置于最高位置，利用“Ideal-Real”信息原则，凸显了图书馆的雄伟形象。左右和最底下的图片组合起来给人一种图书数量巨大的感觉。图像复合体在重构“The World’s Coolest-Looking Bookstore”的概念意义的同时也加强了“Coolest-Looking”这一评价意义。图像复合体所表达的评价意义是任何一张图片单独拿出来都无法表达的整体意义。当这些图片以这样的编排方式放在一起，图片所表达的概念意义相互渗透，间接地表达出评价的意义。这里Ideal-Real这一信息价值成为强化(intensification)(Martin ＆ White，2008:141－151)的评价资源。由此可见，图像复合体在重构评价意义方面比单张图片也有更丰富的资源。

6.结语

当我们观看一系列放在一起的照片时，这些照片的效果不是独立的，而是会产生相互作用。多张图片组合扩大了图像复合体的意义潜势。人们会以整体构型或者格式塔(Gestalt)的方式去解读图像复合体，也就是说，图像复合体所表达的意义大于其构成的单张图片所能表达的意义之和。从符号重构的角度看，杂志中多模态语篇的产生是一种社会实践活动，编辑作为符号制造者，要综合考虑杂志语篇的种种语境因素，包括杂志风格、文章主题、文章内容等等。图像复合体在重构语篇意义、概念意义和评价意义三方面都比单张图片享有更多的表达资源。一方面，某些主题或者概念可以被解构为几个语境要素，以多张图片的形式组合重构;另一方面，图像复合体能通过尺寸大小、阅读路径、排版布局形成的信息价值、凸显度、边框裁剪等手段符号重构文字的语篇意义、概念意义和评价意义。这其中涉及到符号隐喻的问题，如上分析所示，概念意义、评价意义被符号重构为阅读路径所产生的指向矢量以及“理想—现实”、“中间—边缘”等信息价值。符号重构这一视角使我们能更好地理解杂志语篇中图像复合体的功能。

［1］Arnheim，R.The Power of the Centre:A Study of Composition in the Visual Arts［M］.Berkeley and Los Angeles:U-niversity of California Press，1988.

［2］ Halliday，M.A.K.＆ R.Hasan.Cohesion in English［M］.London:Longman，1976.

［3］Halliday，M.A.K.An Introduction to Functional Grammar［M］.Beijing:Foreign Language Teaching and Research Press，2008.

［4］Iedema，R.Resemioticization［J］.Semiotica，2001(1):23－39.

［5］Iedema，R.Multimodality，Resemioticization:Extending the Analysis of Discourse as a Multisemiotic Practice［J］.Visual Communication，2003(1):29－57.

［6］ Kress，G.＆ T.van Leeuwen.Reading Images:The Grammar of Visual Design(2nd ed)［M］.London:Routledge，1996 .

［7］Lemke，J.L.Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text［C］//J.R.Martin ＆ R.Veel.Reading Science:Critical and Functional Perspectives on Discourses of Science.London:Routledge，1998:87 －113.

［8］Martin，J.R.＆ D.Rose.Genre Relations:M apping Culture［M］.London:Equinox，2008.

［9］Martin J.R.＆ P.R.R.White The Language of Evalutation:Appraisal in English［M］.Beijing:Foreign Language Teaching and Research Press，2008.

［10］O’Halloran.Interdependence，Interation and Metaphor in Multisemiotic Texts ［J］. SocialSemiotics，1999(9):317－354.

［11］O’Toole，M.The Language of Displayed Art(2nd ed)［M］.London and New York:Routledge，2010.

［12］Royce，T.D.Intersemiotic Complementarity:A Framework for Multimodal Discourse Analysis［C］//T.D.Royce＆ W.L.Bowcher.New Directions in the Analysis of Multimodal Discourse.Lawrence Erlbaum Associates，2007:63－110.

［13］van Leeuwen.Discourse and Practice:New Tools for Critical Discourse Analysis［M］.New York:Oxford University Press，2008.

［14］于晖.语篇体裁复合体——试析语篇体裁之间的逻辑语义关系［J］.解放军外国语学报，2009(3).