概念意义视阈下多模态叙事绘本图文关系研究

■胡 勇

话语研究的多模态转向成为当今语言学研究和话语分析的重点关注对象。其中，图文关系是探讨多模态之间协同互补机制中最为重要的一组关系。以系统功能语言学和视觉分析框架为理论方法，探究多模态叙事绘本中，图文符号系统概念意义的创建以及图文意义的跨符号互补机制，并在此基础上，结合视觉叙事的有关概念，进一步挖掘图文符号系统在语篇共同实例化过程中的概念意义投入以及图文符号系统承载、激活和表达的意义总量，可为中国语境下多模态叙事语篇的图文互补机制研究提供新的视角和启示。

新媒体时代使人们的交际方式和生活方式发生巨大的变化，单一的语言模态已不再是意义创建和表征的唯一手段，而是逐渐由图像、声音、手势等多种媒介组成的交际模式所替代。20世纪90年代以来，多模态话语研究者在系统功能语言学的基础上开始探究语篇意义创建中语言之外的其他社会符号的语义、语法和描写系统，诸如图像、声音、空间等。对模态的定义和理解，不同的研究领域和研究方法持有不同见解，主要可归为三种：一是将模态定义为不同社会文化中所形成的创建意义的社会符号资源；二是将其视为诸如视觉、听觉等感官模态及相应系统；三是将多模态视为信息呈现方式。日常交际和话语实例中存在大量的非语言符号/模态，语言只是表达意义的众多社会符号之一，话语的多模态特征是当代话语研究的重点关注。……