图书馆中的多模态应用

彭建武,于晓燕,齐 伟

(1,2.山东科技大学,山东 青岛 266510;3.山东新泰新汶实验学校,山东 新泰 271219)

1 引 言

数字化信息技术和视觉文化的发展使世界日趋多模态化,图像、声音、动作等多种模态的联合并用以及多模态认知模式的产生日益冲击着人们传统的思维方式和习惯,人类已进入多模态时代。新一代人的学习方式也正逐渐发生变化,多模态不仅成了人们接受知识的重要手段,而且成为最有影响力的信息传播媒介。把多模态媒介具有的多感性和计算性具有的交互性相结合,将会产生全新的信息交流方式。随着信息媒介的多模态化,纸质印刷物、声像文献、电子书籍、网络文本、缩微文献等都将被图书馆收藏,并为读者提供服务,读者可以同时获取、存储不同媒体(如文字、图像、动画、图形、图片等)的信息。然而,就我国目前图书馆行业的发展状况来看,作为与多模态传播有着密切关系的图书情报机构却鲜有人对图书馆多模态模式的运用及其功能进行研究。

2 多模态的含义及与多媒体的区别

多模态是以人体所拥有的 20多种感官为基础。在面对面的交流中,人的脸部表情、眼神、手势、体态、姿势、身体接触、服饰等都有可能泄露信息[1]。多模态是涉及视、听、嗅、触、味等多种“模态”相互融合、协调并用的感知模式。《Harper's Bazaar》杂志2007年 10月版刊登了三则香水广告,不仅配以传统的文字图像,广告商还通过特殊技术将香水的味道融入纸张之中,使读者以嗅觉模态身临其境地感受商品的独特魅力。另外,多模态一般涉及多个符号系统。例如杂志中的广告只涉及一种视觉模态,但由于其既包含文字、图画,还有色彩的变化、版式印刷技巧的调整,因此也具有多模态性。在国外,众多学者已就各种模态形式如何和谐并存以及在特定的情景语境和社会实践中如何用来构建意义、传达信息、达到交际目的等进行了较深入、广泛的阐释。Barthes作为最早探索多模态现象的学者,曾探讨过图像在表达意义上与语言的相互作用问题[2];1996年“新伦敦研究小组”提出了“多模态读写教学”;Royce探讨了不同的符号在多模态语境中的互补性和协同性[3];Kress＆Leeuwen分析了模态与媒体的关系,专门探讨了视觉图像、颜色以及印刷版式和设计等不同媒介的多模态形式的构建意义[4]。多模态就是借助多种渠道和手段来调动多种感官协同运作和互动,使有些需要通过左脑进入右脑的信息直接储存在右脑中,以达到加深印象、强化记忆效果、促进学习效率目的。每一个人天生就具有通过其感官来探索和解释世界的能力。神经生物学研究清楚地表明,感觉之间的互通融合和相互作用,有利于加强人对知识和信息的建构以及对世界的理解。而毫无刺激的环境是令人厌烦的,并会使我们的感觉变得迟钝[5]。

我们知道,装载内容或信息的媒介多种多样,包括文字、模拟音频流、数字音频流、图像、视频流等。顾曰国认为[1],纸质媒介可以装载文字、图像等,但无法装载音频流和视频流,同理,音频流也无法装载文字和图像。我们将以单个媒介为内容载体的称为单媒体,以两个媒介为内容载体的叫双媒体,以三个或三个以上媒介为内容载体的叫多媒体。按这一分法,文字印在纸质媒介上的材料是单媒体材料,声音录制在磁带上也是单媒体材料,以此类推。而“模态”指人类通过感官(如视觉、听觉等)跟外部环境(如人、机器、物件、动物等)之间的互动方式。用单个感官进行互动的叫单模态,用两个的叫双模态,三个或三个以上的叫多模态。从这个定义看,无论是单媒体、双媒体还是多媒体,如果其内容是关于多模态互动的,我们就可以称之为多模态内容。我们可把文字印在纸上的多模态内容称为单媒体的多模态内容。当读者读某段文字时,阅读行为启用的是视觉这个单模态来获取外部信息的,因此我们把读这段文字的行为描述为单模态,它是通过单媒体跟多模态内容进行互动的。当纸介单媒体的多模态内容改编为视频流(如电视剧)时,我们通过多媒体音频流、视频流和字幕与多模态内容互动,这是因为观看者启用了视觉和听觉去获取外部信息。

3 图书馆的多模态应用

目前,多媒体研究需要解决的主要问题是构建一个展示多媒体技术潜力的实验平台,而多模态图书馆正是多媒体技术实验的重要平台。传统图书馆一般仅限于使用一种媒介,而多模态图书馆拥有大量的多媒体资源,能够进行跨媒介检索和提取。与传统的示例查询不同,在跨媒介检索和提取系统中,查询示例的模态与查询结果的模态不一定相同。例如,用户可以通过音频检索图像,或者通过图像检索音频。显然,跨媒介提取系统具有特殊的功效,可以增强多模态数据提取的准确性,获得令人满意的提取效率。在信息提取方面,多模态图书馆建设首先需要解决的问题是如何实现图书馆的多模态化。图书馆需要对多模态特征(包括语义关键词和媒介特征)进行整合,其信息提取应保证读者搜索和提取到不同模态(如文本、图像、视频和声音)的多媒体数据,并有足够的能力不断改进图书馆内容的检索方式。作为一种集情景教学和电子内容传输于一体的学习服务系统,多模态图书馆需要整合大量信息资源融入大学教育和学术研究中,给学习者提供获取传统资源和电子信息资源的最佳途径,凸显综合性、个性化的信息服务优势,由此改进和完善信息环境,促进读者的终身学习。多模态图书馆还应通过提供高质量信息来拓展和深化读者的知识结构,增强读者发现和使用信息的能力。另外,多模态图书馆要与图书馆资源(如电子学术文献、电子教室、电子课程)进行整合,改进数据库内容,为读者提供丰富的电子信息资源和服务,实现教师、教学和图书馆的无缝连接,使读者更便利地利用信息,提高学习效率。多模态图书馆要创建众多的情景链接、主题数据库、电子文献服务,由常用程序模板创建的图书馆页面可以链接各类电子课程库、考试考卷数据库、电子论文等网络资源,使学生在学习初期就能利用高质量的信息资源。集多种模板于一身的内容管理系统不只局限于文本,还可以处理图片、Flash动画、声像流、图像甚至电子邮件档案,可用来管理图书馆页面,创建安全、永久的统一资源定位格式(URL)。读者不仅可以通过公共网页进入多模态图书馆,也可以使用个人门户网站进入相关的学习系统进行相关课程(包括共用课程和授课人为读者预备的个人课程)的学习,并可查阅到最新的学习记录。

4 建设多模态图书馆的意义

图书馆多模态应用的意义在于通过多种渠道和媒介将静态资源(如图片、文字等)和动态资源(如声音、动画、视频等)都纳入图书馆的设计和收藏中来,从而调动读者多种感官的协同运作和互动,给读者以全方位的多感官体验,促进知识的获取和吸收。从多模态视角来探究图书馆服务活动中资源和读者的相互关系,可以进一步把握图书馆信息传播和接收的有效性,为理解图书馆建设的定位提供一种新的研究视角。

4.1 拓展知识传播和接收渠道

图书馆是以知识传播为主要功能的特殊机构,知识文献是其最重要的资源。但知识的力量不仅取决于其自身价值的大小,更取决于它是否被传播以及其传播的深度与广度。图书馆知识和信息的传播是一个通过多种不同媒介实现信息融合、生成、建构与创造的过程。我们可以借鉴其他软件来丰富和拓宽知识的链接渠道,使图书馆阅读更具趣味性、艺术性、灵活性 。例如,Flash、Director、PowerPoint这三种软件集文字、声音、图形、图像、视频、动画于一体,相互之间具有一定的相通性。Flash的“库”相当于Director的“演员表”,其影片剪辑元件与胶片环动画有异曲同工之妙,都是由两个关键帧之间位置的移动、形状的变化、色彩的改变等来产生动画效果的;Director设计可以用 Flash中的动画实例来增强其动画效果,如可以将漫游乡村公路动画中的汽车、树、篱笆、云、背景分别导成 png图片,在 Director的演员表中导入,通过位置移动、墨水效果、胶片环动画等操作,可以实现 Flash动画效果[6]。

4.2 满足读者多元化、个性化的需要

读者对文献资料的需要和反应往往是多元的,其感知、感觉都是个性化的,且具有高度的主观性;知识的获得过程也是丰富多样的,多样化的读者个体需要多样化的阅读模式。多模态图书馆可兼顾读者的个体差异,为读者提供了一个多元化的知识接受渠道,给读者提供机会选择适合自己的学习方式。由于其知识获取效率和知识库质量都很高,容易引起读者的兴趣,能够使读者在相互渗透和整合中开阔视野。图书馆建设应充分考虑图书馆这一空间的整体元素,如触觉、声音、味道、光线和颜色都可以用作设计工具,为读者精心设计个性化的学习空间和学习环境,以培育、发展和完善读者的感知能力,激发和支持读者的探究性阅读和学习。

4.3 促进读者对知识的获取和吸收

传统图书馆没有充分重视信息资源的交互性,服务形式比较单一,信息量较为匮乏。与之相对的是,多模态图书馆可为读者提供诸如电子书库、有声读物、视频资源等数量庞大的学习型资源库,各种知识的体验无所不包。因而能使读者运用不同感官协作工作,使之能直接介入知识的吸收过程,进而把知识有机地组织起来,为整合知识和信息资源提供了有效途径。读者从中获得一种前所未有的全新体验,在一种愉快、轻松的氛围中主动地学习、汲取和积累新的知识。知识的持续深化会产生新的思想火花,从而赋予读者巨大的积极性,激发读者学习知识的兴趣,有利于读者更有效地获取信息和知识,全方位地提高自己的知识素养。

5 结 语

多模态理论是在广泛吸收生理学、心理学、神经学等众多学科研究成果的基础上建立和发展起来的。我们有必要顺应目前学科交叉渗透发展的大趋势,对图书馆多模态的表现形态、传播渠道、应用实践及其跨学科、综合性的研究路径作全面深入的分析和探讨,使理论研究与应用实践良性循环。目前,多模态不仅给人们的工作、学习、生活方式带来了革命性的变化,也拓展了传统图书馆的功能。如何了解和掌握好图书馆的多模态性,推动图书馆学研究朝着更好的方面发展,值得我国图书馆界的专家、学者及相关人员进一步研究。

[1]顾曰国.多媒体、多模态学习剖析[J].外语电化教学,2007(2):3—12.

[2]Barthes,R.Rhetoric of the image[C].In R.Barthes(Ed.),Image-Music-Text.London:Fontana,1997:32—51.

[3]Royce,T.Multimodality in the TESOL classroom:exploring visual-verbal synergy[J].TESOL Quarterly,2002,36(2):191—202.

[4]Kress,G＆van Leeuwen,T.Reading images:the grammar of visual design[M].London:Routledge,2006.

[5]Ceppi G,and Zini,M.(1998):Children,Spaces,Relations:Metaproject for an Environment for Young Children[M].Reggio Emilia:Reggio Children/Domus Academy,1998:16.