国内外多模态语料库建设现状

■张成智／河北大学外国语学院

一、多模态语料库的定义

语料库可以分为单模态和多模态两种。单模态语料库是纯文本语料库。在国内，诸多学者在单模态语料库的研制、应用和普及等方面做出了开拓性的贡献（王克非、秦洪武，2017；胡开宝，2017,2011；梁茂成，2010；秦洪武，2010；刘泽权，2008）。多模态语料库是单模态语料库的新发展，它是指音频、视频和文字语料等多种信息集成，研究者可以通过多模态方式加工、检索和统计进行相关研究的语料库（顾曰国，2013）。具体而言，多模态语料库（Multimodal Corpus）是指包含经过转写、处理与标注的语言文本及与文本紧密关联的音视频数据库，目的在于采用实证的方法系统地研究语言符号与非语言符号之间的相互作用（Heiss &Soffritti，2008； Sotelo Dios, 2012）。 其内涵已超出了Biber等人所定义的语料库范畴——“口语或书面语文本的大规模集合”，而是“经过标注的不同交际渠道协同的数据集合，包括话语、目光、手势、身体姿势等，而且通常是基于直接记录的人类行为”（Foster et al.2007:307）。

二、国内多模态语料库的建设现状

多模态语料库是语料库语言学中正在兴起的一个分支，我国的多模态语料库建设还在起步阶段，其中顾曰国（2017）领衔研制的现场即席话语多模态语料库、痴呆老人话语多模态语料库等开创了国内多模态语料库研制与应用的先河。近年来，国内有学者也陆续研制了特色各异的多模态语料库，如谢楠、张笛（2017）研制的汉语儿童多模态口语语料库，金艳妮（2013）以教学录像为材料构建的小型多模态英语词汇教学语料库，彭娟娟（2013）以优秀英语教师视频为材料研制的多模态语料库，张立新（2012）以课堂教学录像为材料创建的多模态语料库，潘鸣威（2010）制作的理工科大学生英语多模态语料库等等。尽管如此，我国多模态语料库依然奇缺，四大名著是我国传统文学经典，建设相关的多模态语料库意义重大，可惜迄今为止还没有学者做过相关尝试。顾曰国（2016, 2015, 2014,2013, 2007）在多模态语料库的理论、方法、研制和应用前景等领域做出了开创性的贡献。张德禄（2012, 2010,2009）在多模态话语分析、多模态文体学等领域作了引领性的研究。当然还有不少学者就多模态语料库的研制方法、策略，用途，以及多模态语料库在国内外的研制概况做了介绍和整理（刘剑，2017；王正，张德禄，2016；黄立鹤，2015；刘剑，胡开宝，2015；张霄军，2007）。尽管如此，国内多模态语料库的研究依然十分缺乏，相关文献以综述和评介居多，实证研究偏少。

三、国外多模态语料库的建设现状

在国外，多模态语料库研制取得了丰硕的成果，如丹麦NOMCO多模态语料库（Boholm & Allwood, 2010）、希腊PlayMancer多模态语料库（Kostoulas,et al., 2010）、西班牙OSA多模态语料库（Fernández et al., 2008）、日本婴儿行为多模态语料库（Kitazawa, et al., 2008）、欧盟AMI多模态语料库（Carletta,2007）、德国SmartWeb多模态语料库（Mogele, et al., 2006）。这些语料库用于探索语言习得、人机互动、疾病诊断等目的。尽管有科研团队以电视剧为语料建设多模态语料库，但是还没有学者以名著改编电视剧为基础建设多模态语料库。在多模态语料库的应用研究方面，不少学者对多模态语料库的发展趋势、功能和作用进行了介绍和 分 析（ Malisz,2016；Brône & Oben,2015; Bateman, 2014；Knight, 2011,2008, 2009），还有学者对多模态语料库的建设方法和相关工具软件的使用和技巧等方面进行了讨论（Lihe Huang,2017; Campbell，2009；Baldry, Thibault,2006）、或者探索如何利用多模态语料库促进语言学习（Ackerley & Coccetta，2007）。尽管上述多模态语料库分别从语言学习、人机互动等多方面进行了富有成果的探索，但还没有团队将单模态语料库和多模态语料库相结合，开展语言研究。

综上所述，多模态语料库在国内和国外已经日益引起重视，但是目前无论国内还是国外，大规模的多模态语料库十分缺乏，多模态双语平行语料库更加罕见。多模态语料库是单模态语料库的发展和深化。多模态语料库也是语料库的高级形式和未来研究的重要趋势。