个性化虚拟语料库及其应用

摘要：个性化虚拟语料库是大数据时代应运而生的新兴工具，在语言教学与研究中应用前景广阔。它是以现有语料库或互联网语料为基础，根据个性化需求临时创建的专题语料库。本文以美国杨百翰大学维基百科英文语料库为例，介绍了如何创建、编辑、管理和使用个性化虚拟语料库，包括其检索方法，阐述了如何从中挖掘利用语言教学和词典编纂所需的各类词表，并探索了其在专门用途英语教学中的应用，最后提出了如何有效利用该类资源的建议和展望。

关键词：个性化虚拟语料库；维基百科语料库；词表；专门用途英语教学；专科词典编纂

中图分类号：H319.3 文献标识码：B 论文编号：1674-2117（2017）09-0096-05

近年来，语言教学与研究正日益广泛地用到语料库（corpus）资源。用户可在现成正规语料库或互联网语料的基础上，根据自身需求临时创建专题语料库，即个性化虚拟语料库（customized virtual corpus）。这两种语料来源各有优缺点，现成的正规语料库制作规范，标注与统计功能强大，但由于是静态资源，语料库容量有限，所以在建成之初其语料就已经“过时”。而互联网语料实际上是大数据时代的“网络语料库”（web as corpus，又译作“以网络为语料库”），它主要通过Google等搜索引擎来收集最新语料，其中以英国伯明翰城市大学的WebCorp等为代表，但由于受到搜索引擎功能的限制，缺乏正规语料库的标注和统计功能，所以它往往无法按语言工作者的需要精确检索到语料。

美国杨百翰大学（Brigham Young University）Mark Davies教授于2015年发布了具有开放性和动态性的维基百科英文语料库平台（The Wikipedia Corpus）。它为用户专门设置了创建个性化虚拟语料库的功能，这克服了“网络语料库”的目的性和针对性不强的缺点，同时又具有正规（静态）语料库的语料处理功能。该库用户可根据所需主题，检索相关内容的语料，临时聚合语料并分类管理，从而创建个性化的专题（子）库（刘喜琴 & Davies， 2017）。与Sketch Engine等提供的虚拟语料库功能相比，该库创建、管理和使用起来更加灵活方便，进一步降低了用户的技术门槛，因而具有广阔的应用前景。目前，该库语料来源于所有英语国家，库容达190亿个词，含4，400，000个文件。虽然容量巨大，但检索速度很快，是Sketch Engine的五六倍。其优势还体现在它的语料检索功能远远超过维基百科原有系统，而且与学校其他十多个免费权威语料库（如COCA、COHA、BYU-BNC等）实现了无缝对接（Davies， 2015）。

众所周知，维基百科专业性强、规模大、应用广，具有很高的自然语言研究价值，因此引起了国内外学者的普遍关注（赵飞等，2010），如挖掘双语语料以建造双语平行语料库等（孟桂国，2010；胡弘思，2013）。在国外，个性化虚拟语料库已逐步应用于语言教学与词典编纂等方面（Avinesh et al，2012），但国内学界对其仍比较陌生，本文尝试以维基百科英文语料库为例，探索如何将其应用于个性化教学等方面。

个性化虚拟语料库的创建与管理

登录杨百翰大学的维基百科语料库网站（http：//corpus.byu.edu/wiki/），可看到“Create corpus”按钮，点击即可进入创建页面。在“Title word（s）”（标题框）中输入包含在文档标题中的字符串，底下四个框还可以分别设置标题或网页中要包含或剔除的字符串，以及网页数量（pages）。例如，我们想创建一个关于圣诞节的专题库，通过网页查询Christmas后，发现需要过滤掉一些有关歌曲或电影的网页。可以先在标题框中输入Christmas，然后在“（Optional）Words not in title”框中输入“song film”，在“（Optional）Words not in pages”框中输入“movie film television”。

同时，也可以在建好的专题库中建立更小的子库，如想在BIOLOGY库下面建立STEM CELL子库，只需在BIOLOGY库中查询字符串“stem cell”，就能将系统自动显示的网页保存建库。

建好库后不仅可以对自建库进行编辑管理——从屏幕右边的自建库管理窗口开始进行各种操作，如将某库删除（delete）、隐藏（hide）、恢复隐藏等，还可以对各库顺序进行重排或重命名（rename），或对各库进行分类（regroup）并对類别进行命名。如下图所示，BASTKETBALL、BIOLOGY和INVESTMENTS三个专题库分别归在Sports类（Sp）、Science类（Sc）和Finance类（Fi）。

杨百翰大学语料库的检索方法

语料库检索方法是其使用过程中的关键，在语言教学、词典编纂和语言研究中也比较重要。杨百翰大学的语料库系统界面友好，查询方便，检索方式多样，检索功能强大。

1.简单检索

首先，用户需要了解一些基本的通配符（正则表达式），如*、？等，以及基本的统计学概念，如频数、互信息值、关联度等。输入字符串有严格的规定，可参看其网站介绍。查询一个单词时中间不要随意加空格，否则会被默认为两个连续的单词。如果要限定单词的词性（词类），可在单词后面加一个点，然后加中括号，将词性标签放入中括号内。点的前面和后面都不能有空格，否则会被视为两个连续的单词。如果要进行近义词检索和用户定制清单，则需要查询所匹配单词的所有屈折变化形式，只需在中括号外另加一对中括号，也可选择词目及词性。例如，键入s？ng*，则代表要查询song、singer、songbirds等单词（通配符问号代表一个字母）。如果想查询suggestive后面一般接哪些介词，在检索框中键入suggestive，POS LIST选择prep.ALL即可。

如果要在自建库中查询词频表或词组频数表，则在自建库管理窗口中点选“FIND KEYWORDS”；如果要分类型来查，单词可查名词、动词、形容词和副词四种，词组可查“名词+名词”“形容词+名词”两种，按需点击相应按钮即可；如果要拿整个维基百科语料库作为参照，查询自建库的主题词（又称关键词，但实际上不同于被查询的字符串“语境中的关键词KWIC”），此时应点选“SPECIFIC”。

2.高级检索

这里主要介绍句法检索和搭配词检索。

维基百科语料库的句法检索比较强大，像ADJ/NOUN+fund或者market+NOUN这类检索，无需逐个输入确切的词组，只用一次性输入，仅需几秒钟时间，这是一般的语料库系统无法做到的。

在查询界面（SEARCH）可找到搭配词（COLLOCATES）按钮。查询搭配词时需要在两个选择框中设置左右位置的范围。两个选择框中的左框表示搭配词在目标字词左边（L）出现的最远位置，右框（R）则相反，默认情况下均为前后4个词的距离范围。如果想查询market后面常接哪些名词，可以在查询框中输入字符串“market”，然后点击词性下拉菜单（POS），选择“noun.ALL”。如果想查询哪些名词附近常用wear，或laughter附近常用哪些动词，可以输入“[wear]+a NOUN”或“VERB+his laughter”。如果想查询动词后面接介词of并且该结构位于句尾的情况，可以在查询框中键入查询表达式of.（of后面加一个空格，再加一个英文句号），POS框选择verb.ALL，COLLOCATES框选择1L和0R，就可以查到think、heard、know、made、speak、dreamed、rid等动词形式（刘喜琴，2013）。

各类词表的挖掘利用

语料库辅助语言教学最明显的优势体现在词汇方面，同时语料库也是现代词典编纂必不可少的工具。在语料库检索中，通常以检索项为切入点，进而得到大量的检索行，并通过语境来观察检索项的实际使用情况。但创建大规模语料库的目的之一是希望能够得到有关语言的宏观认识，词表技术即可实现此功能。

在语料库语言学中，词表（word list）是指词频表（frequency list），而不是简单的单词列表，这是词典收词立目的重要依据之一，当然还可以选择按字母表顺序（alphabetical）排列。如果孤立地观察单词，显然無法解决语言中的众多问题，所以有学者提出了词簇（cluster）这个概念。词簇是指在语料文本中反复出现的两词或两词以上的结构，又被称为语块（chunk）或多词单位（multi-word unit）。虽然该类结构未必是语法和语义上完整的结构，但仍可观察到词汇的高频搭配规律。要在维基百科语料库的自建库中查询某类词频表或词组频数表，在自建库管理窗口中点选单词或词组的类型即可，也可以将语料保存在本地，用语料库软件如AntConc（Anthony， 2014）等，提取任何类型的词表和词簇表，这样就不会局限于维基百科语料库提供的词类和词组类型。

如果要查询自建库的主题词，系统默认用整个维基百科语料库作为参照语料库（reference corpus），这特别适合于语体比较、专门用途英语学习和专科词典编纂。如果拿某个或多个文本跟别的文本相比，往往会发现其中有一些词出现的频率特别高，这些词叫做主题词或关键词（keyword或key word）。通过观察主题词，可以发现某一给定文类或主题文本的词语特征。例如，在旅游英语语篇中，ticket、booking、luggage、tour、guide、route、flight、coach等词出现的频率特别高，因此被视为主题词。主题表中主题词的频率显著程度（keyness）是根据对数似然率（log likelihood）或卡方检验（chi-square）计算出来的。主题词提取后，我们可以对其进行分类整理，辅助文本分析与教学。

教师可以利用搭配词表优化语块教学，在教材与词典中，应将高频词汇搭配优先呈现给学习者。语料库语言学认为语言的核心是词汇，频率与搭配这两个中心概念应该受到重视，如Sinclair的习语原则、Hunston的型式语法、Hoey的词汇触发理论等都支持该观点。

专门用途英语教学中的应用

专门用途英语（English for Special Purposes，简称ESP）教学是目前全球英语教学的发展趋势。目前，我国的ESP教学仍由英语教师来承担，这往往会遇到学科制约的瓶颈。英语教师常需要查询专门学科的英语语料库，但实际上这样的英语语料库往往无法找到，所以教师有必要自建个性化虚拟语料库，按专题来选择语料并进行分类管理。教师应结合具体专业学科内容，在课堂活动设计、教材编写等方面适当引入语料库数据，兼顾国际化和本土化特色，以帮助学习者在真实语料信息中获取专业知识，与国际学术前沿接轨（王健燕，2012）。

个性化虚拟语料库应用于ESP教学，主要体现在专业词汇、阅读与翻译教学上。利用个性化虚拟语料库挖掘词表、词簇表和主题词表，可以帮助学习者积累该专业的特色词汇。维基百科语料库为这些专业术语提供了详细的定义与解释，可以直接用作学习材料，如在电子词汇表中制作有关术语的维基百科语料库超链接，能让学生使用起来非常方便。

在ESP阅读教学方面，教师可按照具体学科的体系建立一个多层级的个性化虚拟语料库系统，挑选最合适的阅读材料提供给学习者。一个教学班的学生往往来自不同专业，因此需要根据其专业特点选择不同的阅读材料。而维基百科语料库因其语料专业性强且更新快而在这方面特别有优势。例如，我们建立一个BIOLOGY的专题库，里面可分为ZOOLOGY（动物学）、BOTONY（生物学）、MICROBIOLOBY（微生物学）等子库。学习者在阅读中遇到专业术语等方面的困难，可以随时查询总库或其他子库资源。

教师还可以通过杨百翰大学语料库网站的Word and Phrase主页（http：//www.wordandphrase.info/），获取某篇阅读文章的词汇的宏观与微观信息。只需将干净的文本（如txt格式）输入其主页所指示的框内，系统便自动呈现文本词汇统计数据。统计表中的任何单词都有链接，点击就可以查看其频率信息、定义、词汇搭配情况等。

在ESP翻译教学中，国外已有值得借鉴的先例（Avinesh et al， 2012），他们特别注重母语与目的语专业文档的积累和对比学习，在找不到合适的平行语料库（parallel corpus）时，个性化虚拟语料库能进行一些补偿。国内基于维基百科语料库的平行语料库建设，也能为教学应用提供启示。教师还可以利用多语语料库软件ParaConc（Barlow， 2009）等处理和检索自建库的语料，辅助翻译教学。

结语

在语言教学中，教师可以深化数据驱动学习法（Data-driven Learning），根据学生的英语水平、专业、兴趣和需求筛选语料，引导学生掌握语料库基本术语和复杂检索所需的正则表达式，以提高其对个性化虚拟语料库的利用程度，培养他们的自主学习能力。为了加深学生对外国文化的理解，教师可以引导学生查询蕴含浓厚文化信息的关键词，观察其搭配词的特点，探索话语社团的主流思想与社会文化形态的变化趋势。

在词典学研究与实践中，维基百科语料库与个性化虚拟语料库特别适合充当专科词典（specialized dictionary）编纂的辅助工具。在编纂过程中，词典学家可以利用这类语料库协助选条、挑选搭配等，从而验证收录在专科词典中的术语和释义的真实性（Tarp & 薛梅，2016）。

在技术方面，个性化虚拟语料库还有待实现一些复杂的检索功能，这主要取决于自然语言处理的瓶颈之一——语义标注技术的突破。随着计算机科技的发展，相信“网络语料库”（web as corpus）会发展到“以网络浏览器为检索器”（web browser as concordancer），甚至是“以网络浏览器为标注器”（web browser as tagger），即虚拟标注——服务器端的自动语言信息标注。

总之，个性化虚拟语料库应用前景广阔，但还有待语言工作者和技术人员不断尝试，大力推广。

参考文献：

[1]Anthony L. AntConc （Version 3.4.3）[DB/CP].http：//www.laurenceanthony.net/software.html，2014.

[2]Avinesh P.， D. Mccarthy， D. Glennon，et al.Domain specific corpora from the web： Proc EURALEX[Z].Oslo，Norway： 2012.

[3]Barlow M. ParaConc[DB/CP].http：//www.paraconc.com，2009.

[4]Davies M.The Wikipedia Corpus[EB/OL].http：//corpus.byu.edu/wiki/，2015.

[5]Tarp S.， 薛梅.語料库驱动词典学、语料库词典学与语料库辅助词典学——论语料库在注释专科术语词条的局限性[J].辞书研究，2016（4）.

[6]胡弘思.基于维基百科的双语可比语料的句子对齐[D].上海：上海交通大学，2013.

[7]刘喜琴.语料库辅助EFL自主学习的多维探索[M].广州：华南理工大学出版社，2013.

[8]刘喜琴，M. Davies.BYU语料库系统及其语言研究应用[J].中国教育信息化，2017.

[9]孟桂国.基于维基百科的双语语料挖掘技术研究[D].苏州：苏州大学，2010.

[10]王健燕.论英语语料库辅助下的学科专业英语（ESP）教学[J].南京航空航天大学学报：社会科学版，2012（1）.

[11]赵飞，周涛，张良，等.维基百科研究综述[J].电子科技大学学报，2010（3）.

本研究得到广东省哲学社会科学“十二五”规划项目（GD15XWW23）和2016年度广州市哲学社会科学发展“十三五”规划课题（2016GZGJ68）的资助，感谢吉林师范大学李亮博士的技术指导。