梁茂成谈语料库语言学与计算机技术

北京外国语大学 梁茂成

梁茂成谈语料库语言学与计算机技术

北京外国语大学 梁茂成

1. 您觉得哪些计算机技术与语料库语言学研究密切相关？

计算机技术与语料库语言学密切相关，表现在语料库语言学高度依赖计算机技术。没有计算机技术，语料库语言学就不可能发展起来，研究者就只能像Alexander Cruden （1699-1770）那样，或像蔡庭干（1861-1935）那样，靠人工将《圣经》和《道德经》制作成逐字索引，人们所能观察到的数据必然十分有限。早期靠人工制作词语索引的学者，其意识超前，不辞劳苦的精神值得称道，更重要的是这种做法反映了这些学者对经验主义认识论的推崇。

经验主义倾向是大多数人与生俱来的，也是语言研究中最不可动摇的方法。远的不说，20世纪上半叶，描写主义（descriptivism）语言学在美国就曾风靡一时，Franz Boas（1858-1942）等一批研究者深入到美洲印第安人中，对印第安诸语言进行了广泛的调查，采集了大量十分珍贵的语言数据。后来，以Charles Fries（1887-1967）为代表的语言学家传承了这种以田野调查为主要数据采集手段的方法，以经验主义为哲学基础的语言学研究得以大行其道，成了语言学研究中的主要方法。这种以观察数据为依据的方法主导着语言学研究，一直到Chomsky的普遍语法提出之后才有所收敛。在一些研究者（Fries 2010）看来，Fries的语言观和语言学研究方法与当今的语料库语言学别无二致，Geoffrey Sampson和Diana McCarthy更是从Fries所著的The Structure of English（1952）中节选了第三章，将其作为开篇之作收录到他们编著的Corpus Linguistics: Readings in a Widening Discipline（Sampson & McCarthy 2004）一书中。Leech（1992：105）甚至认为，美国学界50年代的结构主义语言学就是语料库语言学。由于当时这是唯一的语言学研究方法，人们自然不会采用“语料库语言学”这个名称。

我们认为，以上学者的观点的确可以表明，语言学研究中的经验主义方法由来已久，但并不能表明语料库语言学在前计算机时代就已经存在。语料库语言学不同于以往的田野调查方法，两者间至少存在以下差异：

1）前计算机时代语言学研究中的观察数据量远远小于当今语料库语言学研究中的数据。在基于田野调查的实证语言学研究中，研究者受到当时技术手段的制约，所能得到的数据量十分有限。比如，弗里斯在研究中使用的数据是约25万词的电话录音。现如今，数据收集变得如此方便，以至于25万词的数据很难被称作为语料库。数据量的大小是前计算机时代语言学研究和当今语言学研究之间的重要区别。我们无意否认弗里斯的研究价值，但数据量的大小势必会对研究结果产生很大影响，凭借少量数据对语言现象进行概括很可能是以偏概全甚至是徒劳的，这一点在后来的语料库语言学研究中被反复证明。

或许在有些人看来，数据量的差异并无大碍，不会对研究结果有质的影响。然而，Sinclair（1991：100）的经典名句“若是同时观察很多语例的话，语言看上去会迥然不同”（The language looks rather different when you look at a lot of it at once）所强调的正是数据量的差异，当我们同时观察大量语言使用实例时，所得到的结果常常与我们预期的大不相同。通过计算机软件，语料库中多种语言现象一览无余，十分有利于研究者形成更为全面的概括，这自然有别于前计算机时代管中窥豹式的做法。很显然，Sinclair希望说明的道理是，数据量的差异是语料库语言学得以存在的基础，也是语料库语言学得以超越其他研究的前提所在。

2）前计算机时代的数据分析方法远远落后于当今语料库语言学研究中的数据分析方法。在没有计算机的年代，数据分析需要投入大量的人力，统计结果也常常难免出错。计算机可以对大量数据进行最为客观的分析，其效率之高是前人难以想象的。无论是Cruden的《圣经》逐词索引，还是蔡庭干的《道德经》逐字索引，都是花费巨大的人力、物力方才完成的，而且人工制作索引很难保证不出差错。为了提高数据分析的效率和准确性，早期语言学家曾作过不懈的努力。早在计算机刚刚问世不久，人们就尝试用计算机来分析语言。1963年，Lamb & Gould（1963）就出版了Concordances from Computers一书，书中系统介绍了他们设计的词语索引软件，该软件在IBM 709/90/94计算机上运行，可以极大地方便语言研究，并提高分析的准确性。再如，据Lavid（2007：10）、Renouf（1984：23）和Renouf（2007）记载，早在上世纪80年代初期，Sinclair就组织伯明翰大学的一班人马大张旗鼓地建设Birmingham Corpus，投入巨资购买了当时只有极少数研究机构才可能拥有的大型计算机（mainframe computers）（大约有公用电话亭那么大），并花费70,000英镑购买了当时最先进的扫描仪。每逢创建词表这样的大型工程，整个伯明翰大学不得不停电为其让道。在对120万词的语料库进行检索时，研究者甚至不得不将语料库分成6份分别处理，最后再把结果合并起来。Sinclair是最早使用计算机分析语料库的研究者之一，这一点反映了Sinclair对计算机重要性的认识，也正是因为有了计算机，Sinclair才得以建成COBUILD语料库，开创了语言研究的全新视野。

笔者认为，语料库语言学的发展基于大量的数据，而大量数据的分析又离不开计算机技术，因而计算机技术对语料库语言学发展的重要性是不言而喻的。概括地说，与语料库语言学密切相关的计算机技术包括硬件技术和软件技术。硬件性能的提高和软件技术的发展，都是语料库语言学研究进一步深化的重要基础。硬件技术为语料库语言学的发展提供了可能，也使得我们对经验主义的追求在数据规模上得以超越前人，不再停留在费时、低效的田野调查水平上，这正是语料库语言学的区别性特征所在。而计算机软件技术，特别是以计算语言学研究为基础的自然语言处理技术，将为语料库语言学的发展提供强大的技术支撑，可以极大地丰富语言分析的维度和层面，远远胜过肉眼观察。未来的大数据分析技术更为语料库语言学的发展提供了无限的遐想。

诚然，我们应该牢记，计算机技术始终处于辅助和服务地位，语言研究才是我们真正的目的所在，在处理这一对关系时切不可本末倒置，一味地追求计算机技术而忽略对语言本体的关注。

2. 您如何看待语料库语言学与计算机技术之间的关系？

具体地讲，计算机技术在以下几个主要方面可以为语料库语言学提供服务：

1）语料的收集和整理。当今的计算机网络技术为文本的收集提供了极大的便利，人们设计了各种网络爬虫，可以快速从网络上采集到大量文本。WaC（Web as Corpus）技术的开发和应用更使我们能够对网络上采集来的文本加以定制。计算机扫描识别技术（即OCR技术）使我们能够把纸质版的各类书籍文档转成电子文本。语音识别技术的应用有利于大规模口语语料库的建设。从文本的整理看，利用文本整理软件，可以去除文本中各类噪音，从而保证文本加工的顺利完成。

2）语料的加工。计算语言学研究的不断深入使各类词性标注软件（part-ofspeech tagger）、句法剖析软件（parser）等工具成为可能，而且这些软件的准确率不断提高，有效保证了语料库语言学研究的效率和信度。随着自然语言处理技术的发展，近年来人们甚至开发了语义标注（semantic annotation）软件、情感分析（sentiment analysis）工具等，极大地方便了语言研究。

3）语料库的分析。语料库分析技术不仅包括较为传统的索引行分析、词表分析和主题词分析，同时还有近些年来开展起来的多维度分析（multidimensional analysis）、多因素分析（multifactorial analysis）、聚类分析（cluster analysis）等。这些分析方法无不依赖计算机技术。索引行分析已经由原来的词语检索逐渐发展到框架（frame）检索、构式提取（如Stefan Gries的collostruction）、类联接分析（如许家金、熊文新 2009）等，词表分析也由单词列表扩展到多词列表，主题词分析已经扩展到主题词串分析和词性码串分析，多维度分析和多因素分析则是依赖对文本的深度加工、标注和复杂的统计技术，甚至融入了文本分类和机器学习技术，这些都离不开计算机技术。近几年来，人们还将多维度方法用于网络文本的分析中，对计算机技术的需求越来越大。自动语义分析、情感分析更是在计算语言学最新研究成果的基础上发展起来的。

3. 您认为计算机技术在语料库发展过程中有过什么重要影响？

计算机技术在语料库语言学发展过程中起到了至关重要的作用。

首先，计算机技术催生了语料库语言学，使得语料库语言学得以从无到有。我们之所以认为前计算机时代的语言研究并非语料库语言学，是因为当时的田野调查数据不仅规模较小、取样不够科学，数据处理方法也相对原始。Sinclair等研究者借助计算机技术，创造了语料库语言学学科。在Sinclair（1991：1）看来，语料库语言学是一种崭新的语言观，这种语言观与（计算机）技术紧密相关（a new view of language and the technology associated with it）。计算机技术的介入，使我们可以同时观察到大量的语言事实，发现仅凭直觉无法预期的语言使用规律。因此，笔者认为，经验主义哲学是语料库语言学产生的哲学基础，而计算机技术则是语料库语言学产生的技术基础，两者缺一不可。语料库语言学是经验主义语言观与计算机技术结合的产物。没有计算机技术，语料库语言学就失去了可操作性。

计算机技术还是语料库语言学发展的推动力量。80年代之后，随着大规模集成电路这一硬件技术的突破，大型计算机很快被个人计算机取代，计算机迅速得到了普及，而且运算能力大大提高。到了90年代，计算机技术在语料采集、语料加工和语料分析中得到普遍应用，使语料库语言学学科得以快速前行。由此可见，计算机技术不仅促成了语料库语言学的产生，还极大地推动了语料库语言学的加速发展。纵观语料库语言学发展的简短历史不难发现，在计算机技术特别是自然语言处理技术得到快速发展后，语料库语言学得到了几乎同步的发展。笔者在Google Ngram Viewer中分别输入personal computers, corpus linguistics和world wide web，所得到的结果如图1所示：

从图1中可以直观地看到，个人计算机在70年代前后问世。语料库语言学几乎同时问世，并在短时间内得到了突飞猛进的发展。到了90年代，互联网开始逐渐进入大众生活，大量语言资源实现了网络化，更有力地推动了语料库语言学的发展。语料库语言学高度依赖计算机技术，而互联网的普及更使语料库语言学进入大数据时代，孕育着一系列新的变化。我们可以毫不夸张地说，计算机技术是语料库语言学得以产生的前提，也是语料库语言学得以发展的推动力。没有计算机技术，就没有语料库语言学。

图1. 语料库语言学与计算机技术的同步变化

4.请您结合自己的研究实践，谈谈计算机技术在语料库建设加工、语言学分析以及研究成果应用方面的作用。

在语料库建设与加工和语言学分析方面，所能涉及的最重要的计算机技术莫过于文本的标注。本人有幸参与了由文秋芳教授主持的“中国大学生英语口笔语语料库”（SWECCL）的建设。该项目于2002年开始，在语料库建设过程中我们曾得到桂诗春教授、何安平教授和英国伯明翰大学Susan Hunston教授的指导，并有机会向卫乃兴教授、李文中教授和濮建忠教授求教。

SWECCL包括口语和笔语两部分。在SWECCL建设初期，文秋芳教授领着我们进入了一间仓库，里面存放着成千上万盒录音磁带，记录着历年全国英语专业考试的学生口语录音，我们的任务是要从这些磁带中抽样，并将抽样后得到的样本逐一转写成文本，配以电子化语音文件，建成语料库。我们采用分层抽样和系统抽样相结合的方法，得到了几千盒磁带。在大规模转写开始之前，我们先组织几位同学对几十盒磁带进行了试转写，以发现转写过程中可能出现的问题。之后，我们邀请以上几位教授就转写方案和标注方案进行了研讨。几位教授都有丰富的语料库建设经验，研讨过程中给出了十分有益的建议，使我们少走了很多弯路。其中，给我留下最深印象的是标注问题。根据我们原先的计划，准备先组织人力对所有的录音磁带进行转写和校对，然后对得到的所有文本进行细致的错误标注（error-tagging）。我们甚至设计了一套完整的标注方案和错误分类体系，开发了计算机程序以方便标注（也就是在这一过程中我开始学习计算机编程）。然而，在研讨会上，桂诗春教授结合自己创建“中国学生英语语料库”（CLEC）的经验，指出错误标注不仅是一个耗时费力的过程，而且不同的标注者对错误的认定很难取得一致。Hunston教授更是不赞成错误标注，认为我们应该保持文本的原样，其他几位教授也提出了相同或相似的观点。现在回顾起来看，幸亏当时我们征求了几位专家的意见，否则我们会陷入错误标注的泥潭之中。我现在的观点是，对于口语语料库建设而言，语料库建设者的任务是将口语转写成文本，同时需要把文本与语音文件对齐，以方便使用者检索。至于标注问题，特别是错误标注问题，应该留给研究者自己去完成。毕竟，由于研究目的不同，不同研究者对错误的认识和分类也会大相径庭，语料库建设者不可能设计出一个可以满足不同研究目的的标注方案。总之，对文本的标注要十分慎重，还需要充分考虑研究的目的。

尽管我们当时并没有进行大规模的人工标注，但就在对几十盒磁带的试标注过程中，我们学会了标注的基本方法。在后来的研究中，我常常需要对文本中的某些语言特征进行标注，虽然此类工作十分辛苦，但每当完成一定量的标注任务，总会有一种说不出的满足感。基于对标注过程的深刻理解，我在后来的研究中设计了两款标注工具。其中一款叫Text Annotation Tool（TAT），可以由研究者自行设计简单的标注方案或复杂的层级标注方案，极大地方便了标注过程。我一直认为，研究人员最了解自己的需求，设计的工具在适用性方面远远胜过由计算机专业人员设计的工具。

本人设计的另外一款标注工具叫KWIC-based Annotation Tool（KAT），即基于索引行的标注工具。研究者先对文本进行检索，找出自己感兴趣的词语或结构，然后加载自行设计的标注体系，直接在索引行中对节点词进行标注，这对语言研究者十分有用。比如，认知语言学认为，一词多义是词语的常态。在汉语中，介词“中”除了常见的空间域语义外，还具有丰富的隐喻意义，如“在语言学中”、“在孤独中”、“在他们中”，其中的“中”分别表示“领域”、“心理状态”、“范围”等语义域。我们可以根据这些语义域，设计一个标注体系，然后在语料库中检索“在……中”，并按照不同语义场对这一构式进行统计和分析（见下图）。

图2.KWIC-based Annotation Tool

不仅如此，该软件还可以根据检索词语的语境相似性，对所有的索引行进行自动识别和标注，以方便语言研究。

基于自身的经验，笔者认为，在语料库技术的开发过程中，应该广泛征求研究者的需求，决不可闭门造车。

5.您觉得目前计算机技术在应对英语、汉语和双语语料库建设和研究方面的重点和难点有哪些？

大规模英语语料库建设早在上世纪60年代就开始了，发展到今天，不仅规模上大大领先其他语种，而且其加工深度也为其他语言所不及，在语料库建设理念上也具有引领作用，相关技术的开发很快扩展到其他语言。从语料库的规模看，网络技术的利用使得数亿词级的语料库接连问世。此前几十年里，伯明翰大学与柯林斯出版公司合作建成的“英语文库”一直是无可争议的最大的英语语料库，但现在比“英语文库”更大的语料库并不少见，如Mark Davis主持建成的当代美国英语语料库（COCA）等一系列语料库都具有相当的规模。网络语料库（Web as Corpus）技术的开发更使语料库的规模以几何倍数增长。WaCKy和SpiderLing等工具的推出和WaC研讨会的召开很快普及了这种技术。基于此，Sketch Engine研究团队开发了十几个语种的大型语料库，并进行了加工和标注，发布到SketchEngine平台上，供教师、学生、研究者、翻译人员等使用。他们把这些语料库称为xxTenTen Corpora，其中的xx代表语言（如frTenTen Corpus是法语语料库，zhTenTen Corpus是汉语语料库），而TenTen指语料库规模达到1010词级。基于以上现状，我们认为，语料库语言学已步入大数据时代，正孕育着一系列变化。

至此，语料库的规模已经不再是重点，更不是难点。有了大型语料库，接下来的问题当然就是语料库的加工和分析。

尽管Sinclair的干净文本原则被许多学者所推崇，但由于从生语料库中所能获取到的有价值信息十分有限，语料库的自动标注成为学界关注的重要问题，各国自然语言处理研究工作者尝试各种方法，努力提高词性标注的准确率，并在此基础上开发句法剖析系统、语义标注系统等，为语言教学、语言学研究甚至智能生活提供多种服务。然而，自从自然语言处理领域的主流方法由基于规则的方法过渡到基于统计的方法之后，标注的准确率虽然有了明显提高，但似乎已经达到了瓶颈阶段，很难取得更大的突破。由于词性标注是大规模语料库自动分析的重要基础，也是句法剖析和语义标注的前提，同时还与短语提取有着不可分割的关系，预计对不同语言进行词性标注这一项基础研究将成为计算机技术辅助语料库建设和语言研究中的一项重点工作，其目的自然是不断地提高标注的准确率。笔者一直认为，将基于规则的方法和基于统计的方法相结合，可以有效提高标注的准确率。同时，笔者十分认同李文中（2012）对标注的看法，对语料库仅进行有限标注，特别是要慎用汉语句法剖析等尚不十分成熟的技术。

双语语料库建设除了单语语料库建设中涉及的问题之外，还面临对齐（alignment）问题。虽然一些自动对齐工具已经取得了不错的效果，但对自动对齐结果的校对仍需投入大量人力。如何改进WaC技术，从互联网上自动获取双语文本，也将是双语语料库建设中的重点问题之一，计算机技术在其中责无旁贷。

在对大型语料库进行语言学分析方面，计算机技术的有效应用将面临重大难题。在笔者看来，如今的语料库虽然规模庞大，但大数据的基本特性之一——多样性，也在语料库中暴露无遗，这给语言学分析带来了极大的困难。如何按照语种、来源、语体等属性对庞杂的网络文本进行自动分类将是一大挑战。这一问题的解决需要自然语言处理领域的专家和语言学家的共同努力。除此之外，数据量大了，结果自然也就更复杂了。如何以概括形式将文本的各种特征科学地呈现出来，也将是我们面临的重大难题。或许，可视化技术在其中会起到重要作用。

6. 您最期待语料库分析技术在哪些方面有所突破？

作为一名语言研究者，笔者关注的自然还是如何对大型语料库进行有效的语言学分析。比如，Patrick Hanks对大型语料库进行分析，从中归纳和提取了英语动词的主要型式，比如将Birmingham beat Coventry City.一句中动词beat的用法进行概括，抽象出诸如[[Human1 | Human Group1 = Competitor (Winner)]] beat [[Human2| Human Group2 = Competitor (Loser)]]这样的型式（Hanks 2013：38）。如果这项工作中能够结合机器学习技术，可能会大大提高工作效率，也十分有利于语言研究的深入和辞书的编纂。

笔者对短语学理论深信不疑，但如何界定短语的边界，如何自动识别短语，如何对短语及其临近的各类词语进行范畴化（抽取各种类联接），以使得语料库语言学的研究结果超越词语层面而具有一定的范畴意义，这是笔者十分希望计算机技术能够解决的问题。很显然，这在更大程度上是一个语言学问题。只有语言学领域有了确定的标准和可操作的方案，计算机技术才能有所作为。

7. 您能给语料库研究初学者在计算机技术的学习方面提供一些建议吗？

在笔者看来，计算机技术十分重要，任何语料库语言学研究者都需要对计算机技术有一些基本了解。当然，这并不是说计算机技术对于语料库研究者来说是最重要的。恰恰相反，语料库研究者首先是语言学研究者，需要对语言问题具有高度的敏感性，否则就成了文本工匠。在处理文本时，我们注重的是文本的物理属性，而在分析文本时，我们关注的则是文本的意义和文本中的语言学现象。同时精通语言学和计算机技术是不太现实的，可能也是没有必要的。笔者反对工具至上，提倡语言学至上。

该项目优化的是主要部件的尺寸参数，所以优化的主要部件参数有主悬梁lad、主横梁ldh及主横梁上HI的长度dhi、主连杆lij、机械手末端执行器的长度lag1作为设计变量。

然而，建设一支语料库语言学团队则有所不同。笔者一直主张团队成员之间应该具有一定的共同性和互补性。共同性使得成员之间便于交流，但共同性太大了，就成了雷同。同样，互补性要求各成员各有所长，这样才会更容易产生新的思想。在语料库语言学团队中，人人都应该对计算机技术有所了解，但其中一部分人应该更加精通操作甚至能够编写计算机程序，团队中同时也应该有一些人更熟知语言理论、善于思辨，这样的合作才会更有意义。

8. 在大数据时代，语料库分析方法可能会发生哪些变化？

大数据时代的语料库分析方法可能会发生一些重要变化，我这里着重说三点。

首先，语料库的存储方式和检索方式会不同从前，这一点已经有所显现。此前，语料库是以光盘版或单机版形式存储的，可以拷贝，一般通过单机版软件工具检索。这样做的好处是我们可以对语料库进行多种个性化的、开放式的操作，但只适用于小型语料库。然而，语料库规模的扩大不仅占用大量的计算机磁盘空间，单机版软件时常还会无法加载大型语料库，甚至会出现系统崩溃的情况。在大数据时代，语料库将存储于云端，只要有网络，语料库就无处不在，因此我们不再需要拷贝语料库，也不再需要单机版的软件。当然，如何对云端语料库进行个性化的再加工和检索将成为一个新的问题。

大数据时代的语料库分析方法也必将发生变化。比如，随着语料库规模的扩大，检索到的索引行可能会成千上万，仍靠人工解读很难完成，而对索引行进行抽样势必造成数据浪费和遗漏。在这种情形之下，我们或许可以对索引行进行自动聚类，并将分析结果以直观的图形方式呈现出来，点击图形中的特定区域，可以激活或调取相关联的文本或语境。近年兴起的数据科学（Data Science）将在大型语料库分析中起到至关重要的作用。

大数据分析善于发现相关关系（correlation），但并不揭示因果关系（causality）。比如，我们可能会发现某种语言特征与另外一些语言特征具有共现（co-occur）关系，还会发现某些语言特征与另外一些语言特征之间则存在共变（co-vary）关系。大数据分析并不能告诉我们为何会有这些共现关系和共变关系。就如同Rayson, Leech & Hodges（1997）发现男性话语中更多使用定冠词the一样，至于男性为什么比女性更多使用定冠词，这一点不太容易解释。在大数据时代，数据的解读具有很大的挑战性。

Fries, P. 2010. Charles C. Fries, linguistics and corpus linguistics [J]. ICAME Journal 34: 89-119.

Hanks, P. 2013. Lexical Analysis: Norms and Exploitations [M]. Cambridge, MA.: The MIT Press.

Lamb, S. & L. Gould. 1963. Concordances from Computers [M]. Berkeley, CA.:Mechanolinguistics Project, University of California.

Lavid, J. 2007. To the memory of John Sinclair, Professor of Modern English Language [J].Estudios Ingleses de la Universidad Complutense 15: 9-12.

Leech, G. 1992. Corpora and theories of linguistic performance [A]. In Jan Svartvik, (ed.)Directions in Corpus Linguistics. [C]. Berlin: Mouton de Gruyter. 105-122.

Rayson, P., G. Leech & M. Hodges. 1997. Social differentiation in the use of English vocabulary:some analyses of the conversational component of the British National Corpus [J].International Journal of Corpus Linguistics 2(1): 133-152.

Renouf, A. 1984. A new specialized corpus: EFL materials [J]. ICAME News 8: 22-23.

Renouf, A. 2007. Corpus development 25 years on: From super-corpus to cyber-corpus [A]. In R.Facchinetti. (ed.). Corpus Linguistics 25 Years On [C]. Amsterdam: Rodopi. 27-49.

Sampson, G. & D. McCarthy. 2004. Corpus Linguistics: Readings in a Widening Discipline [C].London: Continuum.

Sinclair, J. 1991. Corpus, Concordance, Collocation [M]. Oxford: OUP.

蔡廷干，2014，《老解老》摘登 [J]，《语料库语言学》（2）：81-90

李文中，2012，语料库标记与标注：以中国英语语料库为例，《外语教学与研究》（3）：336-345。

许家金、熊文新，2009，基于学习者英语语料的类联接研究：概念、方法及例析[J]，《外语电化教学》（3）：18-23。

通讯地址：100089 北京市北京外国语大学中国外语教育研究中心