胡弘思,姚天昉
(上海交通大学 计算机科学与工程系,上海 200240)
基于维基百科的双语可比语料的句子对齐
胡弘思,姚天昉
(上海交通大学 计算机科学与工程系,上海 200240)
该文提出了一种从维基百科的可比语料中抽取对齐句子的方法。在获取了维基百科中英文数据库备份并进行一定处理后,重构成本地维基语料数据库。在此基础上,统计了词汇数据、构建了命名实体词典,并通过维基百科本身的对齐机制获得了双语可比语料文本。然后,该文在标注的过程中分析了维基百科语料的特点,以此为指导设计了一系列的特征,并确定了“对齐”、“部分对齐”、“不对齐”三分类体系,最终采用SVM分类器对维基百科语料和来自第三方的平行语料进行了句子对齐实验。实验表明:对于语言较规范的可比语料,分类器对对齐句的分类正确率可达到82%,对于平行语料,可以达到92%,这说明该方法是可行且有效的。
句子对齐;可比语料;维基百科;SVM
在自然语言处理中,对齐是指从互译的不同文本中找出互译片段的过程[1]。对齐的单位包括篇章、段落、句子、短语、单词等。句子对齐(Sentence Alignment)就是寻找两篇文本中互为翻译的句子对之间关系的一类问题[2]。许多应用如机器翻译、复述生成、跨语言查询扩展等都需要大量双语句对来支持处理。对于大规模语料库,语句的手工对齐是不现实的,近年来人们一直在研究用计算机实现自动对齐[3]。
然而,对于构建大规模双语句对语料库的目标来说,首先就需要一个大型的、由源语文本和从源语文本翻译的译语文本构成的平行语料库(Parallel Corpus)[4]。……