一种适用于机器翻译的汉语分词方法

奚 宁，李博渊，黄书剑，陈家骏

(南京大学 软件新技术国家重点实验室， 江苏 南京 210093；南京大学 计算机科学与技术系， 江苏 南京 210093)

1 引言

获取双语词对齐信息是构建统计机器翻译系统的一项重要工作。在汉英机器翻译系统中，我们首先需要对中文句子进行分词，以适应词对齐的需求。目前学术界对中文分词的研究已经取得了很大进展，从单语角度提出的衡量分词质量的F-score已经达到一个较高的水平，并且存在许多成熟的中文分词模型和工具可供使用。然而，已有研究表明，衡量单语分词质量的F-score与机器翻译系统的质量之间并无明显关联[1-2]，即从单语角度而言最优的分词结果对机器翻译而言未必是最合适的。因此，寻找更适合于统计机器翻译的中文分词方法，已经成为汉语相关的统计机器翻译研究工作中的一个新方向[1-2]。

传统的分词模型通常是在人工分好词的单语语料上训练得到的。该模型虽然有效利用了单语知识，但它却忽略了一个重要事实——异种语言间的词汇意义是非同构的。如果我们用它对双语训练语料进行分词，就有可能导致分词结果中的汉语词与英文单词不能形成一一对应，进而影响词对齐和翻译的质量。

Ma et al.[3]和Paul et al.[4]试图仅从训练语料的基于字的对齐信息中学习更适合统计机器翻译的“分词”。这种方法的性能受限于基于字的对齐的质量，并且在学出的分词结果中存在大量字符序列不能被识别成词(即召回率较低)的现象，进而会对词对齐和翻译过程带来新的副作用。……