基于句法的统计机器翻译模型与方法

刘 群

(中国科学院 计算技术研究所 中国科学院 智能信息处理重点实验室,北京 100190)

1 引言

自从IBM在20世纪90年代初正式提出统计机器翻译方法以来，统计机器翻译的发展经历了一个从沉寂到复苏再到迅猛发展的过程。在2003年前后，基于短语的统计机器翻译方法已经成熟，并超越了早前IBM提出的基于词的方法。但基于短语的方法缺陷也是很明显的： 泛化能力差，短语中的词不能被相近的词替换；调序能力差，短语内调序还可以，但短语间调序和更远距离调序效果都不好。因此，研究者普遍意识到需要针对句子结构进行直接建模，才有可能解决上述问题。为此出现了各种各样的基于句法的统计机器翻译方法。

基于句法的统计机器翻译模型可以分为两大类： 第一大类是形式上基于句法的模型。这类模型利用了某种形式的句子结构，但这种结构是通过语料库学习自动获得的，而不是语言学意义上的句法结构；第二大类是语言学上基于句法的模型，这类模型需要利用语言学意义上的句法结构。第二大类又可分为三小类： 第一小类是树到串模型，这类模型只在源语言端利用语言学意义上的句法结构；第二小类是串到树模型，这类模型只在目标语言端利用语言学意义上的句法结构；第三小类是树到树模型，要在源语言端和目标语言端同时利用语言学意义上的句法结构。

我们从2006年开始，在基于句法的统计机器翻译模型方法方面开展了一系列深入的研究工作，提出了三个不同形式的翻译模型： 最大熵括号转录语法模型、树到串模型*为了简明：从此以下，“树到串模型”特指“短语结构树到串模型”。……