基于ELMO的低资源神经机器翻译

王浩畅,孙孟冉,赵铁军

(1.东北石油大学计算机与信息技术学院,黑龙江 大庆 163318; 2.哈尔滨工业大学计算机科学与技术学院,黑龙江 哈尔滨 150001)

0 引 言

近年来，随着深度学习的快速发展，在机器翻译(Machine Translation， MT)领域采用了许多深度学习算法[1-3]，并取得了很好的效果。这使机器翻译领域内的研究方向从基于统计的机器翻译转向了基于深度学习的机器翻译，被称为神经机器翻译(Neural Machine Translation, NMT)。基于深度学习技术的机器翻译取得很好效果的前提是拥有一个大规模的平行语料库。然而有许多稀缺语言或者特定领域内的机器翻译任务很难构建大规模平行语料库，翻译效果会严重降低。

采用深度学习模型的机器翻译之所以会效果很好，是因为它能从平行语料中提取语句的关键信息，并进行向量化表示。在训练过程中，平行语料的规模决定了模型能否提取更多的语句信息，平行语料规模越大，提取的语言信息就越多，翻译的效果就越好，反之，翻译效果就越差。随着预训练模型的发展，研究人员相继提出了多种预训练模型，如：Word2Vec[4-5]、ELMO[6]、GPT[7]、Bert[8]等。由于预训练模型采用庞大的语料进行自监督训练，使得模型中包含了大规模语料的词法、句法、语法信息，各种自然语言处理任务在使用预训练模型的情况下都取得了很好的效果，预训练模型在自然语言处理领域中变得举足轻重。

本文针对在低资源情况下的神经机器翻译的缺陷，提出一种基于ELMO预训练模型的低资源机器翻译方法。……