基于句子级上下文内容的神经机器翻译方法

杨 娇

(商洛学院 人文学院，陕西 商洛 726000)

0 引言

基于短语的统计机器翻译(phrase-basedstatistical machine translation，PBSMT)[1-2]和神经机器翻译(neural machine translation，NMT)[3-4]在翻译语境中学习主题信息引起了广泛的关注。尽管取得了这样的成功，现有的方法大多数还是围绕着提前学习每个单词的固定主题分布，以在看不见的源语句中模拟单词主题。在实践中，词的主题往往根据句子的上下文动态变化，而不是静态的预先训练的分布。换言之，单词主题在很大程度上依赖于它们的句子级上下文，甚至一个单词在一个句子中可以有多个主题。然而，现有的NMT结构只关注与下一个目标词相关的源词级上下文信息，而忽略了基于句子级上下文的主题信息。

因此本研究以句子级上下文为研究对象，对源话题信息进行建模，并设计了一个话题关注度模型，将学习到的潜在话题表示融入到已有的NMT结构中，以提高目标词的预测能力。为此，首先通过卷积神经网络(convolutional neural networks，CNNs)的一个变体，将源语句上的源主题信息表示为潜在主题表示(latent topic representations，LTRs)[5]。然后根据单词上下文和主题上下文学习，用于计算用于预测目标单词的额外主题上下文向量。本文的创新点在于本研究的方法是动态而不是静态地学习每一个源语句的LTR，并通过主题注意而不是简单的向量连接将LTR集成到解码器中，同时对源词和译文进行联合而不是单独的修改。

1 CNN模型变体

在本研究中，主要采用了一种CNN变体，它基于句子级上下文捕获源主题信息，本节将具体介绍该CNN的网络结构，如图1所示。……