计算机算法类资料的中英文智能翻译

陈家乐，张艳玲

(广州大学 计算机科学与网络工程学院，广东 广州 510006)

0 引 言

自2014年以后，端到端的神经机器翻译(end to end neural machine translation)质量较统计机器翻译有了显著提升[1]，端到端的训练使得深度学习方法区别于传统机器学习方法，成为了自然语言处理的强大工具[2]。Google、有道、百度等商用在线机器翻译系统核心技术均由统计机器翻译转型为神经机器翻译。端到端的编码器-解码器(Encoder-Decoder)[3]模型结构成为神经机器翻译的主流模型[4]。Google首次提出基于Encoder-Decoder结构的seq2seq[5](sequence to sequence)模型。其基本工作原理就是编码器将输入序列转换为中间向量C，解码器将中间向量C转换为输出序列。seq2seq在编码器和解码器中均使用循环神经网络(recurrent neural networks，RNN)，理论上RNN可以解决长句远距离信息依赖的问题[6]，但在实际应用时反向传播过程中存在梯度爆炸和梯度消失的问题。梯度爆炸会导致模型无法收敛；梯度消失会导致模型捕捉不到长距离项的依赖信息。梯度爆炸一般可以使用梯度裁剪或权重正则化处理。梯度消失目前最好的处理方法是使用门控单元来构建RNN。其中，应用最广的门控单元是长短时记忆(long short-term memory，LSTM)和门控循环单元(gated recurrent unit，GRU)[4]。虽然应用门控单元使得RNN能有效捕捉到长距离项的依赖信息，但是由于句子中任意单词对生成某个目标单词的影响占比是相同的，所以即使采用了门控单元，seq2seq模型依然在长句的翻译质量上显著下降。为了优化长句的翻译质量，Bahdanau等人[7]于2014年首次将注意力机制应用于NLP领域，翻译效果有了进一步提升。谷歌团队[8]抛弃RNN和CNN等网络结构，仅仅采用注意力机制进行机器翻译，在翻译质量上取得了显著的效果，因此注意力机制成为了神经机器翻译中的研究热点。……