基于递进式半知识蒸馏的神经机器翻译

周孝青，段湘煜，俞鸿飞，张 民

(苏州大学 计算机科学与技术学院，江苏 苏州 215006)

0 引言

机器翻译包括统计机器翻译和神经机器翻译。近年来，神经机器翻译(neural machine translation，NMT)系统[1-5]取得了巨大成功，成为机器翻译的主流方法。神经机器翻译模型的性能在很大程度上受限于神经网络参数规模。神经机器翻译模型参数过多也会存在一些问题，例如，模型的存储空间要求变高、优化时间变长等。这种情况限制神经机器翻译系统在手机等小型设备上的应用。

模型压缩是解决此类问题的一种有效方案。现有的压缩方法有剪枝、量化、低精度和知识蒸馏等。剪枝是通过移除对目标函数影响小的权重[6]，或者对隐藏层单元进行阈值处理[7]。知识蒸馏是通过引入教师网络(teacher network)的相关知识或信息优化学生网络(student network)的训练[8]，其中教师网络模型复杂但性能优越，学生网络精简且复杂度低。目前神经网络压缩工作包括模型参数压缩和模型存储压缩两类，前者的目标是减少模型参数，后者是减少存储。模型参数压缩有剪枝、量化、降低精度和知识蒸馏等方法。在深度神经网络压缩方法中，剪枝是基于一定的准则对权重或神经元进行剪枝;剪枝准则主要包括近似海森权重剪枝[6]和基于值的大小剪枝[9];以及移除神经元的方法[10-11]。深度神经网络压缩的其它方法包括稀疏正则化[12]、权重矩阵的低秩分解[13-16]、权重共享[17-18]和权重的二值化[19]。在机器翻译领域中，See等人提出基于权重的幅值进行修剪或按权重的类别进行剪枝[12]；……