基于自注意力机制预训练跨蒙汉语言模型

苏依拉 高 芬 牛向华 仁庆道尔吉

(内蒙古工业大学信息工程学院 内蒙古 呼和浩特 010080)

0 引 言

机器翻译是人工智能领域的重要研究课题之一，主要目标是研究如何使用计算机实现一种自然语言到另一种自然语言的自动转换[1]。针对蒙汉机器翻译中平行语料资源稀缺的问题，提出利用单语语料[2-8]训练来提高蒙汉机器翻译的质量。而实现基于单语语料库训练的蒙汉机器翻译系统最重要的基础就是需要一个翻译性能良好的初始化翻译模型，而初始化的翻译模型是基于字典的翻译系统和语言模型相结合才能实现的，故预训练一个表现较好的语言模型就显得尤为重要。

语言模型这个概念最早出现在统计机器翻译中，是统计机器翻译技术中较为重要的概率模型之一。通俗而言，语言模型就是一串词序列或者一句话的概率分布，其作用就是可以为一个长度为n的句子计算其存在的可能性的概率分布p。在统计机器翻译中常用的是N-gram语言模型，N表示n元模型，当n选取较大时，就会产生数据稀疏问题，从而导致估算结果出现较大的偏差。因此，实际中最常用的是三元模型，也就是Tri-gram模型。为了缓解N-gram语言模型导致的数据稀疏的问题，也由于计算机技术的快速发展，现在有很多研究者专注于预训练神经网络语言模型的研究。实际上，语言模型就是依据上下文信息去预测下一个词，因为不需要人工标注的数据，所以预训练语言模型，其实就是从大量的单语语料中，学习到比较丰富的语义知识的表示。……