基于领域自适应方法的统计机器翻译模型的优化研究

杨玲

（武警工程大学,陕西 西安710086）

1 概述

把一种语言转变成另一种我们想要的语言这一过程称为机器翻译[1]。其中比较常用的方法有基于记忆的翻译方法、基于实例的翻译方法、基于统计的翻译方法、基于神经网络的翻译方法。目前,基于统计的机器翻译模型被称为这一领域的主流方法,是由Brown[1]等人提出,该模型可分为翻译模块、语言模型训练模块、解码模块。在进行翻译模型训练时需要进行词对齐,由于统计机器翻译模型在训练词对齐模型时未对训练集进行分类训练,会影响系统的翻译性能。因此,本文提出运用最大熵分类器及领域自适应方法对统计机器翻译模型进行优化,旨在进一步改善模型的翻译性能。

2 统计机器翻译模型的优化策略

传统统计机器翻译方法的系统原理是,用已对齐好的大规模平行语料训练词对齐模型,然后基于此词对齐模型建立翻译模型和语言模型并训练模型参数。但是训练模型的平行语料来自不同领域,有些词在不同领域意思也不用,这会影响模型参数的准确度,基于此建立起的翻译模型和语言模型精确度也会下降,由此得到的译文不够准确。为解决这一问题,我们运用领域自适应方法提高统计机器翻译模型的翻译精度,即首先应用最大熵分类器的方法对平行语料进行筛选,这一步保证了训练词对齐模型的语料符合标准,从而确保了模型参数的精确度。接下来可以运用LDA 模型对双语平行语料进行主题提取,并得到每个主题对应的语料。……