基于最大熵短语重排序模型的特征抽取算法改进

孙 萌，姚建民，吕雅娟，姜文斌，刘 群

(1. 中国科学院 计算技术研究所 智能信息处理重点实验室, 北京 100190;2. 苏州大学 计算机科学与技术学院, 江苏 苏州 215006)

1 引言

基于短语的统计机器翻译是当前机器翻译主流方法之一，翻译的基本单元从词过渡到短语，使得连续的词串在翻译过程中作为一个整体进行处理，解决了词的上下文依赖问题。翻译的时候将输入的句子与短语词典进行匹配，选择最好的短语划分，同时将得到的短语译文重新排序，得到最优的译文。

其中，短语层次上重排序是基于短语机器翻译的一个重要研究问题。

许多系统(如Pharaoh*http://www.isi.edu/licensed-sw/pharaoh/, 丝路*http://www.nlp.org.cn/project/project.php?proj_id=14) 采用扭曲模型概率调整目标语言短语之间的次序，每个目标短语的扭曲概率可以根据当前目标短语的源语言短语的起始位置与前一个目标短语的源语言短语最后位置之间的距离计算。显然这种简单的基于惩罚长度的策略[1]会影响短语重排序模型的正确率。将句法知识引入机器翻译系统，可以有效地改进重排序的正确率[2-3]。其中Wu[4]提出的括号转录文法在机器翻译领域也得到了广泛的应用。但是由于括号转录文法并没有包含语言知识，因而不能很好地预测两个相邻目标短语的组合次序。Xiong et al.[5]在括号转录文法的基础上利用双语短语的边界单词作为特征进行最大熵训练得到重排序模型，并通过计算相邻双语短语的特征获得在保序和逆序下的概率，可以更好地预测相邻短语之间的次序，从而有效地改善了翻译系统的翻译结果。……