基于IF-PGN模型的短文本摘要生成 ①

孙 岩， 李 晶

(佳木斯大学信息电子技术学院，黑龙江 佳木斯 154007)

0 引 言

近年来，随着深度学习模型的发展以及在自然语言处理领域中的广泛应用，自动文本摘要技术受到了广泛的关注[1]。文本摘要技术主要分为两种类型：抽取式和生成式[2]，抽取式摘要是通过给文档中的句子按照重要性打分，然后从文档中选取得分高的句子组成摘要，生成式摘要是通过对文档内容进行理解来概括出主要内容[3]。由于生成式摘要与人类撰写的摘要更为相似，越来愈多的学者正把注意力从抽取式摘要转移到生成式摘要上。

在摘要生成任务中，其中序列到序列模型是被应用最广泛的模型，并取得了较好的成果。该模型首次是被Bahdanau等[4]提出并应用于机器翻译。Nallapati等[5]将序列到序列模型应用于文本摘要任务中，在解码器阶段采用分层注意力机制和词表限制解决了在训练过程中出现罕见或不可见的单词的问题。See等[6]在Nallapati工作的基础上引入了指针网络，可以选择是从原文复制单词或者从词汇表中生成单词，解决了OOV(Out-Of-Vocabulary)词汇问题。

指针生成网络虽然提高了摘要的准确性和OOV单词的处理能力[7]。但是它不能完全利用好原文的信息，会受到许多无用信息的影响，导致复制概率不够准确，最终生成的摘要不够连贯且不能包含原文全部信息。本文提出一种信息过滤-指针生成网络(Information Filtering-Pointer Generation Network，IF-PGN)模型，以对输入文本信息进行筛选来避免冗余信息干扰问题，同时让指针网络的复制概率更加准确。……