姜志祥,叶 青,傅 晗,张 帆
(中国航天科工集团第二研究院 七〇六所,北京 100854)
文本自动摘要方法通常可分为抽取式摘要和生成式摘要两种。抽取式方法在理解源文本语义的基础上,利用词库中的单词,将源文本中重要的句子和段落组合成较短的文本,生成摘要。由于抽取式摘要主要考虑单词的词频等特性,并不包含语义信息,所以无法完整表达文本的语义信息。生成式摘要方法利用自然语言处理算法进行转述、同义替换、句子缩写等操作来获得文档的摘要。生成式摘要的质量更高,但难度较大、复杂性较高。
本文针对生成式摘要方法中基于序列到序列(sequence-to-sequence,seq2seq)模型存在准确率不高、词语重复、训练时间长等问题,提出了一个改进的模型。在原序列到序列结构的基础上加入指针生成网络以及自注意力机制,提升了模型摘要准确率,同时引入复制机制,以解决未登录词(out of vocabulary,OOV)问题,利用输入供给(input-feeding)方法来避免摘要中出现重复短语问题,使用自注意力(self-attention)来代替传统的循环神经网络(RNN),提升了模型训练的并行性,消除了卷积计算,减少了训练时间。
抽取式摘要方法分为无监督抽取式方法和有监督抽取式方法。
抽取式摘要源于词频-逆文档词频(TF-IDF)算法,它根据文章中的词语的权重来获得摘要。Google的Mihalcea等在网页排序算法的基础上提出了基于图的TextRank算法,该算法通过构建节点连接图,将句子的相似度作为图中边的权重值,计算得到排名高的句子组成摘要,提升了抽取式方法的准确率。……