基于深度学习的中文短语复述抽取技术研究

颜 欣，张 宇，潘晓彤，刘作鹏，刘 挺

(1. 哈尔滨工业大学 社会计算与信息检索研究中心，黑龙江 哈尔滨 150001)(2. 北京小米松果电子有限公司 人工智能部，北京 100085)

0 引言

中文的自然语言变化多样，很多人们日常交流或文字表达的句子，都能通过替换细粒度语言单元来达到相同效果，这就是细粒度级复述的一个重要应用场景，而短语就是一种细粒度语言单元。

复述(paraphrase)即使用不同的文本表达表示相同的语义信息，是自然语言多样性的一种体现，也是自然语言处理中的最基本、最核心的任务之一[1]。根据文本粒度的不同，可以将复述研究分为三类: 词汇级复述研究、短语级复述研究以及句子级复述研究，而从任务角度又可以划分为抽取式、识别式和生成式。优质的复述资源，能够应用在很多下游任务中以提升效果。

传统方法大多基于双语平行语料，通过组块分析以及共现概率获取短语复述。然而这类传统方法的相关研究早已遇到瓶颈，因为对齐错误或者外文翻译错误都会导致抽取到错误的短语复述，同时由于组块分析的局限性，只是将大量的连续词串作为短语，会识别出大量的非语言单元。时下深度学习技术兴起，为解决这类问题带来了新方式，本文提出了一种新的抽取短语复述的框架，无须双语语料，可直接从单语语料中识别短语并抽取更为精确的短语复述。

1 相关工作

国内外一直有研究人员在复述领域进行相关研究工作。Barzilay R等人[2]利用同一本小说的多个平行英文翻译构造了单语平行语料，并根据该语料抽取单词和短语的复述资源。……