丰富特征提取的句子语义等价识别研究

刘高军，寇 婕，段建勇，霍卫涛，王 昊

1(北方工业大学 信息学院，北京 100144) 2(北方工业大学 CNONIX国家标准应用与推广实验室，北京 100144) 3(新东方教育科技集团 AI研究院，北京 100080)

1 引 言

句子等价语义识别(SSEI：sentence semantic equivalence identification)作为语义匹配任务，是自然语言长期需要探讨的问题之一.问答系统的研究一般分为问句理解、问题分类和答案抽取3个部分，而这三者都离不开句子相似度计算.句子语义等价识别任务主要研究两个句子之间相似性的匹配度，是自然语言处理任务中的基础任务之一.虽然目前已经可以利用自然语言处理技术构建多种多样的问答系统，但由于句子相似度计算效果不理想等问题，这些问答系统所体现的配对效果并不是很强.所以判断两个句子之间是否具有相似度，成为了目前问答系统中不可避免的基础任务.随着自然语言网络模型的不断发展，深度学习模型成为目前最为典型发展方向.1993年Bromley等人[1]提出第一个框架结构“siamese architecture”.该框架结构由两个结构相同且共享权值的子网络构成，且输入的两个句子可以通过RNN/CNN或者LSTM进行编码，所以这个框架中两个句子会有相同的词嵌入信息；2015年Bowman等人[2]提出两个句子向量单独匹配的方法，该方法的优点在于可以分享参数加速模型训练，缺点在于两个句子缺少明确的交互，所以会导致很多信息的缺失.为了解决这个问题，2016年Wang等人[3]提出一个新的结构“matching-aggregation”，该结构中两个输入的句子之间有交互作用，例如上下文句子之间的……