基于深度学习的文本匹配研究综述

曹帅

(四川大学计算机学院，成都 610065)

0 引言

自然语言处理是人工智能领域的重要分支，其中包含了很多研究方向：文本分类、信息抽取、机器翻译和问答系统等。其中文本匹配是基础并重要的研究方向，其在问答系统、信息检索和对话系统等很多领域都发挥着决定性的作用。文本匹配在不同场景下的含义略有不同，例如在内容推荐上实质的任务为长文本之间的语义匹配，在这种情况通过使用主题模型，来获取到两个长文本的主题分布，再通过衡量两个多项式分布的距离去衡量它们之间的相似度；又比如在检索式问答系统中，则是通过对比问题和答案之间的相似度来召回最为相关的答案返回给用户。

文本匹配的发展经历着从传统方法到深度神经网络方法的演变。传统方法中主流的是BOW、TF-IDF、BM25等算法，它们在搜索引擎的原理中使用较为广泛。这些算法多为解决词汇层面的匹配问题，如BM25算法通过计算候选项对查询字段的覆盖程度来得到两者之间的匹配得分，得分越高的网页则匹配度越高。而类似TF-IDF这种方法，通过建立倒排索引可使查询变得很快，但实际上解决的只是词汇层面的相似度问题。这些方法实则上有很大的局限，解决不了更深层的语义或知识缺陷。而之后出现的基于深度学习的方法则在一定程度上开始解决这些问题。

研究者将介绍目前在深度学习中主流的三种文本匹配算法：基于向量相似度计算的方法、基于深度神经网络匹配的方法和基于预训练模型匹配的方法。……