面向长答案的机器问答研究

朱运昌，庞亮*，兰艳艳，程学旗

(1.中国科学院 计算技术研究所 中国科学院网络数据科学与技术重点实验室,北京 100190;2.中国科学院大学, 北京 100049)

0 引言

随着互联网的快速发展，基于关键词的传统搜索引擎由于准确率低、存在冗余信息等缺陷,而机器开放域问答系统允许用户使用自然语言问句进行信息查询,能够对用户输入的问句进行理解给出更精确的答案。因此开放域问答系统已成为自然语言处理中的重要研究课题。特别是自新冠肺炎疫情暴发以来,国家各级部门相继出台了一系列惠民惠企政策,为了更好地帮助各行业从众多繁杂的政策中准确找到与自己相关的信息,政策型机器开放域问答受到了极大关注。

作为机器开放域问答中的重要技术,抽取式阅读理解的形式为给定一篇文档和一个问题,模型从文本中找出一个片段去回答此问题。得益于深度学习的快速发展,Match-LSTM[1]、BiDAF[2]和QANet[3]等模型纷纷涌现,抽取式阅读理解已经取得了长足进步。特别是BERT[4]出现之后,机器在SQuAD[5]等数据集上的表现甚至超过了人类。然而,现有的抽取式阅读理解模型和数据集大多只关注如命名实体之类的短答案抽取,但政策型问答中的答案却通常是长度很长的政策内容,这些长答案往往也对应着更长的输入文档。面对长文档长答案的场景,现有模型往往会遇到输入长度超越极限和长答案抽取不完整的挑战。

首先,任何模型实际中都存在一个输入文本长度的极限,当输入文本长度超过这个极限后,模型就无法正常的工作。……