融合动态卷积注意力的机器阅读理解研究

2023-07-21 07:50:22吴春燕黄鹏程刘知贵张小乾
计算机技术与发展 2023年7期
关键词:机制文本模型

吴春燕,李 理,黄鹏程,刘知贵,,张小乾

(1.西南科技大学 计算机科学与技术学院,四川 绵阳 621000;2.西南科技大学 信息工程学院,四川 绵阳 621000)

0 引 言

机器阅读理解(Machine Reading Comprehension,MRC)要求机器阅读并理解人类自然语言文本,在此基础上,回答跟文本信息相关的问题[1]。该任务通常被用来衡量机器理解自然语言的能力,可以帮助人类从大量文本中快速聚焦相关信息,降低人工获取信息的成本。作为自然语言处理(Natural Language Processing,NLP)的研究方向之一,机器阅读理解近年来已受到工业界和学术界广泛的关注。

机器阅读理解模型的研究历史可以追溯到20世纪70年代[2],当时的研究人员已经意识到机器阅读理解可以作为测试计算机语言理解能力的一种方法。其中最具代表性的是1977年Lehnert提出的QUALM问答程序[3],该程序专注于实用主义,为机器阅读理解提供了发展的远景。然而由于其规模小、领域特殊等限制,使得该系统无法推广到更广泛的领域。受限于当时数据集和技术的发展,这一领域的研究进展缓慢。直到二十世纪初,随着社会的发展和进步,一些用于阅读理解的大规模数据集相继被提出,如Mctest[4]、Stanford Question Answering Dataset(SQuAD)[5]、RACE[6]等,这些数据集使得研究者们能够用深层神经网络结构模型解决阅读理解任务[7]。

目前机器阅读理解主要采用的深度学习技术包括卷积神经网络(Convolutional Neural Networks,CNN)、循环神经网络(Recurrent Neural Network,RNN)和注意力机制。其中CNN擅长提取局部特征;注意力机制旨在关注全局结构特征;RNN则在序列建模中表现优异。然而,目前的工作仅聚焦在使用RNN和注意力机制对文本进行全局建模,忽略了对文本局部结构的捕获,导致模型对文本理解不足,回答问题不准确。……

登录APP查看全文

猜你喜欢
机制文本模型
一半模型
重尾非线性自回归模型自加权M-估计的渐近分布
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
电子制作(2018年18期)2018-11-14 01:48:06
自制力是一种很好的筛选机制
文苑(2018年21期)2018-11-09 01:23:06
3D打印中的模型分割与打包
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
破除旧机制要分步推进
中国卫生(2015年9期)2015-11-10 03:11:12
注重机制的相互配合
中国卫生(2014年3期)2014-11-12 13:18:12
打基础 抓机制 显成效
中国火炬(2014年4期)2014-07-24 14:22:19