基于注意力与神经图灵机的语义关系抽取模型

2018-08-27 10:53:56张润岩孟凡荣
计算机应用 2018年7期
关键词:特征模型

张润岩,孟凡荣,周 勇,刘 兵,2

(1.中国矿业大学 计算机科学与技术学院,江苏 徐州 221116; 2.中国科学院 电子研究所,北京 100080)(*通信作者电子邮箱mengfr@cumt.edu.cn)

0 引言

语义关系抽取(或语义关系分类)任务是指在给定一段文字并标记两个实体词的情况下,给出两个实体词的语义关系。关系抽取是自然语言处理(Natural Language Processing, NLP)系统的重要组成部分,准确的语义关系抽取对句意理解有十分重要的作用,理解句子核心词之间的关系是把握句子整体含义的重要一步,因此,近些年语义关系抽取越来越受到国内外研究学者的关注。

机器学习方法在关系抽取上的高效性已被多次证明,许多传统模型都致力于机器学习和特性设计上,这些模型通常依赖于一个完备的NLP流水线,同时还需要额外的手工特性或内核[1-4]。而近年来,深度学习方法被广泛应用于关系分类任务,它能够在保证准确率的前提下大幅减少人为调整的工作。如今有许多基于深度学习的神经网络模型用于该任务,如卷积神经网络(Convolutional Neural Network, CNN),循环神经网络(Recurrent Neural Network, RNN),它们有些使用最短依赖路径或依赖子树[5-7],而另一些则减少预训练的操作,直接输入原始语句来学习隐含特征[8-9]。这些方法都已被证明有效,但它们会平等地考虑句中每个词,因而不可避免地会被无实意的词所干扰。

针对这一问题,一些研究提出注意力机制与神经网络相结合的方法[10-12],该机制使模型能够自动关注句子的核心词,给予其更高的价值权重。如例句“The news brought about a commotion”,句中“brought(引起)”一词对“Cause-Effect(因果)”关系有决定性作用,因此在整个句子的信息时,模型会自动为“brought(引起)”词分配很高的权重,以加强其对关系标签的预测能力。……

登录APP查看全文

猜你喜欢
特征模型
一半模型
重尾非线性自回归模型自加权M-估计的渐近分布
如何表达“特征”
不忠诚的四个特征
当代陕西(2019年10期)2019-06-03 10:12:04
3D打印中的模型分割与打包
FLUKA几何模型到CAD几何模型转换方法初步研究
线性代数的应用特征
河南科技(2014年23期)2014-02-27 14:19:15
一个相似模型的应用