融合预训练模型和注意力的实体关系抽取方法

李智杰，韩瑞瑞，李昌华，张 颉，石昊琦

西安建筑科技大学 信息与控制工程学院，西安710055

知识图谱[1]一词在2012 年被Google 公司首次提出，它是一个结构化的语义知识库，可以组织海量信息，用于描述客观世界中的概念以及它们之间存在的关系。知识图谱不仅在语义搜索、深度问答等通用领域发挥着重要作用，在金融、医疗、城市规划等垂直领域中也有着广阔的应用前景[2]。知识图谱的构成单位是关系三元组，因此从非结构化文本中抽取出关系三元组对构建知识图谱十分重要。

实体关系抽取任务的提出就是为了解决关系三元组抽取问题。例如，在句子“姚明出生于上海”中，可以提取出关系三元组（姚明，出生于，上海），其中“姚明”和“上海”分别称为头实体和尾实体，“出生于”称为这两个实体之间的关系。实体关系抽取任务最初采用基于规则和模板的方法[3]，由于人工和时间等因素的限制，逐渐发展为基于统计机器学习的方法[4]。近年来，由于深度学习发展迅速，基于深度学习构建实体关系抽取模型已成为信息抽取领域新的研究方向[5]，这一方向认为抽取任务应被划分为流水线方法和联合学习方法，这两种方法都基于卷积神经网络（convolutional neural networks，CNN）、循环神经网络（recurrent neural network，RNN）、长短时记忆网络（long short-term memory，LSTM）这三种网络架构进行组织和扩展[6]。流水线方法是在已经抽取出实体的基础上，对每个实体对之间的关系进行分类的方法。虽然采用流水线的方式会使每个子任务更加集中，更容易解决问题，但两个子任务之间的完全分离可能会遇到错误传播问题，同时也忽略了它们之间的相互依赖性[7]。……