基于信息增强BERT的关系分类

万 莹,孙连英,赵 平,王金锋,涂 帅

(1.北京联合大学 智慧城市学院，北京 100101；2.北京联合大学 城市轨道交通与物流学院，北京 100101)

0 引言

近年来，如何快速有效地抽取海量数据中的有用信息，已成为一种关键的竞争力。关系分类即识别文本中两个实体之间的语义关系[1]，其在多种自然语言处理任务(例如，信息抽取、问答系统、自动知识库构建等)中发挥着至关重要的作用，是自然语言处理重要的主题之一。

传统的关系分类方法常用的有两种, 基于规则的方法和基于特征向量的方法[2],这两种方法都需要手动设计特征，复杂度高、耗时长，并且难以捕获文本语义特征，泛化能力差。近年来，深度学习已经应用于关系分类，尤其卷积神经网络(convolutional neural networks, CNN)、循环神经网络(recurrent neural network,RNN)、长短期记忆网络(long short-term memory,LSTM)被广泛应用于关系分类中并取得了出色表现。最早Liu等[3]首次使用CNN，并结合词汇特征用于关系分类任务，在ACE2005数据集上取得的性能比当时最先进的基于核的方法提高了9%。之后，CNN、RNN、注意力机制等被广泛用于关系分类任务。Zeng D等[4]通过将词嵌入向量(word embedding,WE)和位置嵌入向量(position embedding,PE)输入CNN来提取词汇级别和句子级别特征，将这两个级别特征连接到单个向量，并将其送入softmax层进行分类预测。Santos等[5]提出一种卷积神经网络(CR-CNN)用于关系分类任务，该模型不再使用交叉熵损失函数，而是提出了一种成对排名损失函数(pairwise ranking loss function)，该损失函数成功减少了其他类(other类)的影响。Zhang等[6]使用了一个简单的基于RNN的模型，在KBP37数据集上取得了比CNN模型更好的性能。……