基于神经张量网络的事件相关关系识别

（四川大学网络空间安全研究院 四川 610065）

事件是现实世界中客观事实的陈述，每一个事件都反映了特定目标在一定的时间和环境内参与并表现出的动作特征。事件作为信息表示的一种重要形式[1]，蕴含着丰富的信息，人们通常通过认识事件以及事件之间的联系来认识和了解现实世界。随着互联网的发展以及人工智能技术的兴起，自然语言处理领域关于事件与事件之间联系的研究也随之得到发展。在现实世界中，事件往往不是独立发生的，其发生以及后续的发展都蕴藏着深层的逻辑联系，一些看似无关的事件背后往往存在着一定的逻辑联系。通过事件相关关系识别，能够对大量的看似离散的安全事件，进行有效的事件演化、发展的推理与预测。事件之间存在的关系是极其复杂的，目前，在学术界，事件间的因果关系以及事件间的时序关系是主要研究方向，但在事件的相关关系上的研究较少，本文主要研究事件之间的相关关系。

1 国内外研究现状

Radinsky[2]等人通过新闻标题构建事件因果关系模板规则，利用模板匹配的方式，判断新闻标题之间的因果性，从新闻标题中自动抽取事件对，并将这种事件对用于新闻事件预测。Zhao[3]等人在此基础上，利用类似的方法进行事件对的抽取，然后利用WordNet 以及VerbNet 对事件泛化，构建抽象的事件因果关系网络，再将事件因果关系网络映射到一个连续的向量空间中，进行股票预测、事件预测等。

黄一龙[4]等人基于ACE（Automatic Content Extraction）2005 数据集，提出了一个基于数据集中事件的多种特征的事件识别方法，根据已标注出的7 项事件属性以及4 项扩展特征，使用最大熵分类器进行事件相关关系判定。Chambers[5]等人先提取出事件中的事件描述属性，如时态、语法以及句法特征，然后使用SVM 进行事件时序关系的判定。

付剑锋[6]等人将事件关系识别转化为对事件序列的标注问题，采用两层CRF 标注出事件之间的因果关系。

2 事件相关关系识别模型ECR_NTN

本文将对事件对关系的抽取问题转化为对事件对关系的二分类问题，提出基于层级注意力网络的事件相关关系识别方法。基于ACE 2005 数据集，标注ACE_COR 语料库；在此基础上进行事件句特征提取，一方面通过神经张量网络获取事件对语义特征；另一方面通过事件句的结构特征提取获得5 项事件对结构特征，最后将事件对语义特征和事件对结构特征进行融合，经过Softmax 分类器，获取事件之间相关关系的识别结果。

2.1 事件对结构特征

本文以ACE 2005 中文数据集为研究基础，抽取以下几个方面的特征作为事件对结构特征。

（1）事件对类型（TYPE）

事件对类型表征了相关事件的类型相关的可能概率。本文将事件对中的两个事件实例的类型进行组合，形成事件对类型特征。ACE 数据集有8 类事件类型，两两组队可以形成28 类事件对类型。将28 类事件对类型进行编号，按类型相关的可能概率依次递增，则将事件对类型的特征标记为事件对类型对应的编号数值。

（2）事件对子类型（STYPE）

事件对子类型进一步细化了相关事件的子类型相关的可能概率。本文将事件对中的两个事件实例的子类型进行组合，形成事件对子类型特征。ACE 数据集有33 类事件子类型，两两组队可以形成528 类事件对子类型。将528 类事件对子类型进行编号，按子类型相关的可能概率依次递增，则将事件对子类型的特征标记为事件对子类型对应的编号数值。

2.2 事件对语义特征

本文设计了一个基于神经张量网络[7]（Neural Tensor Network，NTN）的语义模型对事件论元进行语义组合，能更好捕获事件论元间的交互信息，然后构建了一个孪生神经网络模型（ECR_NTN）对事件对进行建模，如图1 所示例。

图1 ECR_NTN 模型

本文模型主要分为4 个步骤：

（1）本文基于ACE 数据集的特点，将事件表示为一个四元组的形式：e={v，o1，o2，o3，o4}，其中v 是动词，o 是事件核心参数。将这些事件论元进行拼接，然后通过Word2Vec 获得每一个事件的词向量表示作为模型输入，维度为300 维。

（2）通过两个共享权重参数的张量神经网络NTN，对事件的词向量表示进行更深一步的挖掘，捕获事件论元的交互信息，完成事件的表示，然后通过concat 方式，将两个事件表示连接成事件对表示。

（3）通过两个隐藏层，维度大小分别为100 与50，将事件对表示维度降低后，与事件对结构特征进行拼接，获取最终的向量表示。

（4）最后通过，一个激活函数为“softmax”的Dense 层完成事件对相关关系的预测。

3 实验

3.1 数据源

数据源采用的是信息抽取领域的主要数据集ACE 2005，本文在其之上进行标注，形成ACE_COR 数据集，数据集情况如表1 所示。

表1 数据集情况

3.2 实验方法

为了更加充分地评估本文模型的性能和有效性，将本文模型与传统机器学习SVM、RF 模型、神经网络学习RNN 以及常见的深度学习Bi-GRU、Bi-LSTM 模型进行对比，本组实验使用本文所构建的ACE_COR 语料库，并在同等参数条件下建立以上5 种模型，各类模型性能对比结果如表2 所示。

3.3 实验结果

如表2 所示，不难看出，基于传统机器学习的SVM、RF 模型在准确率、召回率、F1 值方面远低于其他模型，这是因为SVM、RF 模型都只是浅层的机器学习模型，无法挖掘出深层次的数据特征，并且SVM、RF 模型只利用了提取出的事件对结构特征，并没有利用到事件对语义特征，缺失了对于事件相关关系识别较重要的语义信息。

对于浅层神经网络RNN 模型来说，浅层神经网络已经能够利用事件句并捕获到数据中更加复杂的特征，所以准确率、召回率以及F1值都高于传统的机器学习模型，但是该类模型也只能捕获到局部的数据特征。

表2 与其他模型性能对比结果

对于深度神经网络Bi-GRU 以及Bi-LSTM 模型来说，能够将捕获的上文信息以及下文信息进行融合，极大地丰富了向量的信息表示能力，最终生成的向量能够更好地表达事件句的内在信息，因此这两类模型的准确率、召回率以及F1 值相较前述的四类模型有明显提高。

本文建立的ECR_NTN 模型的各性能评估值高于其他模型，这是因为ECR_NTN 模型利用层级注意力网络捕捉到高注意度的词句，从而学习到更加本质的事件句语义特征，进而提升了事件相关关系的识别能力。

4 结束语

本文设计了一个用于中文事件关系识别的深度神经网络模型ECR_HAN，ECR_HAN 模型使用层级注意力网络，以层次结构的形式提取事件句的语义特征，并结合事件对结构特征，完成事件相关关系的识别。本文基于ACE 2005 中文数据集标注了一个中文事件相关关系语料库，在此基础上建立了ECR_HAN 模型，将ECR_HAN 模型与传统机器学习模型以及常用深度神经网络模型进行对比，ECR_NTN 模型在准确率、召回率、F1 值上均有提高性。在本文工作中，在事件关系上只考虑了事件对之间的相关关系，在后续的工作中，可以对具有事件相关关系的事件对进行更加细粒度的划分，从而更好探索事件之间蕴含的逻辑关系。