一种基于门控空洞卷积的高效中文命名实体识别方法

王笑月，李 茹，段 菲

(山西大学 计算机科学与技术学院，山西 太原 030006)

0 引言

作为自然语言处理中的一项基础任务，命名实体识别旨在从一段非结构化文本中抽取出与任务要求相关的实体，例如人名、地名、机构名等。它在机器翻译、信息抽取、问答系统等需要关键内容抽取技术的领域具有广泛的应用价值。

传统命名实体识别主要基于特征工程，即由线性统计模型(如隐马尔可夫(HMM)[1]、支持向量机(SVM)[2]或条件随机场(CRF)[3]等)与人工定义的特征相结合构造模型，但由于自然语言语法结构的多样性，基于特征工程的方法需要针对不同的数据、结合领域知识人工总结特征和定义规则，其缺乏灵活性且无法保证泛化能力。高性能通用并行计算设备(如GPGPU、TPU)的出现与进步使一系列神经网络架构被成功应用于序列标注任务中，Ling等[4]、Ma 等[5]、Lample等[6]提出的基于RNN的神经网络模型虽然取得了优异的结果，但由于其采用循环处理序列的方式，故未能充分利用GPU的并行计算能力。

不同于RNN循环处理输入序列的方式，卷积运算可一次性地并行处理整个输入序列。虽然在并行处理方面卷积神经网络具有先天的优势，但通常用于文本处理的一维卷积感受野受限于输入窗口大小w。在第l层，卷积对于输入文本的感受野大小为r=l(w-1)+1，当输入序列长度增加时，需要堆叠的层数也随之增加。为扩大感受野，同时减少堆叠层数，可以采用池化操作，但池化会导致信息损失，因而不适用于序列标注任务。……