一种融合注意力机制的自适应实体识别方法

陈启丽,黄冠和,,王元卓，张 琨,杜则尧

(1. 北京信息科技大学 自动化学院，北京 100192；2. 中国科学院 计算技术研究所，北京 100190；3. 北京微梦创科网络技术有限公司，北京 100080)

0 引言

MUC-6[1]提出的命名实体识别(NER)是信息抽取任务之一，也是完成自然语言处理下游任务(如机器翻译、文本生成以及问答系统等)的重要保证。目前，NER在中英文上均取得大量成果[2-4]，但是现有的监督学习方法依赖于大规模语料，针对低资源领域，如何快速移植已经在通用领域取得突破的NER方法仍然是研究热点。

近年来在通用领域应用的NER算法可以分为以下三类： ①基于规则匹配的算法； ②基于统计机器学习的算法； ③基于神经网络深度学习的算法。基于规则匹配的算法始终无法解决人工构建规则复杂性问题和低泛化能力问题。在基于统计机器学习的方法中，CRF在序列标注中是广泛应用的模型，能有效提取标签预测的约束特征[5-6]，使得不合理输出标签序列出现的概率降低。端到端深度学习神经网络模型也被应用于大规模文本的非线性隐性特征的自动提取，被大量应用在改进统计机器学习NER任务的效果上，例如，向CRF模型中引入深度学习网络(DNN)和词性特征以优化系统特征提取能力[7]，融入多种语义特征的双向长短时神经网络(BiLSTM)模型[8]，在BiLSTM的基础上引入注意力机制(attention mechanism)[9]等，神经网络的强特征提取能力使NER研究取得了突破性进展。

近期的研究热点之一是如何融合词向量来改进NER算法的效果。用向量表示文本中的字、词，甚至句子、段落等，一直都是许多下游任务，如机器翻译、问答系统的关键基础任务。……