基于改进的Transformer编码器的中文命名实体识别

郑洪浩，于洪涛，李邵梅

基于改进的Transformer编码器的中文命名实体识别

郑洪浩，于洪涛，李邵梅

（信息工程大学，河南 郑州 450002）

为了提高中文命名实体识别的效果，提出了基于XLNET-Transformer_P-CRF模型的方法，该方法使用了Transformer_P编码器，改进了传统Transformer编码器不能获取相对位置信息的缺点。实验结果表明，XLNET-Transformer_P-CRF模型在MSRA、OntoNotes4.0、Resume、微博数据集4类数据集上分别达到95.11%、80.54%、96.70%、71.46%的1值，均高于中文命名实体识别的主流模型。

中文命名实体识别；Transformer编码器；相对位置信息

1 引言

命名实体识别（NER, named entity recognition）最早是在1995年11月的MUC-6会议中提出的信息抽取子任务，主要是识别文本中的Entity Name（人名、地名、机构名），Temporal Expressions（日期、时间、持续时间）和Number Expressions（货币、度量衡、百分比表达式）[1]。当前，命名实体识别成为自然语言处理任务的重要组成部分，在智能问答[2]、机器翻译[3]、信息检索[4]等复杂的自然语言处理领域发挥着重要的作用。命名实体识别的基本原理是通过序列标注方法，在对每个字进行标注的基础上，预测实体的边界和类型。早期的命名实体识别主要使用基于规则和字典的方法，该方法效率较低、灵活性差，且往往需要大量的领域知识。

随着深度学习技术的发展及其在自然语言处理领域的广泛应用，基于深度学习的命名实体识别逐渐成为主流。深度学习技术可以直接将原始文本通过多步的特征抽取、转换和组合得到一种特征表示，并进一步输入预测函数得到实体识别结果[5]。深度学习不需要手工特征提取这一耗时费力的工作，且端到端的学习模式避免了错误传播。……