融合注意力机制与BERT+BiLSTM+CRF模型的渔业标准定量指标识别

任 媛，于 红，杨 鹤，刘巨升，杨惠宁，孙哲涛，张思佳，刘明剑，孙 华

融合注意力机制与BERT+BiLSTM+CRF模型的渔业标准定量指标识别

任 媛，于 红※，杨 鹤，刘巨升，杨惠宁，孙哲涛，张思佳，刘明剑，孙 华

（1. 大连海洋大学信息工程学院，大连 116023；2. 设施渔业教育部重点实验室，大连 116023；3. 辽宁省海洋信息技术重点实验室，大连 116023）

在渔业标准文本中，定量指标识别对标准内容服务具有重要的意义，针对目前常用的命名实体识别方法对渔业标准定量指标识别准确率不高的问题，该研究提出了融合注意力机制与BERT+BiLSTM+CRF（Bidirectional Encoder Representations from Transformers + Bi-directional Long Short-Term Memory + Conditional Random Field，来自转换器的双向编码器表征量+双向长短时记忆网络+条件随机场）模型的渔业标准定量指标识别方法，该方法将渔业标准中定量指标拆分为指标名、指标值、单位、限制词4类实体，通过分析渔业标准语料的特点发现位置信息对指标名等实体识别效果具有重要影响，首先利用BERT模型中位置向量信息提高指标名等实体的识别效果，其次采用BiLSTM（Bi-directional Long Short-Term Memory，双向长短时记忆网络）模型学习渔业标准文本定量指标中长序列语义特征，然后再将注意力机制与BERT+BiLSTM模型进行融合以解决长序列语义稀释问题，最后利用CRF（Conditional Random Field，条件随机场）层得到预测序列标签。试验结果表明，融合注意力机制与BERT+BiLSTM+CRF模型的渔业标准定量指标识别准确率为94.51%、召回率为96.37%、1值为95.43%，研究表明，该方法解决了渔业标准定量指标识别准确率不高的问题，可以比较准确地识别由指标名、指标值、单位、限制词组成的渔业标准定量指标，是一种有效的渔业标准定量指标识别方法，可为农业、医学、生物等其他领域定量指标命名实体识别提供新思路。……