基于维基百科的中文嵌套命名实体识别语料库自动构建

2018-11-20 06:42:56李雁群何云琪钱龙华周国栋
计算机工程 2018年11期

李雁群,何云琪,钱龙华,周国栋

(苏州大学 计算机科学与技术学院 自然语言处理实验室,江苏 苏州 215006)

0 概述

信息抽取的目的是从无结构的自由文本中抽取出实体及其相互关系并转化为结构化表达形式,从而为知识库的构造提供数据基础[1-2]。嵌套命名实体是一种特殊形式的实体,其内部包含其他实体,嵌套在里面的实体称为内部实体,最外层的实体称为外部实体。如外部实体“[[[中共]nt [北京]ns 市委]nt 宣传部]nt”包含“[中共]nt”“[北京]ns”和“[中共北京市委]nt”3个内部实体。其中,嵌套实体的类型标注采用《人民日报》语料的格式,即nr表示人名,ns表示地名,nt表示组织名。由于嵌套命名实体含有丰富的实体信息以及实体之间的相互关系,且其结构复杂多变,因此嵌套命名实体的识别成为信息抽取中值得研究的任务之一。

目前的嵌套命名实体识别都采用有监督的机器学习方法,因而需要一定规模的语料库。GENIA V3.02[3]是生物医学领域内的命名实体语料库,其中包含了嵌套命名实体,被广泛应用于生物医学领域的命名实体识别研究。该语料库包含2 000条MEDLLINE摘要和94 014个实体引用,其中约有17%的实体嵌套在其他实体中。EPPI[4]是生物医学领域内另一个标注了蛋白质及其相互作用关系的语料库,它包含217个从PubMed和PubMedCentral选出来的摘要和全文文献,总共有134 059个实体引用。RCAHMS[5]是一个标注实体及其语义关系的历史档案语料库,包含1 546个文本和28 272个实体引用,其中18.7%的实体嵌套在其他实体中。

中文方面的命名实体……

登录APP查看全文