倪 吉,孔 芳,朱巧明,李培峰
(苏州大学 计算机科学与技术学院,江苏 苏州 215006;江苏省计算机信息处理技术重点实验室,江苏 苏州 215006)
命名实体识别是文本信息处理的基础,在机器翻译、信息检索、自动问答、知识管理、实体关系抽取等应用领域中都有重要的作用。命名实体识别首先在MUC-6上作为子任务提出[1],主要任务是识别文本中人名、地名、机构名、时间表达式、数量表达式等。由于中国人名在实体中所占的比例较大,据统计,在《人民日报》1998年1月的语料库(2 305 896字)中,平均每100个字包含未登录词1.192个(不计时间词和数量词),其中48.6%的实体是中国人名[2],另外中文语义复杂,中国人名的用字又具有很大的任意性,所以中国人名的识别是命名实体识别任务中主要任务和主要难点之一。
虽然中文命名实体的研究相比英语命名实体识别尚处于不成熟阶段,但在中文人名识别上也已经有了不少的研究,主要有基于规则和基于语料库统计[3-6]的人名识别方法,这类方法的核心是统计人名用字在语料中的频率,通过计算概率来确定文本中的候选人名为确定人名的可能性;罗智勇等[7]提出的基于可信度的中国人名识别方法也是统计人名的用字频率作为人名的可信度,但他在统计人名用字概率时去除了人名用字在语料中作为普通词出现的情况,是一种解决传统统计误区的方法;李中国等[8]提出了基于边界模板和局部统计相结合的中国人名识别方法,该方法从标注语料库中抽取边界模板,利用边界模板对人名进行粗略定界,然后根据局部统计量和启发式规则对识别结果进行校正;……