特定领域的命名实体识别方法的研究

张 磊

(北京交通大学计算机与信息技术学院,北京 100044)

0 引 言

命名实体(Named Entity，NE)[1]是文本中的基本信息单元，是文本中固有名称、缩写及其他唯一标识，其往往指示了文章的主要内容。命名实体识别(Named Entity Recognition，NER)[2]是目前文本信息自动化处理过程中一个基础而又关键的技术。近年来，对特定领域的命名实体进行识别已较为普遍，文献[3-4]针对生物领域分别使用了支持向量机，基于隐马尔可夫对生物医学命名实体进行了识别；文献[5]针对商务信息提出了一种基于层级隐马尔可夫模型的产品命名实体识别方法，实现了汉语自由文本中产品命名实体的识别；文献[6-7]针对军事领域均提出了使用条件随机场与规则相结合的方式对军事命名实体进行识别；文献[8]针对音乐领域提出使用统计模型隐马尔可夫模型和规则相结合的方式对歌手名、歌曲名、专辑名进行了实体识别；文献[9-10]针对医学领域均使用基于条件随机场和规则相结合的方式对命名实体进行识别。上述各个领域的命名实体识别方法主要是基于规则、基于统计、基于规则和统计相结合的识别方法[13]。

由于各个领域的文本具有其特有的文本特点，上述领域提出的命名实体识别方法只能适应其各自领域。若将这些方法迁移到其他特定领域，识别效果将会严重下降。本文针对该问题，提出一种将条件随机场、半监督和主动学习相结合的算法，从而形成一个统一的适应于特定领域的命名实体识别的技术框架。……