HowNet义原标注一致性检验方法研究

刘阳光，岂凡超，刘知远，孙茂松

(1.清华大学 计算机科学与技术系，北京 100084;2.清华大学 人工智能研究院，北京 100084;3.清华大学 智能技术与系统国家重点实验室，北京 100084)

1 引言

近年来，随着人工智能从数据驱动发展到知识驱动和数据驱动相结合，人们结合大量知识库，将人类知识融入到人工智能，应用于自然语言处理(natural language processing，NLP)、计算机视觉(computer vision，CV)等多个子领域并取得了显著的效果提升，知识库越来越受到研究者的青睐。作为在中文世界有巨大影响力的语言学常识知识库，《知网》(HowNet)[1]同样倍受关注，且针对其的相关研究和应用不断增多。HowNet由董振东、董强父子前后耗时30余年构建而成，它包含了由2 134个义原(sememe)组成的概念描述体系，借此能为无限多词语的概念进行语义标注。HowNet中的义原被定义为人类语言中不可再分的最小语义单位[2]。HowNet现包含手工标注的具有层次结构的中英双语词语已超过10万条，其中汉语词语5万条和对应的概念6万多条,以及与之对应的英语词语5.5万条和概念7万多条[3]。HowNet已被广泛应用于多种NLP任务，如信息结构标注[4]、语义表示学习[5]、词义相似度计算[6]、词义消歧[7-8]、情感分析[9]、问题自动分类[10]、信息融合研究[11]、文本聚类[12]、关系抽取[13]、多通道反向词典[14]等。由此可见，HowNet研究意义重大，应用前景广阔。

尽管HowNet应用价值大，但其存在一个缺陷：专家构建HowNet前后总耗时达30余年，时间跨度大引入许多标注误差，导致义原标注不一致，使HowNet整体一致性难以保证，降低了其应用价值。

下文对HowNet中存在的标注义原不一致问题进行说明。……