词汇计量研究与常用词知识库建设

俞士汶，朱学锋

(1. 北京大学 计算语言学研究所 计算语言学教育部重点实验室，北京 100871；2. 语言能力协同创新中心，江苏 徐州，221009)



词汇计量研究与常用词知识库建设

俞士汶1，2，朱学锋1

(1. 北京大学 计算语言学研究所 计算语言学教育部重点实验室，北京 100871；2. 语言能力协同创新中心，江苏 徐州，221009)

面向自然语言处理的词汇语义研究应该以词汇的计量研究为基础。该文在评述汉语词汇计量研究的主要成果以后，提出一个汉语常用词知识库的建设任务，并给出常用词表的构造性定义、词表常用性的定量评价方法以及“部件词”的概念，最后介绍现代汉语常用词知识库的总体设计和已经做的工作。期望常用词知识库的建设能为汉语词汇语义学研究、为中文信息处理事业的发展做出贡献。

汉语常用词知识库；《中国语言生活状况报告》；综合型语言知识库；《现代汉语语法信息词典》；部件词

1 引言

面向自然语言处理的词汇语义研究应该以词汇的计量研究为基础，汉语最大规模的计量研究成果当属中国国家语言资源监测与研究中心(本文简称其为LRMR)每年发布的《中国语言生活状况报告[1]。据2010年的光盘数据，仅25 546个常用词语即可覆盖全部语料的95%。可见常用词语的语言知识库建设在通用型语言知识库建设中具有举足轻重的地位。

北京大学计算语言学研究所(ICL/PKU)的“综合型语言知识库”(简称CLKB)[2]是词汇计量研究领域的另一项成果[3]。笔者于2007年提出建设现代汉语常用词库的构想[4]，只是立足于CLKB的基础。……