基于词汇聚类方法的现代汉语分期与分期体系构建

饶高琦，李宇明

(1. 北京语言大学 对外汉语研究中心,北京 100083；2. 北京语言大学 语言政策与标准研究所,北京 100083)

0 引言

进行有关现代汉语历史变迁的研究无法不涉及分期问题。以往对现代汉语史的研究多直接借用政治史的分期方式将现代汉语分为新文化运动到1949年、1950—1966年、1967—1976年和1977—至今四个时期，并在这一基础上开展了许多研究[1-4]。虽然语言生活，尤其是本文使用的报刊历史语料，在内容上与政治生活有密切联系，但语言系统有其自身的演变规律。从语言数据出发对语言进行分期是更加合适的选择。传统的分期方法缺乏定量分析，往往根据相对孤立的语法现象和语法点进行分析，无法根据广泛的语言使用情况来获得较合理的分期依据。

本文将语言的分期落实在语料的分期中。语料的分期则可以视作不同时间文本的自然分组任务，即聚类问题。本文基于历史的词汇分层工作的结果[5-6]，使用机器学习方法对历史语料库中的文本进行自动聚类。以期从词语使用的角度，进行定量的历史语料时期划分。

1 基础工作

1.1 历史语料库

本文使用的语料为BCC历史检索系统*http://bcc.blcu.edu.cn/hc.[7-8]中1946年到2015年的《人民日报》语料*由于种种原因，本文实验过程中没有获得2003年到2008年的《人民日报》语料，该部分由实验室积累的相应年份的《贵州日报》替补。，时间跨度70年，规模12亿字。使用GPWS通用分词系统*宋柔,罗智勇. 现代汉语通用分词系统(GPWS v3.5)http://democlip.blcu.edu.cn:8081/gpws/.[9]并辅之以小规模人工修正对历史语料库进行分词，词种数约220万。……