基于70年报刊语料的现代汉语历时稳态词抽取与考察

2016-06-01 11:29:46饶高琦李宇明
中文信息学报 2016年6期
关键词:文本方法

饶高琦,李宇明

(1. 北京语言大学 对外汉语研究中心,北京 100083;2. 北京语言大学 语言政策与标准研究所,北京 100083)

基于70年报刊语料的现代汉语历时稳态词抽取与考察

饶高琦1,李宇明2

(1. 北京语言大学 对外汉语研究中心,北京 100083;2. 北京语言大学 语言政策与标准研究所,北京 100083)

该文基于70年跨度的历时报刊语料库,使用九种统计方法计算了词语历年的使用情况,并通过对稳定性、覆盖度和时间区分性能的考察筛选获得了规模为3 013词的历时稳态词候选词集。该词集中动词与名词各占约三分之一(其余为形容词、副词与虚词),平均词长约1.7字,前密后疏地分布于历时语料库总频序表的前7 609位,覆盖了总语料的近九成。该部分词语中包含大量构造句子结构的核心词语。它们塑造了稳态词在词长和词类上的特性。稳态词的提取可以加深对语言生活底层与基础词汇的认识,对汉语教学、中文信息处理和语言规划都具有重要意义。

稳态词;历时语料库;语言监测

1 引言

汉语演变的历程中,词语使用受时间影响的程度不一,表现为词语在时间维度上的分布不同。词汇系统中很多词语使用稳定、受时间影响小、更新和变异缓慢,构成了现代汉语词汇系统的底层,起到基础和主干的作用。张普[1]先生的研究中将这部分词语被称作稳态词。

稳态词在自然语言处理中的直接相关研究较少。Fumiyo等[2]使用卡方检验从30年的MedLine英文文档集中筛选具有时间显著性的名词。Degaetano-Ortlieb[3]等在SciTex中挖掘了与时间相关的词类串和用词特征,并使用相关分析辅助选择。……

登录APP查看全文

猜你喜欢
文本方法
初中群文阅读的文本选择及组织
甘肃教育(2020年8期)2020-06-11 06:10:02
在808DA上文本显示的改善
学习方法
基于doc2vec和TF-IDF的相似文本识别
电子制作(2018年18期)2018-11-14 01:48:06
用对方法才能瘦
Coco薇(2016年2期)2016-03-22 02:42:52
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
論《柳毅傳》對前代文本的繼承與轉化
人间(2015年20期)2016-01-04 12:47:10
四大方法 教你不再“坐以待病”!
Coco薇(2015年1期)2015-08-13 02:47:34
赚钱方法
捕鱼