基于启发式规则的藏语重叠词抽取方法研究

2020-10-12 13:02:38才让卓玛
科学与信息化 2020年20期
关键词:规则

摘 要 文章利用网络爬虫方法对网络资源进行了归纳整合,建立了自用微型语料库。依据藏语字形特点搜集和归纳了重叠词规则,最后通过规则抽取,实现并完成藏语重叠词的抽取。抽取效果良好,具有较好的通用性。

关键词 语料库;规则;藏语;重叠词;抽取

引言

藏语重叠词作为藏语特殊的一类词,在句子中承担着重要的语法作用和语法手段。词的抽取是自然语言处理中的知识抽取的一种应用,如今被广泛运用于学术、医药学等领域。藏语文本语料的构建是藏文信息领域的一大基础性研究,语料的匮乏成了发展瓶颈。鉴于这样的背景下,本文提出了构建文本语料,规则抽取词的方法。经总结,抽取方法主要可以分为基于统计的方法[1],基于规则的方法和基于统计和规则相结合的方法,通常在实际应用中可根据面向数据源的不同选取不同的方法。

1语料库预处理

传统的语料库的语料大多来自书本、试卷等纸质文本扫描或打字,其效率较低,人工耗费巨大,随着互联网的发展,网络上海量的文本,为语料库建设提供了大量的文本资源,因此,基于网络文本的语料库应运而生。重叠词的抽取是在一定规模的语料库的基础上实现,构建语料库时除了已有语料外,网页正文的抽取也是首要选择。在对藏文网页进行大规模的网络爬虫后,为减少语料噪音和改善文本质量还对对藏语文本数据集进行预处理,初步达到预期效果。……

登录APP查看全文

猜你喜欢
规则
拼写规则歌
撑竿跳规则的制定
数独的规则和演变
依据规则的推理
法律方法(2019年3期)2019-09-11 06:26:16
善用首次销售规则
中国外汇(2019年7期)2019-07-13 05:44:52
规则的正确打开方式
幸福(2018年33期)2018-12-05 05:22:42
颠覆传统规则
环球飞行(2018年7期)2018-06-27 07:26:14
让规则不规则
Coco薇(2017年11期)2018-01-03 20:59:57
TPP反腐败规则对我国的启示
啦啦操2010—2013版与2013—2016版规则的对比分析
运动(2016年6期)2016-12-01 06:33:42