孙 萌,华却才让,才智杰,姜文斌,吕雅娟,刘 群
(1. 中国科学院计算技术研究所 中国科学院智能信息处理重点实验室,北京 100190; 2. 中国科学院大学,北京,100049; 3. 青海师范大学 藏文信息研究中心,青海 西宁 810008)
藏文分词是藏文信息处理的基础。在藏文中,词与词之间缺乏间隔标记,和汉语类似都是字符或字的序列,因此藏文信息处理面临和汉语同样的问题,即如何将字符序列切分成合理的词语序列。而现有的藏文分词技术切分的准确率和实用性还有较大提升空间。这一方面是因为藏文编码方案较多并且藏文研究起步较晚,另一方面更是由于藏文本身构词规律的复杂性。
研究者在藏文分词方面提出了很多有效的算法,这些方案大体可以分为两类。第一类是基于藏文特有的语言学知识的规则方法。陈玉忠[1-2]从藏文的字切分特征、词切分特征和句切分特征三个方面深入研究藏文特有的语法接续规则,提出了基于格助词和接续特征的藏文分词方法。祈坤钰[3]分别用格切分、边界符判定和模式匹配算法实现对藏文的三级切分。才智杰[4-5]首先识别格助词,然后将其作为分隔符对句子进行切分,采用最大匹配的算法依次对切分之后的块分词。孙媛[6]在格助词分块的基础上,引入词频信息改进分词质量。刘汇丹[7]提出临界词识别方法和词频消歧方法有效地提高分词正确率。基于规则的藏文分词算法通常需要一个规模足够大的词典,采用最大匹配算法,即以在词典中查到的最长的词条作为句子的切分,算法实现简单,效率较高。……