陈小莹
摘要:本文通过对藏文文本中不规范文本进行分类后,针对不同类型的文本特征制定规范化处理方法,最终实现了对藏文文本的规范化处理。但因藏文文本来源的不确定性,文本中可能会存在一些未收集到的不规范文本类型,需在后期的研究工作中继续收集整理。
关键词:信息处理; 藏文文本; 规范化
中图分类号: TP391
文献标志码:A
文章编号: 2095-2163(2016)06-0029-03
0引言
[JP2]藏文文本规范化处理主要是对藏文文本做版面分析,识别并规范藏文文本中可能出现的非正常藏文字符的过程。藏文文字属于符号文字,藏文文本中除包含正常的藏文字符外,还可能会出现借形词、特殊符号、黏着语等一些特殊字符形式\[1\]。这些藏文特殊字符的存在会直接影响到文本信息处理的正确性。在规范化处理时,需在正确理解其产生原因的基础上确定相应处理方式,依据其所处语境设定相应规则将这些符号转换成规范的藏文文本形式。在藏语字音转换系统中,对非规范形式的藏文文本进行规范化处理能保证后续字音转换顺利完成,因此对藏文文本规范化处理是一个必不可少的基础工作。
[JP3]本文通过对藏文文本进行分析,确定藏文文本规范化主要有2个任务:第一个任务是特殊符号归一化;第二个任务是外借词藏文化。在此,拟将针对每一部分研究给出如下分析论述。[JP]
[BT4]1特殊符号归一化
藏文文本规范化主要是指在藏文文本中出现的一些非常用藏文标记符号以及其它有特殊含义的符号,这些特殊符号的存在会对后期文本理解造成歧义。……