一种面向藏文聚类的文本建模方法

江 涛，于洪志

（西北民族大学 甘肃省民族语言智能处理重点实验室，甘肃 兰州730030）

一种面向藏文聚类的文本建模方法

江 涛，于洪志

（西北民族大学 甘肃省民族语言智能处理重点实验室，甘肃 兰州730030）

现有的藏文文本聚类算法均采用向量空间模型来进行文本建模 .该模型存在向量维度过高和无法表示语义信息的问题.该文根据藏文的语法特性并借鉴主题模型的思想，提出了一种基于词向量的藏文文本建模方法.该方法首先采用最大熵模型进行藏文文本词性标注，选择名词和动词作为文本的特征，然后利用word2vec工具训练得到词语类别并计算其在各文本的概率分布，最终以词类别概率矩阵表示文本，从而实现文本建模.与基于VSM和基于LDA的文本建模方法相比，该方法文本聚类结果的F值分别提高了10.5%和2.4%，聚类效果提升明显.

藏文文本；文本建模；文本聚类；词性标注；词向量

0 引言

随着网络中藏文内容数量的不断增长，如何高效地组织和挖掘这些藏文文本所蕴涵的有用信息已成为当前的研究热点.藏文文本聚类是藏文文本挖掘的基础和面向互联网的藏文话题识别、跟踪和藏文舆情分析技术的核心，藏文数字图书馆、藏文搜索引擎、藏文智能文本分析等应用领域都需要藏文文本聚类算法的支持.

藏文文本聚类首先要解决的问题是将无结构化的藏语言文本转化成计算机可理解的特征 .该步骤为文本建模，而文本建模在一定……