胡玉兰,赵青杉,陈 莉,牛永洁
(1.忻州师范学院 计算机系,山西 忻州 034000;2.西北大学 信息科学与技术学院,陕西 西安 710127;3.延安大学 数学与计算机科学学院,陕西 延安 716000)
随着科技的快速发展,互联网已经成为信息传播的主要载体。面对互联网产生的大量文档,尤其是数量惊人的中文文档,如何从中获得有用的信息显得尤为重要。文本分类不仅可以有效地管理和筛选信息,而且在网络搜索、信息检索和排序、自动摘要生成等方面也能发挥重要的作用[1]。同时,文本分类也是自然语言处理中的重要任务之一。
对中文文本来说,由于其语义模糊、词性构成复杂、各部分信息在文档中分布不对称。因此,在建立有效的中文文本分类模型之前,首先需要将文本转换成计算机和模型可识别的形式[2-3],然后提取一些有效的特征信息,最后才能使用有效的分类算法对所提取的特征进行训练,最终达到区分文本类别的目的。
最初文本表示的主要方法是向量空间模型(Vector Space Model,VSM)或基于VSM的改进模型。在VSM中,将每个文本都表示为一个向量,其中的元素就是所谓的文本特征。然而,VSM存在的一个最大的问题就是数据稀疏问题,常常需要通过信息增益等方法来提取进一步的特征信息[4]。但是,这些方法只是一定程度上的缓解,并未真正解决问题。于是,后来研究者们转向了研究基于神经网络的文档分布式表示,进而实现了文档的词向量表示。
过去几年,根据对应的词向量,出……