面向中文新闻文本分类的融合网络模型

2021-04-29 09:29:50胡玉兰赵青杉牛永洁
中文信息学报 2021年3期
关键词:分类文本信息

胡玉兰,赵青杉,陈 莉,牛永洁

(1.忻州师范学院 计算机系,山西 忻州 034000;2.西北大学 信息科学与技术学院,陕西 西安 710127;3.延安大学 数学与计算机科学学院,陕西 延安 716000)

0 引言

随着科技的快速发展,互联网已经成为信息传播的主要载体。面对互联网产生的大量文档,尤其是数量惊人的中文文档,如何从中获得有用的信息显得尤为重要。文本分类不仅可以有效地管理和筛选信息,而且在网络搜索、信息检索和排序、自动摘要生成等方面也能发挥重要的作用[1]。同时,文本分类也是自然语言处理中的重要任务之一。

对中文文本来说,由于其语义模糊、词性构成复杂、各部分信息在文档中分布不对称。因此,在建立有效的中文文本分类模型之前,首先需要将文本转换成计算机和模型可识别的形式[2-3],然后提取一些有效的特征信息,最后才能使用有效的分类算法对所提取的特征进行训练,最终达到区分文本类别的目的。

最初文本表示的主要方法是向量空间模型(Vector Space Model,VSM)或基于VSM的改进模型。在VSM中,将每个文本都表示为一个向量,其中的元素就是所谓的文本特征。然而,VSM存在的一个最大的问题就是数据稀疏问题,常常需要通过信息增益等方法来提取进一步的特征信息[4]。但是,这些方法只是一定程度上的缓解,并未真正解决问题。于是,后来研究者们转向了研究基于神经网络的文档分布式表示,进而实现了文档的词向量表示。

过去几年,根据对应的词向量,出……

登录APP查看全文

猜你喜欢
分类文本信息
分类算一算
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
电子制作(2018年18期)2018-11-14 01:48:06
教你一招:数的分类
订阅信息
中华手工(2017年2期)2017-06-06 23:00:31
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
展会信息
中外会展(2014年4期)2014-11-27 07:46:46
如何快速走进文本
语文知识(2014年1期)2014-02-28 21:59:13
健康信息
祝您健康(1987年3期)1987-12-30 09:52:32
健康信息(九则)
祝您健康(1987年2期)1987-12-30 09:52:28