垃圾债券新闻自动过滤

2017-07-16 21:25:47陈钦明刘丁屹吕威
中国新通信 2017年11期
关键词:分类文本

陈钦明+刘丁屹+吕威

【摘要】 本文首先介绍了文本分类的应用背景,从传统的人工分类到后面的基于机器学习的文本分类,而垃圾债券新闻自动过滤实际上可以看作文本分类的一个特例二分类问题,因此便可以基于文本分类的相关知识与理论对垃圾债券新闻进行自动过滤。接下来本文从数据预处理,文本分类算法设计与实现及分类算法评估等方面详细地描述了垃圾债券新闻自动过滤的处理过程。

【关键字】 垃圾债券 文本二分类 数据预处理 SVM 分类指标 交叉验证

一、应用背景

随着网络技术的迅猛发展以及电脑的普遍使用,电子化的文档得到了“爆炸性”的增长,各种各样的文档层出不穷,充斥着网页各个角落。一方面提高了人们获取信息的便利性与快捷,丰富了人们的阅读世界,另一方面也存在各种各样的垃圾文档包括垃圾新闻、垃圾邮件[1]等等,鱼目混珠,良莠不齐。给人们的阅读带来了迷惑与不良的效果。本文主要基于它说平台的债券新闻模块尝试了垃圾新闻的自动分类以达到自动过滤垃圾新闻的效果。

文本分类(Text categorization)[2]是指在给定分类体系下,根据文本内容自动确定文本类别的过程.20世纪90年代以前,占主导地位的文本分类方法一直是基于知识工程的分类方法,即由专业人员手工进行分类.人工分类非常费时,效率非常低.90年代以来,众多的统计方法和机器学习方法应用于自动文本分类,文本分类技术的研究引起了研究人员的极大兴趣并对其进行研究,在信息检索、Web文档自动分类、数字图书馆等多个领域得到了初步的应用。……

登录APP查看全文

猜你喜欢
分类文本
分类算一算
垃圾分类的困惑你有吗
大众健康(2021年6期)2021-06-08 19:30:06
初中群文阅读的文本选择及组织
甘肃教育(2020年8期)2020-06-11 06:10:02
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
电子制作(2018年18期)2018-11-14 01:48:06
教你一招:数的分类
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
論《柳毅傳》對前代文本的繼承與轉化
人间(2015年20期)2016-01-04 12:47:10
给塑料分分类吧
如何快速走进文本
语文知识(2014年1期)2014-02-28 21:59:13