陈钦明+刘丁屹+吕威
【摘要】 本文首先介绍了文本分类的应用背景,从传统的人工分类到后面的基于机器学习的文本分类,而垃圾债券新闻自动过滤实际上可以看作文本分类的一个特例二分类问题,因此便可以基于文本分类的相关知识与理论对垃圾债券新闻进行自动过滤。接下来本文从数据预处理,文本分类算法设计与实现及分类算法评估等方面详细地描述了垃圾债券新闻自动过滤的处理过程。
【关键字】 垃圾债券 文本二分类 数据预处理 SVM 分类指标 交叉验证
一、应用背景
随着网络技术的迅猛发展以及电脑的普遍使用,电子化的文档得到了“爆炸性”的增长,各种各样的文档层出不穷,充斥着网页各个角落。一方面提高了人们获取信息的便利性与快捷,丰富了人们的阅读世界,另一方面也存在各种各样的垃圾文档包括垃圾新闻、垃圾邮件[1]等等,鱼目混珠,良莠不齐。给人们的阅读带来了迷惑与不良的效果。本文主要基于它说平台的债券新闻模块尝试了垃圾新闻的自动分类以达到自动过滤垃圾新闻的效果。
文本分类(Text categorization)[2]是指在给定分类体系下,根据文本内容自动确定文本类别的过程.20世纪90年代以前,占主导地位的文本分类方法一直是基于知识工程的分类方法,即由专业人员手工进行分类.人工分类非常费时,效率非常低.90年代以来,众多的统计方法和机器学习方法应用于自动文本分类,文本分类技术的研究引起了研究人员的极大兴趣并对其进行研究,在信息检索、Web文档自动分类、数字图书馆等多个领域得到了初步的应用。……