基于文本分类的中文垃圾邮件过滤技术研究

朱 军，饶 元，傅雷扬 (安徽农业大学信息与计算机学院，安徽 合肥 230036)

张 宁，刘 锴 (安徽农业大学网络中心，安徽 合肥 230036)

基于文本分类的中文垃圾邮件过滤技术研究

朱 军，饶 元，傅雷扬 (安徽农业大学信息与计算机学院，安徽 合肥 230036)

张 宁，刘 锴 (安徽农业大学网络中心，安徽 合肥 230036)

由于语言上的差异，中文垃圾邮件过滤与英文邮件在信息处理技术上差别较大。针对中文垃圾邮件过滤的邮件训练集、过滤规则和分类器特征库更新不及时，经常出现误判和漏判等问题，以文本分类技术为基础，将基于规则方法和Bayes分类方法相结合，设计了一种中文垃圾邮件过滤方法，详细阐述了中文邮件过滤的邮件预处理、中文分词、特征选取等技术。试验结果表明，该方法可以明显改善中文垃圾邮件过滤效果。

中文垃圾邮件；过滤；文本分类；Bayes分类；特征选取

从文本分类技术角度看，过滤垃圾邮件即将邮件分为垃圾类和非垃圾类。根据电子邮件的半结构化特性，可以先采用邮件预处理技术提取邮件主题和正文内容的文本，然后使用文本分类算法将垃圾邮件过滤[1]。文本分类有训练过程和分类过程2个阶段(见图1)。在训练过程阶段，系统需要一定数量的已分类好的训练文本指导，经过预处理后提取必要的特征信息来构造分类器，目前在垃圾邮件内容过滤领域常用的分类技术有Bayes分类、决策树、支持向量机、遗传算法(Genetic Algorithm)、粗糙集等[2]。这些技术分为基于规则的方法和基于统计的方法，基于规则的方法从训练文本中学习得到分类规则，如决策树、粗糙集等；……