基于决策树方法的突发事件新闻分类

文/闫宏丽 罗永莲

（晋中学院信息技术与工程学院 山西省晋中市 030619）

1 引言

决策树学习是以实例为基础的归纳学习算法[1]，它着眼于从一组无次序、无规则的事例中推理出决策树表示形式的分类规则，通常用来对未知数据进行分类或预测[2]。在J.R.Quinlan于1986年提出ID3算法以后，决策树方法在机器学习、知识发现领域得到了进一步应用及巨大的发展[3]。

突发事件新闻可分为多个类别，不同类别的新闻用词差别较大。如交通事故新闻中出现“公路”、“侧翻”、“超速”、“客车”等的频率较高；疾病传染类的新闻则常出现“疫苗”、“隔离”、“预防”、“病毒”、“疗效”等词。上述词语在一则新闻中很少单独出现，即一些相关词汇常同时出现在一个事件新闻中[4，5]。通过分析发现突发事件新闻文档具有以下特点：

（1）事件新闻描述有许多相似之处。

（2）同一类事件用词类似，语句格式也很相似。

（3）不同事件有各自特殊的用语，可以用图1表示其部分层次结构。

根据上述特点，设计基于决策树的分类算法将成组出现的类别关键词作为决策树的属性项，本组词语在一篇新闻文档中同时出现的词数作为属性项的值，通过判定文档的词语组合情况实现分类。

2 突发事件新闻的文档表示

2.1 提取类别组合词串

对于训练样本集中的每一个类别，分别选取与此类别相关的词条作为本类特征词。然后由特征词中抽取类别组合词串，对于每一类新闻可抽取若干组合词串，为防止词语过度组合，影响分类效果，限定每个组合词串包含10个以内的词语。……