基于朴素Bayes组合的简易集成分类器①

2021-02-23 06:30:42宋丛威
计算机系统应用 2021年2期
关键词:精确度分类实验

宋丛威

(浙江工业大学 之江学院 理学院,绍兴 312030)

朴素Bayes 分类器是一种简单易用的分类器,在文本分类方面表现出色[1–4].垃圾邮件过滤是它最为成功的商业应用[5].到现在一直有人尝试把它应用于各种领域[6–9].

朴素Bayes 分类器建立在条件独立假设的基础上:

其中,一个只和x有关的系数被省略了.而这个假设比较强,通常无法被满足;计算出的后验概率和实际值也相差较大.不过,朴素Bayes 分类器却不会因此而受太大影响[10].实际上,朴素Bayes 分类器是一种可加模型[1],即有下述分解:

历史上人们提出了不少改进方案了[3,8].本文提出的改进方法解决了朴素Bayes 分类器的两个问题.

(1)通常朴素Bayes 分类器要么解决连续型的分类问题,要么解决离散型的分类问题,总之p(xi|c)的分布类型是同一的[11].而本文的方法不受此限制.

(2)在很多方面神经网络等机器学习算法和Bayes分类器是互补的.本文方法可以以非常简单的方式将两者结合起来.

1 朴素Bayes 组合分类器

本节主要推导朴素Bayes 组合公式,并简述分类器的构造.

1.1 朴素Bayes 组合公式

设x=(x1,x2,···,xm),即输入变量被分解成m部分,在条件独立假设的基础上,通过简单变形可得:

在算法设计上,下面的等价公式会比较好用:

作为分量,xi不必是1维的;p(c|xi)都是独立计算的,互不干扰,而且也不是每一个都必须用Bayes 估计.如果第i项是用分类器fi进行估计的,那么:

其中,fi,c表示fi在c上的分量,代表lnp(c|xi)的估计.这就是说,只要用不同部分的数据独立训练多个训练分类器,然后简单求和就可以……

登录APP查看全文

猜你喜欢
精确度分类实验
记一次有趣的实验
分类算一算
“硬核”定位系统入驻兖矿集团,精确度以厘米计算
做个怪怪长实验
教你一招:数的分类
NO与NO2相互转化实验的改进
实践十号上的19项实验
太空探索(2016年5期)2016-07-12 15:17:55