基于MapReduce 的朴素贝叶斯算法文本分类方法

张晨跃，刘黎志，邓开巍，刘 杰

智能机器人湖北省重点实验室（武汉工程大学），湖北 武汉 430205

近年来，随着网络的迅速发展和大数据时代的到来［1-3］，文本数目也不断增多。面对巨大的数据量，需要使用恰当的方法对文本进行分类。朴素贝叶斯算法以其可靠的数学基础成为最主要的分类算法之一。由于其依据各个条件相互独立，而各特征词之间往往具有一定联系，所以特征项加权［4-5］已成为重要的研究内容。词频-逆文本频率指数（term frequency-inverse document frequency，TF-IDF）［6-7］是文本分类中常用的特征权重算法，突出特征词在类内和类间的分布也有助于提升算法性能。本文选取多项式朴素贝叶斯算法（naive bayes，NB），在Hadoop［8］集群上并行处理文本数据，实现对文本的分类，通过实验验证了在该集群上设计的并行化朴素贝叶斯分类方法能够展现出良好的性能。

1 相关研究

1.1 朴素贝叶斯分类算法

朴素贝叶斯算法［9-10］假设各特征之间是相互独立的，是一种有效的分类方法。常用的模型为多项式模型和伯努利模型，本文采用多项式模型，假如待分类的文本特征项为X( x1,x2,…,xn)，类别集合为C( c1,c2,…,cm)。该算法以词条在ca类与cb类之间相互独立为前提，计算出词条属于每类文档的概率P( cm|X )，以概率最大所在类别作为预测文档所属的类别cm。多项式朴素贝叶斯计算公式如下所示：

其中，P(cj)为新文本属于cj类的概率；P( xk|cj)为cj类中包含词条xk的概率。

其中，Sj为类cj下的词语数目，S 为所有类下的词语数目。

为了防止特征词xk在类别cj中可能出现零次，导致零概率问题，一般采取以下解决方式：