Hadoop下基于朴素贝叶斯的气象数据挖掘研究

陈宇娥 童莹 郁清 蔡玉珍

摘  要： 如何从海量数据中挖掘出气象信息和潜在的大气规律，成为气象挖掘研究的重点。为了提高数据挖掘 的准确性和效率，在分析了MapReduce和贝叶斯分类的基础上，提出了在Hadoop平台上利用MapReduce编程模型与朴素贝叶斯算法相结合的方法来选取预测属性，预测一天中的最高温度。在Hadoop平台上的实验结果表明，该并行数据挖掘方法能够有效的处理海量气象数据，提高了运算效率并具有良好的扩展性。

关键词： Hadoop; MapReduce; 朴素贝叶斯; 数据挖掘; 气象预测

中图分类号：TP301.6          文献标志码：A     文章编号：1006-8228（2019）04-09-05

Abstract： With the continuous improvement of meteorological informatization， how to excavate meteorological information and potential atmospheric laws from massive data has become the focus of meteorological mining research. In order to improve the accuracy and efficiency of data mining， by analyzing MapReduce and Bayesian classification， a method combining MapReduce programming model with Naive Bayesian algorithm is proposed to select prediction attributes and predict the highest temperature in a day. Experiments have been carried out on Hadoop platform， and the results show that the parallel data mining method can effectively process massive meteorological data， improve computing efficiency and has good scalability.

Key words： Hadoop; MapReduce; Naive Bayesian; data mining; weather forecast

0 引言

当前气象预测在社会经济发展及人们日常生产生活中所发挥的作用日益突出，社会大众对气象预测[2]的准确性、时效性则提出了更高的要求[3]。

貝叶斯分类是一种基于贝叶斯决策理论的最优分类器，具有错误率小、算法时间空间开销小、算法较稳定、健壮性好等优点。朴素贝叶斯分类[2]假设属性之间相互独立，假设每个属性独立地对分类结果发生影响，使得从有限的训练样本中直接估计而得。另一方面气象数据规模急剧膨胀变大，传统的处理数据的效率已不满足适应现代天气预测的要求。

根据以上情况，本文提出了Hadoop[4]下基于朴素贝叶斯算法的气象数据预测算法。该算法以朴素贝叶斯为理论依据，在Hadoop[5]平台下利用MapReduce[6]进行数据预处理、模型训练、精度评估三个过程并行处理，使得海量数据得到充分利用，最终取得更好的预测效果。

1 朴素贝叶斯