基于Hadoop的大数据平台架设探讨

秦杰仪，曾 志， 孙 蕾，邓昭宇

（湖南师范大学， 湖南 长沙 410081）

引言

自2008年{Nature}发表有关大数据（Big Data）的专刊以来，大数据的处理和分析已经成为人们关注的焦点。大数据具有四个特点：多样化（Variety)，海量性（Volume），快速性（Velocity）和灵活性（Vi-tality）。这四个特点要求我们对当前分布式架构的理念做出新的理解，在数据处理和数据整合上使用新的方法。Hadoop就是在此环境下成功应用于大数据处理和分析的一个分布式架构平台，它具有方便、健壮性、可扩展性、搭建对硬件要求较低等优点，在大数据领域内的分布式处理上占有较大的优势。

1 Hadoop简介

Hadoop是Apache基金会下的一款开源软件，它实现了包括分布式文件系统和MapReduce框架在内的云计算软件平台的基础架构，并且在此基础架构上整合了包括数据库、云计算管理、数据仓储等一系列平台，是工业界和学术界进行云计算应用和研究的标准平台。它的两个核心组成部分为HDFS和 MapReduce。Hadoop使用Hadoop分布式文件系统（Hadoop Distributed File System，HDFS），其特点有以多节点协同代替单节点能力提升、处理超大文件及运行于廉价的商用机器集群上。使用MapReduce实现对任务的并行处理功能，其特点是将计算与数据结合得更紧密、并使数据处理架构具有平滑的可扩展性。

如图1在分布式存储和分布式计算方面，Hadoop都使用了主/从（Master/Slave）架构。Hadoop集群有5 个构造模块 NameNode、DataNode、Secondary NameNode、JobTracker、TaskTracker组成。其中 NameN-ode、Secondary NameNode、JobTracker运行在 Master节点上，而DataNode、TaskTracker运行在每个Slave节点上，以便Slave服务器运行的数据处理程序能够尽可能直接处理本机的数据。对Master节点需要特别说明的是，在小集群中，Secondary NameNode可以属于某个节点；……