分布式计算平台Hadoop

柯研　马凯　郑钰辉

摘要：随着计算机技术和互联网产业的发展，数据量呈现出了爆炸式的增长，使人类进入了大数据时代。面对成千上百的TB或者PB级别的数据，传统的计算机技术在数据存储和数据分析上已经无法满足人们对数据处理的需求了。为了解决大数据的存储、大数据的分析和大数据的管理问题，研究人员开发出了Hadoop分布式系统平台来解决这些问题。本文主要介绍分布式平台Hadoop的分布式文件系统（HDFS）、并行计算编程模型（MapReduce）。

关键词：大数据；HDFS；MapReduce

中图分类号：TN911.73 文献标识码：A 文章编号：1007-9416（2018）09-0070-02

近些年来，随着互联网技术的发展和数字化的普及，每天都在产生着大量的数据，人们也渐渐进入了大数据时代。与此同时大数据的出现也引起了学术界、互联网产业和各国政府的重视。面对海量数据需要存储、分析和处理的问题，需要一种具有高效性且能并行的编程计算模型来解决这些问题。

Google在2003-2004年公布了部分Google的分布式文件系统（GFS）、Google的MapReduce开源分布式并行计算框架和一个大型分布式数据库（BigTable）的思想细节[1]。Doug cutting等人在受到GFS和MapReduce思想的启发后，用了两年时间实现了DFS和MapReduce机制，使的Nutch性能得到显著的提升，2005年Hadoop作为Nutch的一部分引入了Apache Software Foundation公司開始研发。然后随着Hadoop的发展和完善，Hadoop成为了大数据分析处理的主流技术。

1 分布式计算平台Hadoop

Hadoop是一个Apache Software Foundation公司用Java语言开发出的开源分布式计算平台。Hadoop的设计核心是HDFS（Hadoop Distributed File System）分布式文件系统和MapReduce并行计算编程模型。HDFS主要是用来解决海量数据的存储问题，MapReduce并行计算编程模型主要是用来解决海量数据的计算和分析问题。……