企业级Hadoop平台实现的相关技术

狄晓娇

【摘要】 近些年，Hadoop———一个由Apache基金会开发的开源的分布式系统基础架构被提出，用于应对处理企业中指数级增长的数据。借助于 Hadoop， 程序员可以在不了解分布式低层细节的情况下，充分利用集群的威力进行高速运算和存储。本文主要论述了企业级Hadoop平台的搭建使用的相关技术，是本平台用到的技术进行了一个详细的介绍。

【关键词】 Hadoop平台 资源监控 安全认证机制 集群自动化部署 Ganglia

一、背景和意义

现今，我们的生活中已经被大量的数据所包围。指数级增长的数据已经给一些企业带来了巨大的挑战为此，Hadoop———一个由Apache基金会开发的开源的分布式系统基础架构被提出来了。由于Hadoop的特性，现在买差不多的机器，搭建一个Hadoop集群就可以了。

二、集群概述

集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。集群技术是一种通用的技术，其目的是为了解决单机运算能力的不足、IO能力的不足、提高服务的可靠性、获得规模可扩展能力，降低整体方案的运维成本（运行、升级、维护成本）。集群有高扩展性，高可用性，高性能，高性价比等优点。而集群计算机按功能和结构可以分成以下几类：1、高可用性集群；2、负载均衡集群 ；3、高性能计算集群 ；4、网格计算 。

负载均衡集群负载均衡集群运行时，一般通过一个或者多个前端负载均衡器，将工作负载分发到后端的一组服务器上，从而达到整个系统的高性能和高可用性。……