基于Hadoop分布式文件系统的单点问题的研究

宋继红,李梦楠,郝得智

摘  要：从Hadoop分布式文件系统的架构出发，对NameNode节点存在的单点问题进行了分析与研究。在这个前提下，针对单点内存瓶颈问题，提出了一个小文件归并算法。此算法以Hadoop为基础，利用Hadoop分布式文件系统的特点，将归并后生成的大文件序列化到Hadoop分布式文件系统，很好地解决了小文件过多时NameNode单点内存瓶颈问题，并提高了系统的性能和可靠性。

关键词：Hadoop；小文件归并；分布式文件系统

中图分类号：TP393.0           文献标识码：A

1   引言（Introduction）

如今网络的飞速发展，数据量的增多，这就要求数据库能够具有处理超大规模数据的能力。Hadoop分布式平台的出现，很好地解决了处理海量数据的难题。Hadoop集群架构有两个核心的设计，分别是HDFS（Hadoop Distributed File System）和MapReduce[1]。由于HDFS只有一个元数据服务器NameNode，导致HDFS存在单点故障，单点内存不足等问题。本文在分析研究HDFS单点问题的基础上，针对单点内存瓶颈问题，提出了一种新型的上层归档文件系统，用来优化海量小文件的处理，可有效地解决单点内存瓶颈问题。

2   HDFS架构（HDFS architecture）

Hadoop分布式文件系统（HDFS）是Hadoop分布式平台的一个核心组件，其设计目的是为了解决超大文件存储难题[2]。HDFS是由一个主节点和多个子节点构成的主从结构。主节点被称为名称节点（NameNode），子节点被称为数据节点（DataNode）。HDFS的架构图如图1所示。

图1 HDFS架构图

Fig.1 The architecture diagram of HDFS

名称节点主要负责管理分布式文件系统中的元数据信息，处理用户文件访问操作请求等。而被上传到Hadoop分布式文件系统中的大数据则保存在数据节点中。通过心跳机制，每隔一段时间数据节点与名称节点进行信息交互[3]。……