关于Hadoop中HDFS的研究

刘涌+裴春梅+韩伟+高震宇

摘要：Hadoop的文件系统HDFS（Hadoop Disttributed Filesystem）是一种分布式文件系统，它利用多个商用硬件构成存储集群，利用namenode进行数据的存储控制，具有支持超大文件、存储灵活、可靠性高等特点，在面对大量数据存储的时候，能够高效地工作，但在处理大量小数据时、需要进行低延迟数据访问时和需要多用户访问写入时仍存在一定的不足。总之，HDFS技术在市场潜力巨大的同时，还存在很多可以改善讨论的地方，具有较高的研究价值。

关键词：Hadoop；HDFS；block；namenode

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）01-0007-02

1 概述

随着人们工作生活中数据量的不断加大，个人电脑中单机存储的体积也在不断增大，与之相对应的，数据中心的数据压力也在成倍增长；要存储这些超大文件，可以对数据进行分区并存储到网络中若干单独的计算机上，管理网络中多台计算机存储的文件系统称为分布式文件系统（Distributed Filesystem）。Hadoop的分布式系统称为HDFS，即Hadoop Distributed Filesystem。

HDFS以流式数据访问模式来存储超大文件，即一次写入，多次读取的方式存取数据最佳：数据集通常由数据源生成或复制而成，接着长时间在此数据集上进行各种分析，这个数据源的写入总是仅在文件的末尾添加数据，不支持多源写入（以目前的技术，即使实现任意位置写入等功能，效率也比较低）。Hadoop是设计运行在民用硬件（普通家用电脑）的集群上的，因此节点的故障率相对于昂贵的专用硬件较高，HDFS的作用就是当节点发生故障时，让一般用户察觉不到明显的中断。……