面向HBase的大规模数据加载研究①

贺正红, 周 娅, 文缔尧, 吴清霞



面向HBase的大规模数据加载研究①

贺正红, 周 娅, 文缔尧, 吴清霞

(桂林电子科技大学计算机科学与工程学院, 桂林541004)

分布式数据库HBase在大规模数据加载中较传统关系型数据库有较大的优势但也存在很大的优化空间. 基于Hadoop分布式平台搭建HBase环境, 并优化自定义数据加载算法. 首先, 分析HBase底层数据存储, 实验得出HBase自带数据加载方式在效率和灵活性方面存在不足; 进而, 提出了自定义并行数据加载算法, 并针对集群进行优化. 实验结果表明, 优化后的自定义并行数据加载方式能充分发挥集群性能, 具有较好的加载效率和数据操作能力.

HBase; Hadoop; MapReduce; 数据加载; 性能优化

大数据时代的到来, 对数据的处理提出了更高的要求, 越来越多的企业需要存储TB、PB级的数据. 而传统的关系型数据库系统(RDBMS)只专注于一台机器, 然而单台机器无法满足大量数据的存储, 同时机器的I/O性能也成为海量数据存储中面对并发服务的瓶颈, 这样的体系结构也严重的影响了系统的扩展能力, 根本上限制了其存储能力和分析能力. 而分布式技术的发展有效的推动的海量数据处理的发展.

Apache顶级开源项目HBase是分布式平台Hadoop中的开源数据库. HBase不同于一般的关系数据库, 适合于非结构化数据存储, 其存储模型是基于列的. 该数据库架构在Hadoop之上, 与分布式文件系统HDFS和并行处理框架MapReduce结合的非常完善. 作为Google的Bigtable的开源, 实现了Bigtable系统的大部分功能.

本文考虑在使用HBase时……