浅谈基于Hadoop平台的大规模数据排序

门 威，吕书林

（河南广播电视大学信息技术中心，郑州　450000）

浅谈基于Hadoop平台的大规模数据排序

门 威，吕书林

（河南广播电视大学信息技术中心，郑州450000）

据IDC统计，2011年全球处理的数据量达到1.8 ZB，预计到2020年达到40 ZB。如何对海量数据进行高效分析和有效管理已成为大数据时代亟需解决的问题之一。商业数据、科学数据和网页数据这3类海量数据的异构性（充满着非结构化、半结构化和结构化数据）进一步增加了海量数据的处理难度。海量数据排序是海量数据处理的基本内容之一。Hadoop曾利用3 658个节点的集群在16.25小时内完成1PB数据的排序，获得Daytona类GraySort和MinuteSort级别的冠军。本文在设计层面上对Hadoop平台上海量数据排序策略进行分析。

Hadoop平台；海量数据排序；基准排序；云计算

1　基准排序

Jim Gray基准排序包含若干种基准，每个基准由多个规则构成，用于度量不同记录排序时间。约定情况下，每条记录长度为100字节，其中前10个字节是键，后面部分是值。MinuteSort用于比较一分钟内执行排序的数据量大小，而GraySort用于比较100TB以上的大规模数据的排序速度（TBs/minute）。基准规则约定如下：

1）输入数据和生成数据匹配且输入/输出数据都是未压缩的；

2）任务开始前不允许在操作系统内缓存数据；

3）分发程序到集群上的时间和抽样时间都要计入总时长；

4）如果输出多个文件，就必须是有序的；

5）必须计算出每个Key/Value对的CRC32校验值（128位），保证输入输出相对应；

6）输出文件保存到磁盘上；

7）输出数据不能改写输入数据。

根据Yahoo！测试结果显示：利用Hadoop平台下3 658个集群节点排列1PB数据用了975分钟，具体如表1所示。……