肖颖
摘 要: 重分区连接查询是基于传统MapReduce框架的最常用的连接查询算法之一。在讨论基于传统MapReduce框架的标准重分区连接算法及减小数据缓存的改进算法的基础上,提出了在数据文件分块阶段进行预筛选以精简MapReduce框架中处理的数据量的方法。该方法能有效减少框架内部各个阶段处理的数据总量,进一步压缩缓存的使用空间并降低不同阶段之间数据传输的网络开销。
关键词: MapReduce; 连接查询; 重分区连接; 预筛选
中图分类号:TP312 文献标志码:A 文章编号:1006-8228(2016)04-09-03
0 引言
近年来,随着移动互联网、电子商务及社交媒体快速发展,网络的数据信息量呈指数型增长。为了能更快更好地分析处理这些庞大的数据信息,很多企业选择将数据迁移到价格相对低廉且容错性能较强的云环境[1]中进行处理。MapReduce框架[2]是云计算最为核心的技术之一。作为海量数据的并行处理平台,MapReduce编程模型[3]简单,隐藏了并发、容错、分布式计算和负载平衡等复杂繁琐的细节,并具有较高的可扩展性和容错性,现已广泛应用于海量数据的分析和处理领域。
但在MapReduce框架中,连接查询运算仍然过程复杂、工序繁琐,同时面临数据倾斜、分布式环境数据传输等问题,效率较低。如果能提高MapReduce的连接查询效率,则可进一步提高数据分析效率和用户体验满意度。
本文就现有的基于传统MapReduce框架的重分区连接查询方法进行深入探讨和研究,并进一步讨论可能的优化策略。
1 传统MapReduce框架实现机制
传统MapReduce框架将所有面向海量数据的计算划分成两个阶段:Map阶段和Reduce阶段,每个阶段可由用户自行定义其处理函数,且都以(K,V)二元组的形式进行输入和输出。……