Hadoop集群中影响应用性能的因素分析

2018-04-13 10:03:26马生俊陈旺虎郭宏乐乔保民李新田
小型微型计算机系统 2018年4期
关键词:环境实验

马生俊,陈旺虎,郭宏乐,乔保民,李新田

(西北师范大学 计算机科学与工程学院,兰州 730070) E-mail:1780761723@qq.com

1 引 言

随着科学研究、社交网络、电子商务、互联网、移动通信等领域的蓬勃发展,每天都有大量数据的产生,且数据产生的速度越来越快.据统计,平均每秒有200万用户在使用谷歌搜索,Facebook用户每天共享的内容多达40亿条,Twitter每天处理的数量超过3.4亿[1].根据IDC(国际数据公司)的研究,与2009年相比,全球数字信息总量将在2020年增长44倍,估计能达到35.2ZB[2].数据来源广而快,数据量庞大而多样,常规的处理技术和方法已经很难满足处理需求.云计算(Cloud Computing)[3]应运而生,以并行编程模型、海量数据分布存储、海量数据管理、资源管理和虚拟化等为主要技术,其中编程模型和海量数据分布存储是最核心的技术.Hadoop[4]作为云计算的一款开源实现工具,被越来越多的国内外IT公司和高校院所应用和研究,如:雅虎的云计算系统、IBM 的蓝云项目、亚马逊的EC2都是基于Hadoop 的实现;BAT(百度、阿里、腾讯)、华为、中国移动、网易、金山等公司都不同程度的采用 Hadoop进行应用研发[5].

随着Hadoop被工业界和学术界越来越广泛地应用和高度地重视.近年来,为了在大数据处理方面取得较高的效率,研究者们在Hadoop框架与功能增强方面针对不同的应用领域做了相应的改进和优化,使性能取得了一定的改善[6].研究者们一方面着眼于优化存储方案,另一方面致力于提升处理能力,其目的是提高Hadoop集群环境的效率,减少处理成本.如:文献[7]针对异构的Hadoop集群……

登录APP查看全文

猜你喜欢
环境实验
记一次有趣的实验
长期锻炼创造体内抑癌环境
一种用于自主学习的虚拟仿真环境
孕期远离容易致畸的环境
不能改变环境,那就改变心境
做个怪怪长实验
环境
孕期远离容易致畸的环境
NO与NO2相互转化实验的改进
实践十号上的19项实验
太空探索(2016年5期)2016-07-12 15:17:55