集中式集群资源调度框架的可扩展性优化

毛安琪 汤小春 丁 朝 李战怀

(西北工业大学计算机学院 西安 710129) (工信部大数据存储与管理重点实验室(西北工业大学) 西安 710129)

(maoanqi@mail.nwpu.edu.cn)

随着大数据处理技术的发展，数据内在价值的分析与挖掘成为这个时代的研究热点之一.当数据的体量以惊人的速度增长时，单台机器已经无法满足大数据的存储与处理，于是以Hadoop分布式文件系统(Hadoop distributed file system, HDFS)为代表的分布式文件系统应运而生.它以主从架构管理模式，将数据划分到多台机器节点上存储，形成一个集群系统，也称数据中心，推动了大数据计算的发展.在企业或组织内，数据中心上通常会存在各种不同类型的数据处理应用程序.如果为每种数据处理应用程序建立专用的集群基础设施，不但为企业带来巨大的建设成本，也导致数据在各个集群之间来回复制，容易产生错误.因此，越来越多的企业开始在数据中心上部署集群资源管理系统，确保各种各样的数据处理应用程序共享一套硬件基础设施.

集群资源管理系统的主要功能是管理集群的可用计算资源并分配给不同的数据处理应用程序.集群计算资源的分配要按照一定的策略进行，保证各个应用程序独自使用集群的部分资源，避免各个数据处理应用程序之间的资源竞争和相互干涉，实现各个应用程序对资源的公平使用.

现有的集群资源管理系统种类非常丰富，如文献[1-43]都是有关集群资源管理和用户应用程序调度的系统.从集……