基于YARN的分布式资源动态调度与协同分配系统

郝志峰，黄泽林，蔡瑞初，傅正佳，温 雯，唐凯麟

（1.广东工业大学计算机学院，广州 510006；2.佛山科学技术学院数学与大数据学院，广东佛山 528000）

0 概述

物联网、社交网络、云计算等技术的出现，同时伴随计算能力、空间存储和网络带宽的快速发展，人类生活中的各类数据在互联网、通信、金融、商业、医疗等诸多领域不断增长和累积。由于数据量日益增多，并且在各种应用场景下业务需求和竞争压力对数据处理的实时性和准确性提出了更高的要求，因此传统的单机器数据处理技术已经无法应对时代的变化，而大数据的发展面临着现实应用的难题。因此，各种创新性的技术得到了充分发展，如云计算［1］、量子计算、分布式计算等技术。其中，分布式计算以其强大的计算能力和低廉的成本得到了广泛应用和深入研究。分布式系统［2］通常分为批数据处理系统和流数据处理［3］系统两类，批处理应用广泛的有Hadoop［4］和Spark［5］等，流处理应用广泛的有Storm［6］、Flink［7］、Spark streaming［5］等。相对于批处理系统，流处理更关注数据的实时性。实时数据流具有高速、不稳定的特征，这也导致使用分布式流处理系统时对于计算资源必须有合理而准确的调度。

分布式集群资源的动态调度是当前的一个研究热点，如Hadoop自带的YARN［8］以及Apache开源的Mesos［9］框架，它们都可以在集群中对资源进行管理。而在国内，也有类似于基于分簇的小基站用户资源分配方案［10］，但不足之处在于，这种管理更多地需要人工干预，无法实时监测集群资源的利用情况并进行合理的资源分配。……