Spark Streaming动态资源分配策略

刘 备，谭新明，曹文彬

(武汉理工大学 计算机科学与技术学院，武汉 430063)

Spark Streaming动态资源分配策略

刘 备*，谭新明，曹文彬

(武汉理工大学 计算机科学与技术学院，武汉 430063)

(*通信作者电子邮箱liubei1203@163.com)

针对Spark Streaming作为混合大数据计算平台流处理组件时资源调整周期长和不能满足多应用多用户个性化需求的问题，提出了一种多应用下动态资源分配策略(DRAM)。该策略增加了应用全局变量来控制动态资源分配过程。首先，获取历史执行数据反馈和应用全局变量；然后，进行资源增减计算；最后，进行资源增减执行。实验结果表明，所提策略能够有效调整应用资源配额，且在稳定数据流和不稳定数据流两种情况下，其处理延时相比原Spark平台的Streaming策略和Core策略都有所降低；同时该策略也能够提高集群资源利用率。

Spark；实时数据流；多应用；动态资源分配

0 引言

随着针对数据流的研究，大规模动态数据集(也称为实时数据流)成为研究及工程人员争相探索的热点领域。大数据时代持续性流数据呈指数型增长，让实时数据流处理受到很大的关注。Spark[1]作为一个高效的分布式计算系统和顶级的内存计算技术，其组件Spark Streaming[2]对于可靠的、高吞吐量和低延迟的流处理有着很好的支持。

目前Spark应用资源分配默认采取预分配的方式，资源量在程序提交时已经确定直到查询或者计算退出。当多个应用共享一个Spark集群时，集群资源总量是有限的，即多个应用的资源总量固定。而流处理中数据量往往表……