叶 进,谢紫琪,肖庆宇,宋 玲,李晓欢
1.广西多媒体通信与网络技术重点实验室(广西大学计算机与电子信息学院),南宁 530004
2.桂林电子科技大学信息与通信学院,广西桂林 541004
3.综合交通大数据应用技术国家工程实验室(广西),南宁 530001
目前,社交网络和网页搜索等大规模网络应用部署在数据中心,产生大量异构任务流。网络测量数据表明,数据中心中任务流数据传输延时实际占应用完成时间的70%[1-2]。如何设计高效的混合任务流调度方法已经成为了提升数据中心应用性能的关键。
在数据中心分布式计算模式下,一个任务所传输的所有流应该被当作一个整体来实施调度。根据应用的语义,同一个任务内流的聚合为一个流簇(Coflow)[3]。从设计角度考虑,流簇调度器需要感知应用级的需求和特征,优化网络的利用率以加速任务的传输。
在信息未知的流簇调度设计中,调度器缺乏流簇大小的先验知识,而是采用推理机制来获取任务信息,但流簇大小推理的精确度会极大地影响流簇调度的效率。例如,D-CLAS(discretized coflow-aware least-attained service)[4]通过统计已传输字节数推断流簇的大小。但这种被动的方法只有当传输开始一段时间后才能检测出流簇的字节数,而此时较小的流簇很可能已经被较大的流簇阻塞,导致了较大的平均任务完成时间。MCS(multiple-attributes-based Coflow scheduling)[5]在D-CLAS 的基础上进行了改进,引入了流簇宽度(流簇内包含的子流数)和流簇长度(流簇内子流中最长子流的字节数)两个特征,通过贝叶斯概率算法推理流簇的大小。……