大数据流计算环境下的低延时高可靠性的资源调度方法

孙怀英, 虞慧群, 范贵生, 陈丽琼

(1.华东理工大学计算机科学与工程系,上海 200237; 2.上海市计算机软件评测重点实验室,上海 201112;3.上海应用技术学院计算机科学与信息工程系,上海 200235)

大数据流计算环境下的低延时高可靠性的资源调度方法

孙怀英1,2, 虞慧群1, 范贵生1, 陈丽琼3

(1.华东理工大学计算机科学与工程系,上海 200237; 2.上海市计算机软件评测重点实验室,上海 201112;3.上海应用技术学院计算机科学与信息工程系,上海 200235)

在大数据处理过程中,如何保证流数据处理的可靠性及实时性变得日益重要。本文使用数据流图(DSG)对大数据流应用过程进行描述,并将DSG表示为扩展的Petri网以便对数据流过程进行建模。提出了基于CPU利用率平均变化率的资源熵算法计算资源组可靠性,并根据资源熵算法提出了基于时间和可靠性的资源调度算法(TRS-SCHE)以获得高可靠性、低延时的资源调度方案。通过仿真实验,模拟实现soda交通大数据分析应用并进行资源的调度,验证了TRS-SCHE相比于Storm隔离调度算法在响应时间、请求失败率和算法时间复杂度方面的优势。

DSG; 高可靠性; 低延时; 资源熵; 响应时间

大数据是快速改变的、分散的,一般的硬件和软件设施无法单独在合理的时间和空间内独立完成其采集、访问、分析、应用过程的大型数据[1-3]。大数据具有大量、多类型、快速更新、价值密度低、真实性有待挖掘的特点,所以大数据处理过程极其复杂、耗时[2]。

流数据是指数据以大量、快速、时变的流形式持续到达。……