王 艳,王希龄,赖宏达,李念爽
(华东交通大学软件学院,江西 南昌 330013)
互联网的飞速发展和大数据处理框架的进步推动了大规模的机器学习部署,并促进了分布式机器学习算法在更多领域中的应用[1-5]。 为了更高效地利用大数据训练更准确的大模型,在机器学习中引入大量矩阵乘法, 一旦采用了分布式机器学习模式,就意味着大量矩阵乘法的分布式计算。 然而,分布式集群中存在某些计算节点由于各种因素的影响(如节点失效、系统故障、通信瓶颈等),计算速度会以某种随机的方式变慢,从而使分布式机器学习算法执行时间增加,成为分布式计算系统的主要瓶颈[6],这种节点被称作掉队节点。 目前减缓掉队节点影响的方法主要是增加某种形式的“计算冗余”,例如,采用副本的方式在多个节点上执行相同的计算任务[7]。 然而,最近的研究结果表明,编码计算可以更加有效地减轻掉队节点的影响[8-12],同时相较于副本方案成本更低。
Tandon 等[13]研究了分布式系统中梯度计算的最优编码设计, 提出了一种新的编码计算方案,用于计算函数的和,展示了对梯度进行编码可以提供同步梯度下降法对失效节点和掉队节点的容忍。 他们根据工作节点运行速度变慢的程度将掉队节点分成完全掉队节点(Full Stragglers)和部分掉队节点(Partial Stragglers)两种,针对这两种情况,提出了一种编码方案来实现机器学习集群对掉队节点的鲁棒性。 Ye 等[14]提出了通信计算高效梯度编码方案,它从计算负载、掉队节点容忍和通信成本3 个方面描述了梯度计算的基本权衡。……