快速在线分布式对偶平均优化算法

李德权，王俊雅，马 驰，周跃进

(安徽理工大学 数学与大数据学院，安徽 淮南 232000)(*通信作者电子邮箱784836893@qq.com)

0 引言

近年来, 网络和分布式计算的迅猛发展造就了从大型集成电路计算机到分布式网络工作站的一个跃变，这使得分布式网络受到了越来越多的重视，并在传感器网络、机器学习和智能电网等多个方面具有广泛的应用前景[1-3]。分布式网络中的个体通过相互协调合作, 可以有效解决各种大规模复杂现实问题，提高数据传递效率，增强网络鲁棒性。文献[4]基于分布式随机梯度下降算法建立模型，不仅更好地利用了全局数据信息，而且提高了分布式随机梯度下降算法的收敛速度和性能。文献[5]提出了基于Push-sum的分布式对偶平均算法解决优化问题，但并不能实时处理网络数据流，造成网络中时间和资源浪费，成本代价高。因为在实际应用中，分布式网络一般都运行在动态环境下，如可再生能源系统的调度和传感器观测是时变的，其不确定性对整个网络的成本函数造成重大影响，导致建立的优化问题更加复杂。为了解决这一问题，本文研究基于在线的分布式优化算法，在线分布式优化算法不仅有效提高了算法的鲁棒性，且在机器学习和网络数据流实时处理方面有着重要应用[6-7]。作为衡量在线优化算法性能的一个重要指标，Regret界刻画了随时间推移的累积成本与最佳固定决策所产生的成本之间的差值，因此在线优化算法的优劣可由Regret界的大小进行判断。……