一种基于强化学习的CDN流量调度系统设计方法

林春莺

(集美大学理学院，福建 厦门 361021)

0 引言

内容分发网络(content delivery network，CDN)是一种在服务提供方和消费方之间，通过架设节点或者服务器，让用户就近获取所需的内容，从而达到缓解网络拥塞，提高用户访问网站响应速度的目的。基于这种服务结构，如何有效管理不同服务的资源调度分配，保证高质量的服务是一个需要深入研究的问题。特别是当资源处于超负荷运转或网络波动时，如何通过调度来及时选择合适的替代资源，是保证服务质量的关键。传统业界的调度方式一般采用基于规则的方式[1],即，先收集大量服务器资源的指标(比如负载情况、网络情况、物理位置、服务冗余度等)，再统计评价指标，最后以此来制定规则。但指标量越大则导致调度规则越复杂，使修改和维护成本更高，灵活性更差，同时调度策略往往只考虑服务质量，而没有考虑现实的成本问题。

近年来强化学习(reinforcement learning,RL)[2]因其强大的探索能力和自主学习能力，在游戏[3]、机器人控制[4]、交通控制[5]等领域都有广泛的应用。在资源调度策略领域，文献[6]利用Q值强化学习，将虚拟机资源调度描述成马尔科夫决策过程，并设计了动作的奖励函数，实现虚拟机的资源调度策略；文献[7]将深度强化学习的思路应用到微电网在线优化调度过程中；文献[8]应用强化学习算法求解置换流水车间调度问题；文献[9]提出DeepRM模型，将资源调度系统的状态信息建模成图像形式，将获取的图像信息输入到卷积神经网络中，通过卷积神经网络对图像信息进行快速特征提取，用强化学习的方法对神经网络中的参数进行迭代更新，形成最终的策略；……