基于多智能体元强化学习的车联网协同服务缓存和计算卸载

宁兆龙，张凯源，王小洁，郭磊

（1.重庆邮电大学通信与信息工程学院，重庆 400065；2.大连理工大学软件学院，辽宁 大连 116620）

1 引言

随着5G 时代的到来和互联网设备的普及，万物互联的概念逐渐走进人们的生活，这推动了大量时延敏感型的移动应用，如增强现实、实时导航以及自动驾驶等[1-2]。虽然云技术逐渐成熟，但是随着移动设备的指数性增长，单纯依靠中央云服务器来控制广域网存在时延难以保证的瓶颈[3]，从而难以保证时延敏感型应用的服务质量。因此，移动边缘计算应运而生，成为目前解决上述问题的一种可靠方案。移动边缘计算将计算资源和存储资源以分布式的方式部署在距离用户层更近的边缘节点上，使这些边缘节点就近处理其覆盖区域内的相关业务，从而减轻回程链路的传输压力，并节约相应的服务响应时间。相对于中央云服务器的可扩展性，轻量化的边缘服务器存在资源容量受限和资源利用不均等问题[4-5]。尤其是随着移动应用的多样性增强，其所需的资源也具有很强的异质性，这导致资源利用率低的问题日益凸显。

人工智能和机器学习技术的不断发展，以及其在多个领域的成功应用，使其正成为解决移动边缘计算瓶颈问题的关键技术[6-7]。和传统技术相比，人工智能技术对于环境的动态变化拥有更强大的感知能力。作为其重要分支，深度强化学习在资源分配方面已经得到一定的应用，文献[8-12]都表明基于强化学习的车联网资源分配解决方案具有较好的准确性和稳健性。……