基于电力物联网的边缘计算任务卸载优化

姚楠， 刘子全， 秦剑华， 王真， 朱雪琼

(国网江苏省电力有限公司电力科学研究院， 南京 210000)

电力物联网是物联网技术在智能电网中的推广应用新产物，其有效整合利用通信和电力系统基础设施资源[1]。一方面，智能电网通信系统要求低延迟和可靠性[2]；另一方面，输电线路在线实时监测要求数据传输的低能耗和实时性[3]。云计算可满足大量数据处理与计算，但由于传输延时无法满足低延时和实时性的要求。移动边缘计算(mobile edge computing，MEC)克服了云计算的缺点，能够提供低能耗、低时延计算能力，满足智能电网新兴应用服务的需求[4]。

用户设备通过无线基站将所需计算任务传输至云端和MEC服务器，计算结果传输至用户设备，实现次任务卸载操作。在具有大量卸载任务时，优化卸载决策和资源分配来降低能耗或时延成本是实现高效任务卸载的关键[5]。胡海洋等[6]针对不合理的任务卸载造成用户设备高能耗及卸载任务高延时问题，提出了实时任务卸载算法，以任务截止时间为限制条件，最小化用户设备能耗和延时。张鹏等[7]为了兼顾卸载任务时延和能耗完成系统的联合卸载决策，提出了基于深度强化学习的多智能体调度策略，实现了自适应地调整上传边缘侧或进行本地计算的策略选择。张海波等[8]针对超密集组网的移动边缘计算卸载任务，采用坐标下降法和贪婪算法，提出了考虑总能耗的卸载决策和资源分配优化方法，得到用户设备最优发送功率。

在用户设备计算资源量日趋增加的情况下，需要云端和边缘计算服务器协同完成计算任务，提高相对低时延、低能耗服务。由于云端和边缘计算网络传输和计算任务的特点，需要优化配置卸载任务满足用户设备需求。卢海峰等[9]提出了利用深度强化学习算法优化任务卸载策略，通过对比任务卸载策略的能耗、延迟及平均执行时间等指标，得到基于长短期记忆网络和事后经验回放算法具有较好的效果。吴学文等[10]提出了一种基于博弈论的任务卸载决策和资源分配方案，构建云边协同系统中的效用最大化问题，使紧急用户具有更高的效用和更低的时延。张凤荔等[11]提出了基于Rainbow深度Q网络(deep Q-learning network, DQN)算法边云协同串行任务卸载算法，实现了边云协同的任务动态分配处理和任务分配卸载策略最优化。

以上相关学者对优化卸载任务以降低能耗或时延成本进行相关研究，为进一步深入研究奠定了基础。但有关云边协同的研究方面，基于深度强化学习的资源配置和卸载策略优化的相关研究报道较少。为了解决传统卸载模型仅涉及用户设备和边缘计算资源，而在云端资源利用上存在局限性的问题，通过有效利用计算任务时延、能耗及计算资源配置，提出了基于深度强化学习算法的计算任务卸载策略和资源配置优化算法，建立了边云协同的时延、能耗及能效模型，研究了用户设备数量、任务量、任务优先级等对时延、能耗及能效的影响。为更有效的实现云边协同卸载策略和资源配置优化提供了科学依据。

1 系统架构及模型

1.1 系统架构

任务卸载和资源配置系统模型包括多个用户设备、1个无线基站(base station, BS)配置1台MEC服务器、1台云端服务器，如图1所示。用户设备包括手机、电脑及查询设备等具有有限处理能力的终端设备；MEC服务器用于低延时数据处理以及为用户设备和云端服务器提供资源分配和任务卸载工作；云端服务器包含性能强大的物理服务器，具有超强计算能力，但相对于MEC服务器网络延时较长。

图1 系统架构

1.2 系统模型

系统模型包括用户设备及任务、卸载策略、资源分配等。用户设备集合U可表示为

U={1,2,…,i,…,N}，i∈U

(1)

每个用户i的参数元组表示为{i,Wi,Ci,Di,Ti}，其中Wi表示用户设备计算任务，Ci表示以CPU周期数为单位的计算负载，Di表示以比特为单位的用户设备传输至计算服务器的数据量，Ti表示计算任务要求最大时延。

任务完成实施方式为用户设备、MEC服务器及云端服务器，任务卸载策略集合G可表示为

i∈U,j∈S}

(2)

S={l, m, c}

(3)

资源分配包括上行链路分配和计算资源分配，上行链路分配P可表示为

P={pi|0

(4)

式(4)中：pi为用户设备i的上行发射功率，dBm；pmax为用户设备最大上行发射功率，dBm。

由于云端计算资源强大，不会限制计算任务量，因此仅考虑MEC计算资源分配，可表示为

(5)

2 能效函数模型

2.1 时延与能耗模型

时延是计算任务完成质量的一项重要评价指标，时延指的是计算任务发出请求开始到任务全部完成所需时间，对于时延要求苛刻的计算任务，需要保证计算任务时延满足应用要求。针对用户设备、MEC服务器及云端服务器建立了时延模型，用于卸载策略和资源配置优化建模分析。

能耗是评价计算任务能量消耗的指标，同样是计算任务完成质量的一个重要指标。能耗主要由CPU的执行任务和闲置的能耗、无线传输时的能耗组成，建立了用户设备、MEC服务器及云端服务器系统能耗模型，用于卸载策略和资源配置优化建模分析。

2.1.1 用户设备执行

(6)

(7)

式(7)中：κ为芯片结构的能量系数。

2.1.2 MEC服务器执行

(8)

将非正交多址作为上行链路中的多址接入方案，以满足5G的连接要求[14]。则上行传输数据速率表示为[12]

(9)

Ii=∑pkhk

(10)

式中：B为基站信道带宽，MHz；pi为用户设备i的上行链路传输功率，dBm；hi为用户设备i与基站的信道增益；Ii为信道内其他用户设备对用户设备i的干扰；σ为噪声功率，dBm；pk为其他用户设备的上行链路传输功率，dBm；hk为其他用户设备与基站的信道增益。

(11)

2.1.3 云端服务器执行

用户设备i将计算任务卸载到云端服务器，需同时考虑数据从基站发送至云端服务器的上行链路传输时间、输出结果从云端服务器返回至基站的下行传输时间及云端服务器执行计算时间。时延可表示为

(12)

云端服务器能耗模型与MEC服务器的能耗模型相同，均来自于上行链路能耗。

2.2 资源分配模型

当用户设备i将其计算任务卸载到MEC服务器时，计算资源分配问题可表示为

(13)

优先级系数λi可表示为[15]

(14)

式(14)中：qi为用户设备i的紧急程度；qth为用户设备紧急程度阈值。

尽管云端服务器总是有足够的计算资源，但应考虑降低计算资源成本，也需要优化资源分配。云计算资源分配问题可表示为

(15)

式(15)中：cc为云服务器上的单位计算资源成本。

2.3 能效函数模型

采用时延、能耗及资源分配模型，以线性加权的方式来规划目标函数，即能效函数。能效函数可表示为

(16)

式(16)中：ti、Ei、fi分别为计算时延、能耗、资源分配；μt、μe、μf分别为时延、能耗、资源分配权重。

由式(16)可知，能效函数是时延、能耗及资源配置归一化加权得到的无量纲函数，同样计算环境和边界条件下，能效函数值越小，表明卸载策略和资源配置越优越。

3 基于DQN的优化算法

3.1 DQN算法

深度Q网络作为深度强化学习的一种改进网络，其核心思想是通过环境状态和输出动作互动，然后获取奖励，利用神经网络训练输出作为值函数近似结果，采用经验回放来储存上一步经历的数据，更新参数时选取其中的一部分数据使用，DQN算法如图2所示。采用的DQN更新Loss函数方式为

图2 DQN算法

(17)

在更新Loss函数后将更新结果存入经验池的过程，所采用的方法为优先经验值回放，根据Loss函数决定该项采样的权值，权值可表示为

(18)

式(18)中：ω为采用权值；γ为权值的折扣因子；w为优先经验回放的优先级因子。

DQN奖励函数可表示为

(19)

3.2 优化算法

结合能效函数模型，建立基于DQN算法的卸载策略和资源分配优化模型。当MEC服务器通过基站接收到某个用户设备发送的任务卸载请求后，首先获取当前系统状态，通过计算用户设备优先级获得权重向量，可以根据当前系统状态得到最优的卸载策略和资源配置。综上，基于DQN算法的卸载策略和资源分配优化模型计算步骤如下(其中Δθ为网络参数变化量)。

输入：状态、计算资源及任务集合；

输出：动作决策值(任务卸载和资源分配策略)；

初始化卸载决策及动作空间；

for each iteration

初始化状态Sτ，预处理MEC服务器对任务资源分配的变量φτ=φ(Sτ)；

for each step：

执行动作Aτ；

计算得到奖励Rτ和下一步状态Sτ+1；

设置Sτ+1=Sτ，φτ+1=φ(Sτ+1)

存放(φτ,Aτ,Rτ,φτ+1)至经验池；

从经验池中以优先经验回放策略采取数据并转换为向量(φτ,Aτ,Rτ,φτ+1)；

更新网络参数θ=θ+Δθ；

若为结束状态，则结束本轮迭代；

end for

end for

4 结果与分析

对所提出的电力互联网任务卸载和资源配置场景，建立基于DQN算法的任务卸载和资源分配优化模型。云边系统包括1台云服务器、1台MEC服务器、1个基站和N个用户。N从[5,50]中随机选取，用户随机分布在距基站半径为0～200 m的覆盖范围内。计算环境和其他参数设置参照文献[8-9,13,15-16]，如表1所示。通过Python仿真平台对所建立优化模型做出性能评估，结果由i7-10210U CPU@1.6 GHz 2.11 GHz 运行内存为16 G的笔记本计算，5次运行的结果取平均值。

表1 仿真参数

4.1 用户设备及MEC服务器的影响

用户设备数量对时延、能耗、能效的影响如图3所示。可以看出，时延、能耗、能效随着用户设备数量的增加均不同程度的有所增加。其中，时延增加相对较大，当用户设备数量为45时，时延超过100 ms。而能耗随着用户设备数量增加的较为缓慢，但用户设备数量超过35时，能耗增加开始加快。由能效函数[式(16)]可知，能效函数是综合时延、能耗及资源配置归一化加权得到的无量纲函数，同样计算环境和边界条件下，能效函数值越小，表明卸载策略和资源配置越优越；能效函数值随着用户设备数量的增加逐渐增大，主要是由于时延及能耗随用户设备数量的增大引起的。

图3 用户设备数量的影响

MEC服务器资源配置对时延、能耗、能效的影响如图4所示。可以看出，时延、能耗、能效随着MEC服务器资源配置的增加均不同程度的有所降低；MEC服务器资源配置较少时，时延、能耗、能效降低较大，但MEC服务器资源配置大于30 GHz后，时延、能耗、能效趋于平稳。因此，为了节省成本，MEC服务器资源配置为30 GHz较为合理。

图4 MEC资源的影响

4.2 任务量的影响

为了研究任务量对时延、能耗及能效的影响，仿真计算时加大了任务量，使得任务量能够显著影响时延、能耗及能效。任务量对时延、能耗、能效的影响如图5所示。可以看出，时延、能耗、能效随着计算任务量的增加均有所增加，计算任务量小于3 GHz时，时延、能耗、能效增加较大，但计算任务量大于3 GHz后，时延、能耗、能效增加放缓。这主要是因为计算任务量大于3 GHz后，卸载策略和资源配置充分利用了云端服务器强大的计算能力，使得时延、能耗、能效增加放缓。

图5 任务量的影响

4.3 任务优先级的影响

不同优先级对时延、能耗、能效的影响如图6所示。可以看出，不同计算任务的优先级对时延、能耗、能效具有显著的影响，高级计算任务优先进行处理，并分配的计算资源较多。图6(a)为不同优先级，任务量对时延的影响。可以看出，随着任务量的增加，不同任务优先级的时延均逐渐增加，这是主要是由任务量增加导致的。相同计算任务量下，高级别的时延明显低于低级别的时延，表明优先级高的计算任务分配更多的计算资源，降低了计算时延，表明所提算法具有较好的优先级处理能力。

不同任务优先级下，任务量对能耗的影响如图6(b)所示。可以看出，随着任务量的增加，不同任务优先级的能耗均逐渐增加，主要是因为任务量增加了计算资源消耗，进而增加了计算能耗。相同计算任务量下，优先级越高的计算能耗越大，这是由于对于相同的计算任务量，为了优先完成计算任务，单位时间分配的计算资源较多，因此能耗也相对较大。

图6 优先级的影响

不同任务优先级下，任务量对能效的影响如图6(c)所示。可以看出，不同任务优先级下，能效随着任务量的增加而增大，主要是由于时延、能耗及资源分配随着任务量变化引起的。相同任务量工况下，随着任务优先级的提高，能效呈下降的趋势，这一现象表明本文提出的优化算法和建立的模型能够针对不同任务优先级实现卸载策略和资源配置的优化。

4.4 不同模型对比

为了验证本文模型的优越性，将建立的优化模型M4与其他3种模型(M1、M2、M3)进行了对比，对比模型资源配置及采用的优化算法如表2所示。

表2 对比模型

不同模型在处理不同用户设备数量时，时延、能耗及能效的对比结果如图7所示。可以看出，M4在时延、能耗及能效方面均优于其他模型。由于M1无云端服务器、M2未采用资源优化配置算法，随着用户设备数量的增加，M1和M2的时延、能耗及能效均明显较高，从而导致能效也明显较高。M3采用博弈算法对卸载策略和资源配置进行优化，得到时延及能耗显著降低。而基于DQN算法建立的卸载策略和资源配置优化模型计算得到的时延、能耗及能效均低于基于博弈算法的结果，表明针对不同用户设备数量，所建立模型能够更有效地实现云边协同卸载策略和资源配置优化。

图7 用户数量的影响

不同模型在处理不同任务量时，时延、能耗及能效的对比结果如图8所示。可以看出，在不同的计算任务量时，M4在时延、能耗及能效方面均优于其他3个模型。由于M1无云端服务器，随着计算任务量的增加，其时延及能耗明显较高，导致能效也较高。M2未采用资源优化配置算法，计算资源未得到充分利用，使得时延及能耗高于M3和M4。M3和M4利用卸载策略和资源配置优化算法，得到的时延及能耗均相对较低，所提出基于DQN算法建立的卸载策略和资源配置优化模型计算得到的时延、能耗及能效均低于基于博弈算法的结果，表明针对不同计算任务量，所建立模型能够更有效的实现云边协同卸载策略和资源配置优化。

图8 任务量的影响

5 结论

(1)综合考虑时延、能耗及资源分配，创新性的建立了基于DQN算法的卸载策略和资源分配优化模型。

(2)通过分析MEC服务器资源配置对时延、能耗、能效的影响，得到MEC服务器资源配置为30 GHz时，即可满足计算要求又可以节省成本。

(3)研究了不同计算任务的优先级对时延、能耗、能效的影响，高级计算任务优先处理策略和计算资源优化分配，使得时延、能耗均较低，表明本文建立的模型具有较好的优先级处理能力。

(4)M4在时延、能耗及能效方面均优于其他3个模型。表明针对不同用户设备数量和计算任务量场景，所建立模型能够更有效地实现云边协同卸载策略和资源配置优化。