基于深度强化学习的工业物联网多用户频谱分配 *

邵瑞宇 ，黎智雄，任瑾璇

(广东工业大学 自动化学院，广州 510006)

0 引 言

工业物联网(Industrial Internet of Things,IIoT)，又称为工业4.0或工业互联网，可以应用于互联网一些工业领域，比如能源、交通和制造业。随着工业数据的快速增长，工业数据仓库正在进入大数据时代，大数据传输需要更大的带宽[1]。然而有限的连接始终限制了信息网络的发展，并且由于设备的传感器数量过多，导致彼此之间的通信过于频繁，一种兼顾雾计算和网络功能虚拟化的物联网逻辑架构应运而生[2-3]。为了突破这些限制，雾计算被集成到IIoT中，这将有可能解决资源受限的工业设备和计算密集型应用之间的矛盾[4-5]。

现有的频谱分配问题研究中，很多智能体无法获得系统整个完整信息，都是基于部分可观察马尔科夫决策过程理论，导致智能体在计算最优策略时变得非常棘手[6]。在文献[7-8]及其参考文献中，都是在一个多武装强盗(Multi-armed Bandit Problem)条件环境上利用其算法寻求一个短期策略，这种策略只是取决于收集过去的一小段时间所获得的奖励，而缺陷是当预测点与依赖的相关信息距离比较远的时候，就难以学到相关信息。

近年来，深度强化学习中的Deep Q-Learning (DQN)的收敛性能得到了大家的认可。这种算法是在文献[9]中被提出的，它结合了强化学习和深度神经网络，利用多层的神经元构建更加抽象的数据表达，使得人工神经网络可以直接从输入数据中获得物体信息。在Atari2600平台上进行的测试表明，在没有借助其他方法获得先验知识的情况下，49个游戏中43个游戏都可以达到人类分数的75%。……