一种基于Q-Learning的蜂窝网络中D2D通信资源分配策略

谢经纬，许艺瀚，花 敏

(南京林业大学 信息科学技术学院，南京 210037)

设备到设备(device-to-device，D2D)技术是指通信网络中近邻设备之间直接交换信息的技术[1].D2D的优势在于能够实现数据的直连传输，无需依赖基站或中继设备的参与，从而降低通信网络的数据传输压力，提高频谱利用率和吞吐量，使通信系统更加灵活、智能和高效地运行，给爆炸式增长的智能设备和日趋紧张的频谱资源之间的矛盾提供了新的解决办法[2].

目前，标准化组织3GPP已将D2D技术列为新一代移动通信系统的发展移动通信系统的发展框架中，并成为第五代移动通信(5 Generation，5G)的关键技术之一.在LTE蜂窝网络中，由于D2D通信的引入，系统的资源分配方式将发生变化.为了避免D2D通信与传统蜂窝网络之间的干扰所造成的用户服务质量(quality of servic，QoS)的降低，利用功率控制和信道分配来降低干扰极具研究价值[3].当一个信道被多个用户复用时，由于链路之间的相互干扰，通过功率控制的方法来最大化通信速率可被转化为一个非凸问题.强化学习是探索与反馈相结合的算法，在利用强化学习之前往往需要将问题转化为马尔可夫决策过程(Markov decision process，MDP)，再利用动态规划算法求解[4].文献[5-6]中均采用机器学习的方法解决模型求解问题，并提出了基于博弈论的方法求解D2D接入传统蜂窝网络的方案.文献[7]在保证蜂窝用户的QoS的情况下，通过资源分配可以提高系统的吞吐量，文献[8]提出一种优化Q-强化学习的自适应谈判算法，提高主……