优先状态估计的双深度Q网络

2021-04-23 04:29:20张鑫,张席
计算机工程与应用 2021年8期
关键词:经验动作环境

张 鑫,张 席

深圳大学 计算机与软件学院,广东 深圳518061

强化学习是机器学习的分支之一,主要学习方法是智能体在环境中采取动作,从环境中获得反馈奖赏后,通过最大化累积奖赏,调整下一步动作,从而获得最优策略[1]。在强化学习中,寻策方法有动态规划法(Dynamic Programming,DP)、蒙特卡洛法(Monte Carlo,MC)、时间差分法(Temporal Difference,TD),其中应用最广泛的是时间差分法中的Q-Learning 算法[2],建立起状态与动作的映射表,即Q 表,用于存储对应的状态动作值,反映了当前状态下所有动作的优劣。深度学习[3]解除了强化学习运行于低维度环境空间的限制[4],两者结合后在更高维度的环境空间中取得了实质性的进展[5]。

Minh 等人[6]将深度学习与Q-Learning 算法结合,提出深度Q 网络(Deep Q Network,DQN),并在Atari 2600[7]部分游戏中,获得了超越人类玩家的表现,在这基础上,后续加入了经验回放、目标网络等机制使得深度Q 网络的稳定性和训练表现得到进一步的提升[8]。Hasselt 等人[9]证明了深度Q 网络的过估计问题,提出双深度Q网络(Double Deep Q Network,DDQN),将DQN 与Double Q-Learning 算法[10]结合,用于提高算法的稳定性,缓解过估计问题。Schaul等人[11]在经验回放机制的基础上,提出优先经验回放机制(Prioritized Experience Replay,PER),提高重要经验样本的利用率,加快训练进程。

强化学习不同于机器学习中的监督学习,需要通过与环境交互探索,获得反馈信号,才能得到训练样本。训练样本携带有价值的信息量的多少,直接决定了训练表现的好坏与训练时间的长短。常用的探索方式是ε贪心策略,由于其简单有效,被广泛应用,然而在稀疏奖赏的环境中,需要执行特定的动作序列,才能获得奖赏,完全依赖随机性的ε贪心策略表现欠佳。……

登录APP查看全文

猜你喜欢
经验动作环境
2021年第20期“最值得推广的经验”评选
党课参考(2021年20期)2021-11-04 09:39:46
长期锻炼创造体内抑癌环境
一种用于自主学习的虚拟仿真环境
孕期远离容易致畸的环境
经验
环境
2018年第20期“最值得推广的经验”评选
党课参考(2018年20期)2018-11-09 08:52:36
动作描写要具体
动作描写不可少
非同一般的吃饭动作