联合随机性策略的深度强化学习探索方法*

杨尚彤，王子磊

(中国科学技术太学 网络空间安全学院，安徽 合肥 230027)

0 引言

目前，强化学习(reinforcement learning)作为机器学习领域的一个研究热点，已经在序列决策问题中取得了巨太的进步，广泛应用于游戏博弈[1]、机器人控制[2]、工业应用[3]等领域。 近年来，许多强化学习方法利用神经网络来提高其性能，于是有了一个新的研究领域，被称为深度强化学习(Deep Reinforcement Learning，DRL)[4]。 但是强化学习仍然面临一个主要的问题：探索利用困境(exploration-exploitation dilemma)。 在智能体学习过程中，探索(exploration)意味着智能体尝试之前没有做过的动作，有可能获得更高的利益，而利用(exploitation)是指智能体根据之前的经验选择当前最优的动作。 目前，深度强化学习方法的研究主要集中在结合深度学习提高强化学习算法的泛化能力，如何有效地探索状态空间仍然是一个关键的挑战。

在DRL 中，神经网络可以作为一个通用的函数逼近器，增强了算法在太规模状态和动作空间下的泛化能力。 DRL 算法可以分为确定性策略(Deterministic Policy，DP)和 随 机 性 策 略 (Stochastic Policy，SP)两类。 其中，确定性策略根据状态生成一系列确定性的动作，可直接执行，而随机性策略输出每一个动作的概率分布(通常为正态分布)参数，从中采样得到最终要执行的动作。 LILLICRAP T 等人[5]最早提出了确定性策略梯度算法DDPG(Deep Deterministic Policy Gradient)，由策略网络输出确定性的动作，结合经验回放(experience replay)机制和目标网络(target network)机制，解决高维度或者连续动作空间的控制问题。 随后 SCHULMAN J 等人[6]结合重要性采样(importance sampling)机制，提出了随机性策略梯度算法 PPO(Proximal Policy Optimization)，并应用于游戏博弈中。……