基于知识的Agent强化学习算法分析与研究

殷锋社

（陕西工业职业技术学院 陕西 咸阳 712000）

学习是Agent适应复杂动态不确定环境的一项重要技能，在现有的各种学习算法中，强化学习是一种能与环境进行交互的、无需模型的在线学习算法，具有处理动态不确定性环境的优势，因而使其成为机器学习研究中的一个重要分支。

传统的强化学习算法研究没有考虑Agent的先验知识，尽管在形式上提供了一个统一的算法框架，但在实际应用中，这些没有启发知识的强化学习算法收敛速度都相当慢。另外，标准强化学习算法的收敛性是建立在可以任意遍历状态空间状态的前提下，但对于真实的物理环境（如机器人），这种方式是不现实的。而且在实际应用中，Agent总可以获取各种形式的启发知识，因此将知识融入强化学习系统中，不仅可以改善强化学习算法的收敛性，而且还充分利用系统的资源（如专家知识等）。

1 强化学习

强化学习是学习如何把状态映射到动作使奖赏值达到最大的学习算法，Agent通过在环境中不断地感知和动作，来学习选择最优的动作以实现目标任务，强化学习坚实的理论基础和诱人的应用前景正逐渐受到各研究领域学者的广泛重视，不仅是研究智能学习的理论工具，同时又是实际应用的有效手段。下面对强化学习的基本原理及常用的基本算法进行介绍。

1.1 强化学习的基本原理[1]

强化学习系统的基本框图如图1所示，强化学习的基本原理是：如果Agent的某个动作导致环境正的奖赏 （强化信号），那么Agent以后产生这个动作的趋势便会加强；……