基于图神经网络技术的水下无人系统智能决策研究

冯振宇，彭倍，王刚

(电子科技大学 机械与电气工程学院，四川 成都 611731)

0 引 言

图神经网络（graph neural network，GNN）是一种流行的图形数据学习表示工具，包括但不限于社交网络、分子图和知识图[1]。GNN 比传统的决策树的逻辑推理更具有效性[2-4]。基于图神经网络的水下无人系统智能决策，是针对水下无人系统集群实际应用的特殊需求，如通信受限、多任务、复杂多变环境等约束，为了满足水下无人系统集群智能的决策需求，采用认知推理理论，运用图神经网络方法解决水下无人系统集群智能实现过程中存在的智能决策问题。集群智能决策主要是基于“约束—集群—环境”的认知推理，并在实时交互环境中实现集群的任务分配策略、任务执行策略的推理决策。

人工智能强化学习（reinforcement learning，RL）领域是基于知识表示、认知学习实现智能推理决策的，当前的强化学习方法在关系型问题推理和约束动态推理上存在很多不足[5]。所以，根据领域最新的研究成果，基于图神经网络的强化学习方法是实现关系型问题推理和约束动态推理的研究方向之一[6]。

强化学习的基本思想是智能体（Agent）在与环境交互的过程中根据环境反馈得到的奖励不断调整自身的策略以实现最佳决策，主要用来解决决策优化类的问题。其基本要素有策略、回报函数、值函数、环境模型，学习过程可以描述为如图1 所示的马尔科夫决策过程。强化学习基本学习模型首先智能体感知当前状态 S ，从动作空间A 中选择动作 at执行; 环境根据智能体做出的动作来反馈相应的奖励 rt+k，并转移到新的状态St+k，智能体根据得到的奖励来调整自身的策略并针对新的状态做出新的决策。……