,*,,
(大连海事大学 a.航海动态仿真与控制交通行业重点实验室;b.交通信息工程实验室,116026)
目前,在移动机器人、无人机与无人艇领域中,有效的路径规划方法有人工势场法[1]、粒子群算法[2]、神经网络法[3]与遗传算法[4]等方法。这些方法通常需要假设完备的环境信息,然而在未知环境中无人驾驶系统很少有环境的先验知识,在大量的实际应用中需要系统具有较强的自适应不确定环境的能力,借助传感器实时感知障碍物信息进行在线规划。目前,国内外基于强化学习的路径规划方法分别在移动机器人[5-6]、无人机[7]、无人车[8]和多智能体[9]等领域取得较好的成果,但在无人驾驶货船智能航行与路径规划方面还处于初步研究阶段。为实现未知环境先验知识情况下无人驾驶货船自适应路径规划,考虑将强化学习创新迁移应用至无人驾驶货船的路径规划领域,利用强化学习选择策略完成无人驾驶货船的避障并抵达目的地。
强化学习又称增强学习、再励学习[10]。无人驾驶船舶在强化学习系统中通过与环境交互进行在线学习,强化学习原理见图1。
在强化学习中,无人能驾驶船舶根据当前的状态St选择一个动作At对环境造成影响,并接受到环境的反馈Rt(奖或惩),无人驾驶船舶再根据当前的反馈信号和环境选择下一个动作,选择的原则是使环境的正反馈概率最大。
在离散时间内强化学习本质上可以被视为马尔科夫决策过程(Markov decision process,MDP),一个适用于无人驾驶船舶的马尔科夫决策过程由下面的五元组定义:(S,A,Pa,Ra,γ);……