基于Q-Learning的无人驾驶船舶路径规划

2018-11-01 09:15:18,*,,
船海工程 2018年5期
关键词:船舶规划动作

,*,,

(大连海事大学 a.航海动态仿真与控制交通行业重点实验室;b.交通信息工程实验室,116026)

目前,在移动机器人、无人机与无人艇领域中,有效的路径规划方法有人工势场法[1]、粒子群算法[2]、神经网络法[3]与遗传算法[4]等方法。这些方法通常需要假设完备的环境信息,然而在未知环境中无人驾驶系统很少有环境的先验知识,在大量的实际应用中需要系统具有较强的自适应不确定环境的能力,借助传感器实时感知障碍物信息进行在线规划。目前,国内外基于强化学习的路径规划方法分别在移动机器人[5-6]、无人机[7]、无人车[8]和多智能体[9]等领域取得较好的成果,但在无人驾驶货船智能航行与路径规划方面还处于初步研究阶段。为实现未知环境先验知识情况下无人驾驶货船自适应路径规划,考虑将强化学习创新迁移应用至无人驾驶货船的路径规划领域,利用强化学习选择策略完成无人驾驶货船的避障并抵达目的地。

1 强化学习原理及模型基本要素

1.1 强化学习原理

强化学习又称增强学习、再励学习[10]。无人驾驶船舶在强化学习系统中通过与环境交互进行在线学习,强化学习原理见图1。

在强化学习中,无人能驾驶船舶根据当前的状态St选择一个动作At对环境造成影响,并接受到环境的反馈Rt(奖或惩),无人驾驶船舶再根据当前的反馈信号和环境选择下一个动作,选择的原则是使环境的正反馈概率最大。

在离散时间内强化学习本质上可以被视为马尔科夫决策过程(Markov decision process,MDP),一个适用于无人驾驶船舶的马尔科夫决策过程由下面的五元组定义:(S,A,Pa,Ra,γ);……

登录APP查看全文

猜你喜欢
船舶规划动作
计算流体力学在船舶操纵运动仿真中的应用
《船舶》2022 年度征订启事
船舶(2021年4期)2021-09-07 17:32:22
船舶!请加速
动作描写要具体
规划引领把握未来
快递业十三五规划发布
商周刊(2017年5期)2017-08-22 03:35:26
动作描写不可少
多管齐下落实规划
中国卫生(2016年2期)2016-11-12 13:22:16
迎接“十三五”规划
非同一般的吃饭动作