基于强化学习的起重机动作序列规划

高顺德，李传发，郭 忠

（1.大连理工大学机械工程学院，辽宁大连116024；2.中石化重型起重运输工程有限责任公司，北京100029）

0 引言

随着人工智能技术的成熟，强化学习已经被应用于各个领域如自动驾驶汽车、机器人等，大大提升了人类社会的生产力。而汽车起重机恰好与汽车与机器人有交叉重叠的部分，如汽车起重机在行驶时是一辆大型的汽车，其臂架在运行时可以类比于机器人的臂架，所以汽车起重机有很大的希望实现自动化，这将会大大提高吊装效率与人力成本。所以本文将一种强化学习方法DDPG应用于汽车起重机的动作序列规划，以此实现起重机自动吊取的动作序列规划。尽管起重机的动作序列是高维度、多种类的，但是通过三维软件VTK的仿真，证明DDPG可以很好地被应用在汽车起重机的动作序列规划中。

本文所要解决的问题是：在使用汽车起重机进行目标物的吊取时，从原始状态自动地规划出一个动作序列来实现目标物的吊取，由此实现起重机的智能化。而强化学习可以使机器按照人的思维来进行学习和与环境进行交互，具有解决此问题的潜力。

而将人工智能应用于起重机的动作序列规划中的方法暂时还处于萌芽阶段，但是因为机器人手臂的动作序列与起重机的动作序列规划有相似之处，所以关于机器人的动作序列规划的文献亦有很好的参考价值。比如Weitian Wang等[1]利用几何图形来表示现实任务中的模型，并设计包含时间消耗和与人工协作成本的函数。……