基于强化学习的腿式机器人运动控制与决策研究

侯远韶

DOI：10.16660/j.cnki.1674-098x.2011-5640-9053

摘  要：传统的腿式机器人在未知环境中进行运动控制和路径规划时收敛速度慢，路径不够优化具有一定的局限性，无法满足运动控制系统对实时性和精确度的要求。针对这一情况，将深度学习的学习能力与强化学习的决策能力有机地结合起来，利用深度学习具有自动特征提取和深度结构的学习优势，以及强化学习在闭环学习系统中对未知环境进行探索、反馈再探索鲁棒性强的特点，从而解决机器人在运动控制中的复杂序贯决策得到最优路径规划，最终实现腿式机器人合理的运动控制与决策。

关键词：深度学习  强化学习  运动控制  路径规划

中图分类号：TP391.4                          文献标识码：A                    文章编号：1674-098X（2021）01（c）-0111-04

Research on Motion Control and Decision of Legged Robot     based on Reinforcement Learning

HOU Yuanshao

（Department of Mechanical and Electrical Engineering， Henan Industry and Trade Vocational College， Zhengzhou ，Henan Province， 451191， China ）

Abstract： Traditional legged robots converge slowly when performing motion control and path planning in an unknown environment， and the path is not optimized enough to have certain limitations， and cannot meet the real-time and accuracy requirements of the motion control system. In response to this situation， the learning ability of deep learning and the decision-making ability of reinforcement learning are organically combined， and deep learning has the advantages of automatic feature extraction and deep structure learning， as well as reinforcement learning to explore unknown environments in a closed-loop learning system. The feedback explores the characteristics of strong robustness， so as to solve the complex sequential decision-making of the robot in the motion control to obtain the optimal path planning， and finally realize the reasonable motion control and decision-making of the legged robot.

Key Words： Deep learning; Reinforcement learning;  Sport control;  Route plan

1  強化学习

1.1 强化学习原理及系统组成

机器学习算法作为人工智能算法的核心，包含了有监督、无监督以及强化学习算法。其中强化学习算法作为一种典型的序贯决策问题对无训练样本数据具有很大的优势，通过求解输入输出之间的最优解来解决优化问题，是一种对控制策略进行优化的框架。强化学习作为一种学习算法通过模拟人的学习方式，利用已知的环境数据，不断优化自身的决策，实现收益的最大化，最终得到准确的位置判断和决策控制[1]。标准的强化学习主要受环境状态、动作、探索率以及状态转移模型等8个因素的影响[2]。

1.2 深度学习与强化学习

深度学习作为典型的机器学习算法也称为深层结构学习，通过对原始数据进行逐级提取从而得到抽象的高层表征[3]。……