混合动力公交车深度强化学习能量管理策略研究

张 松，王坤羽，杨 蓉，黄 伟

(1.广西玉柴机器股份有限公司，玉林 537005；2.广西大学 机械工程学院，南宁 530004)

0 概述

混合动力系统能量管理策略可以大致分为基于规则的控制策略、基于优化的控制策略及基于学习的控制策略3类[1]。基于规则的控制策略因其具有可靠、高效的特点，已广泛应用于实车控制系统中，但其规则的制定主要依赖于专家经验，面对复杂多变的行驶工况很难保证规则的最优性[2]。基于优化的控制策略可分为全局优化策略和实时优化策略，常见的全局优化策略如动态规划策略(dynamic programming, DP)[3]具有前后统筹性，可以获得全局最优解，但需要预知行驶工况且计算量庞大，并不适用于实车实时控制，常作为离线对比标准[4]。鉴于此，研究人员提出了实时优化策略，如依托于极小值原理的等效燃油消耗最小策略(equivalent consumption minimization strategy, ECMS)[5]，通过求解成本函数的瞬时最优解来进行动力分配。相比于DP，ECMS计算量大幅度降低，但相比于规则控制仍对控制器的算力有较高要求。此外，基于优化的控制策略通常需要对连续型控制变量作离散化处理，使控制变量失去了本身连续性的优势。综上，基于规则的能量管理策略和基于优化的能量管理策略存在着高效性、最优性、适应性不可兼具的问题。

面对上述难题，学习型能量管理策略成为最具潜力的解决方案，尤其是基于深度强化学习(deep reinforcement learning, DRL)的能量管理策略。深度Q网络(deepQ-network, DQN)是首个应用于混合动力能量管理的DRL算法，仿真结果也证明了其控制效果与全局优化相当[6]。……