非泊松工件流CSPS系统的Q学习算法适用性仿真研究

苏 娜，唐 昊 ，戴 飞，王 彬，周 雷

(1.合肥工业大学电气与自动化工程学院，安徽合肥 230009;2.合肥工业大学计算机与信息学院，安徽合肥 230009)

1 引言

在现代制造领域的一些柔性生产线上，传送带给料加工站(conveyor-serviced production station，CSPS)是一种典型生产单元，具有广泛的代表性.例如，在当前智能制造时代涌现出的越来越多的机器人生产线，在生产线上每个机器人工作站往往可看作是一个CSPS.通常情况下，CSPS系统是通过匀速传送带将待加工工件送至加工站点，加工主体为其提供加工服务.然而在一些实际生产中，可能存在各种不确定因素，例如工件到达可能是随机的，加工站对工件的加工服务时间也可能是随机的，这些不确定性因素会对加工站的生产调度带来困难，从而影响生产率的提高和生产服务水平的提升.因此，对随机不确定CSPS的生产调度优化控制问题进行研究，是当前智能制造时代的一个有意义的研究课题.

CSPS系统的研究可追溯到20世纪八九十年代[1]，其中，日本工业工程领域的松井正之教授以加工站的工件缓存库空余量为状态，以加工主体的前视距离为决策变量，将单站点CSPS 的捡取和加工调度问题转化为前视距离控制问题，并且建立了相应的半马尔可夫决策过程(semi-Markov decision process，SMDP)模型[2].在此基础上，文献[3]结合Q学习思想，提出一种在线策略迭代方法以解决CSPS系统的最优控制问题，而且文献[4]进一步给出了需求驱动CSPS系统的SMDP模型和Q学习优化求解方法.然而，在现有的研究中，工件的……