一文详解群体机器人中的实体进化

Nicolas Bredeche Evert Haasdijk Abraham Prieto

在自然生命系统中，生存和发展的自然演化规律是始终贯穿整个历史的。受人生命思想的启发，本文讨论了一种群体机器人的实体进化方法，将机器人的进化过程内嵌到实际的工作过程中，进化伴随着执行任务的过程同时进行。

本文概述了适用于机器人群体（robot collectives）在线分布式进化的进化机器人技术，即实体进化（embodied evolution）。对具体进化的定义进行了阐述，并对基本概念和机制进行了全面描述。此外，本文还全面总结了自2000年以来在该领域所发表的研究成果，提供了多方位的视角从而确定主要的发展趋势。特别是，我们有了一个新的发现，即，将原先的把具体进化看做是小型机器人群体内（小于10台机器人）的一种并行搜索方法，转变为将具体进化看做是类群体性集体中用于设计集体行为的在线分布式学习方法。总而言之，本文所阐述的该技术的相关应用和开放性问题，为过去提供了一个里程碑，也为未来的研究提供了灵感。

本文概述了进化机器人的相关研究，在这项研究中，进化以一种连续的方式发生在机器人群体中。Ficici等人（于1999年）创造了embodied evolution这一用于描述进化过程的短语，它分布在群体机器人上，从而使它们能够自主和持续地进行适应。同时，随着机器人技术的发展具备越来越高的可能性，以及经济上的可行性，在最小的人为监督环境下，专家团队以高昂代价操作的单个机器人，正通过机器人群体的协作使用，迅速地得以辅助（Bellingham和Rajan于2007年提出），并且，在这种机器人群体中实现自主的在线自适应过程中，具体进化可以发挥至关重要的作用。

实际上，实体进化背后的愿景是一组真正的自主机器人，它们可以调整自己的行为以适应不同的任务和环境。自主发生在两个层面上：机器人不仅能够在没有外部控制的情况下执行任务，而且它们能够通过进化，在不需要外部监督的情况下对其自身行为进行评估和调整，因此可以自主学习。这种自适应能力使得机器人在无法事先准确建模的情况下能够得以部署。这可能是因为环境或用户需求尚未完全了解，或者可能是由于机器人之间交互的复杂性以及它们环境的有效性导致场景不可预测。此外，车载自适应性（onboard adaptivity）本质上避免了在部署之前开发控制器时由于机器人或其环境的建模不准确将造成的现实差距（Jakobi 等人于1995年提出），因为控制器在部署之后还将得以继续开发。最终的好处是，实体进化可以看做是并行化进化过程，因为它将评估分布在多个机器人上。Alba（于2002年）已经表明，这种并行性可以提供很大的好处，包括超线性加速（superlinear speedups）。在机器人的示例情况下，这具有减少每个机器人执行不良控制器所耗费的时间的附加好处，减少了磨损。

实体进化的在线本质与“传统”进化机器人研究形成鲜明对比。传统的进化机器人采用经典顺序集中的优化范式进行进化：父辈和幸存者的选择是集中并考虑整个群体。“机器人”部分需要进行一系列机器人试验（模拟与否），以一种基于进化的方式进行搜索从而找到最优机器人控制器。就任务性能表现而言，实体进化在某些情况下，如飞行无人机的监控和自我定位，其性能表现要远远优于其他进化机器人技术，特别是在收敛速度方面。

考虑到能够提供一个清晰明了的讨论的初衷，我们将实体进化定义为这样一个范例，其中，进化是在多机器人（两个或多个机器人）系统中实施的。两个机器人已经被认为是一个多机器人系统，因为仍然可以在其上分配一个算法。这些系统具有以下特征：

权力下放（Decentralized）

没有中央权力机构选择生育后代的父母或将被取代的个体。相反，机器人根据局部信息评估它們的表现，交换和选择遗传物质。

在线

机器人控制器会随着机器人正常行动而发生动态变化：进化发生在机器人的操作寿命期间和任务环境中。在机器人得以部署完毕后，这一过程仍将继续。

并行

无论它们是否在任务中进行协作，群体都由多个机器人组成，这些机器人在同一环境中同时进行动作和进化，频繁地进行交互以交换遗传物质。

通信遗传物质的分散性意味着选择是在局部执行的，通常只涉及整个群体的一部分（Eiben等人于2007年提出），并且它必须由机器人自己执行。除了父母和幸存者选择之外，这次还增加了第三个选择的机会，这是为经典进化计算定义的。因此，实体进化扩展了定义进化算法，即评估、选择、变体和替换（Eiben和Smith于2008年提出）的运算符集合，并将交配作为关键的进化算子。

交配（Mating）

两个（或更多）机器人决定发送/接收遗传物质的行为，不管这种物质是否会用于生成新的后代。这种情况何时发生以及如何发生，不仅取决于预定的启发式算法，还取决于进化的行为，后者在很大程度上决定了机器人是否会遇到交换遗传物质的机会。

在过去的20年里，通用的在线进化机器人以及特定的实体进化，作为一个研究领域已经成熟起来。在受人尊敬的进化计算聚焦点所不断涌现的相关出版物可以证明这一点，诸如会议（例如ACM GECCO、ALIFE、ECAL和EvoApplications）、期刊（例如进化机器人领域进化智能的特殊问题-Haasdijk等人于2014年提出）、研讨会（PPSN 2014 ER研讨会、GECCO 2015和2017机器人研讨会上进化群体性行为）以及教程（ALIFE 2014、GECCO 2015和2017、ECAL 2015、PPSN 2016和ICDL-EPIROB 2016）等。谷歌的一位学者所搜索的出版物引用Watson等人在2002年撰写的开创性进化论文说明了这种增长趋势。自2009年以来，该论文引起了极大的关注，自2008年以来引用次数每年增加一倍以上（自那时起每年约引用20次）。

然而，到目前为止，还没有关于什么是实体进化（以及什么不是）的明确定义，也没有关于这一领域技术现状的概述。本文提供了实体进化范式的定义，并将其与其他进化和群体机器人学研究联系起来。我们确认并回顾了相关研究，强调了许多特定于具体进化范例设计选择和问题。这些有关最新技术的全面综述，并为对群体自主适应的进化方法感兴趣的研究人员提供了一个起点。文章指出了可能提供解决方案的其他领域的未解决问题与研究，指出了今后工作的方向，并讨论了潜在的应用。

本文概述了机器人群体的实体进化， 这一研究领域自2000年以来得到了不断发展。本文最主要的贡献体现在三个方面。第一，阐明了实体进化的定义和总体进程;第二，概述了迄今为止已有的进化研究成果;第三，为今后的研究提供了方向。

这一概述揭示了该领域的成熟性：虽然在实体进化诞生的最初十年里，其主要被用作为设计个人行为的并行搜索方法，但在群体方面出现了一种趋势（即合作、分工以及专业化）。这一趋势与大型群体式机器人集体趋势携手并进。

我们希望这一概述可以为该领域提供一个基础，以此体现出它的成熟，并为有抱负的研究人员提供灵感。为此，我们强调了可能的应用和可能推动该领域研究议程的公开问题。