智能机器伦理决策设计研究综述*

陈齐平，魏佳成，钟陈志鹏，罗玉峰，王 亮

华东交通大学 机电与车辆工程学院，南昌 330013

1 引言

21 世纪是智能科学的时代，随着智能科学研究不断进步和机器智能水平不断提升，未来智能机器将在大部分领域代替人们工作[1-2]。虽然智能机器的发展可以为人们提供便利的服务，帮助提高工作效率和解决复杂工况下的难题等，但同时也会带来许多伦理道德问题[3-4]，这些伦理问题能否得到解决是未来智能机器普及应用的关键。

苏令银认为人们不需要也不可能把伦理嵌入人工智能机器，但需要对智能机器的伦理选择实施各方面的监管[5]，包括人工智能选择的法律规制、技术监管、伦理建模和程序正义等方面，目前各方面均存在一定缺陷，无法达标。苏令银还认为，随着相关技术的成熟，无人驾驶汽车的安全性可能会比人类驾驶更高，这是由于无人驾驶汽车存在伦理机器人的指导。Grodzinsky等人[6]认为智能机器始终离不开人类的设计，无论机器中虚拟状态还是实际的对应物，均与创造者有一定关系，即智能机器的伦理主体本质上就是创造者的拓展，因此创造者可能会限制智能机器的伦理地位，这也是现今智能机器伦理决策发展的局限，因此对智能机器伦理决策设计的研究具有重要意义。

目前，智能机器的研究主要是在模仿人类的感觉、知觉、学习、记忆和语言等认知神经功能[7]。关于智能机器伦理方面的研究主要基于人类道德决策机制等研究展开，并通过在哲学、心理学和神经学等方面的研究发现，人类的认识、情绪、社会认识、情感信息和动机等因素都会影响人类的道德决策[8-10]。为使智能机器可以做出符合伦理道德的决策，当前研究主要从规则推理和基于脑神经科学等方向来进行机器伦理决策的设计。

2 基于规则推理

基于规则推理是机器根据预先设定伦理决策原则来进行推理决策。该方法采用的是一种理性决策设计方式，具有较强的逻辑性和规则性。根据确定规则进行推理使得智能机器可以快速地做出决策，且其伦理决策具有较强的解释性和透明性。

Bringsjord 等人[11]通过分析机器人三原则的不足，总结了两种基本机器决策原则：（1）机器只做允许的动作；（2）机器在做强制性动作时会受到其他可用动作的制约。在此基础上，还提出了一种基于决策原则的工程伦理决策的设计方法，该方法利用命题演算和谓词演算等逻辑推理形式实现机器伦理决策。

Anderson 等人设计了一种伦理决策顾问系统（MedEthEx）[12]用以解决医疗机器护理中涉及人机交互伦理问题，MedEthEx 决策系统结构如图1 所示。该系统主要复现了Beauchamp 和Childress 的生物医学伦理原则。通过机器学习技术在困境案例中提取医学伦理原则，使得护理机器在面对类似困境情况时根据得到的伦理规则做出相应的决策。

Fig.1 MedEthEx decision structure diagram图1 MedEthEx决策结构图

Fig.2 Ethical consultant system Jeremy and W.D.图2 伦理顾问系统Jeremy和W.D.

Anderson 等人[13]通过对机器伦理原理等分析进行机器伦理研究，认为在决策时考虑机器伦理因素将提高决策性能。如图2（a）和图2（b）所示[13]，他们按照功力主义原则和义务主义原则分别开发了两种伦理顾问系统Jeremy 和W.D.，并进一步证明了由伦理决策原则指导的决策系统在伦理困境下更易做出伦理决策。Anderson 等人还提出一种可以确保自主系统伦理行为的CPB（case-supported principle-based behavior）范式。该范式的实现是由伦理学家在实际伦理案例中得出统一的伦理原则，进而自主系统在该原则的指导下做出决策。该方法保证了原则的准确性并验证了案例的可解释性。

McLaren 基于案例推理设计了两种伦理计算系统[14]，并采用了决疑术方法进行推理决策。一种系统是Truth-Teller（McLaren 写的第一个伦理推理程序）利用决疑术理论比较决策困境的异同点；另一种系统是SIROCCO（system for intelligent retrieval of operationalized cases and codes，McLaren 写的第二个伦理推理程序）使用计算模型实现决疑术推理，并利用通用原则来进行决策。McLaren B 认为这两种计算系统可以较合理地解决伦理困境，为人们解决伦理困境难题提供一个伦理助手。

Fig.3 Ethical decision rule framework of combat machine图3 作战机器伦理决策规则框架

Arkin为实现伦理控制和推理系统提出了一种包含基础、动机、理论和设计等元素的规则框架[15]，并在战争法律和管理规范等限制下规范危险行为。作战机器伦理决策规则框架如图3所示[15]，该框架是一种基于协商/反应式机器设计框架来实现的，以LOW（laws of war）和ROE（rules of engagement）等战争规则为伦理决策原则，采用案例推理的方式设计一种战场机器伦理决策系统。该方法分别从伦理行为抑制、伦理决策设计、利用效应函数适应非道德行为和协助操作者分配最终责任方面的识别和建议机制四方面提出了具体解决方案。

Wynsberghe提出一种以医疗护理为核心原则的价值敏感设计CCVSD（care‐centered value sensitive design）方法[16]来研究护理机器的伦理问题。在现有原型的基础上，设计了一种新型的患者尿液采集和检测护理机器人。整个设计过程通过整合医疗护理伦理需求，按照预定方案流程循序渐进实现伦理机器设计。

基于规则推理来设计的优点在于机器的伦理决策可预见，可以为机器决策提供一种安全的保障，但对工况的适应性较差。人类的决策规则受到地域、文化和个人信仰等因素的影响，有时对于同一种情况的决策会不同甚至相反。因此仅用一种决策规则来实现机器在面对复杂多变的环境时做出决策会存在较大的偏差。

3 基于神经科学

3.1 基于学习算法

基于学习算法是利用机器学习等算法模型模仿人脑决策时神经运行机制来实现机器决策设计的方法[17-19]。主要原理是机器对环境的不断学习从而获得决策经验，实际应用中是通过对人类决策数据的学习，应用神经网络或贝叶斯学习等机器学习方法得到人类伦理决策规律。

Armstrong[20]使用贝叶斯理论构建一种通过效用函数来进行智能体的决策设计模型。其效用函数是效用值、该效用值正确率及在对应环境选择该效用函数的概率的加权组合，通过选择最大效用函数值来选择最优效用价值原则进行决策。通过在伦理决策困境环境下的实验结果验证了效用函数决策设计方法的可行性。

与此类似的方法，有Dewey 也通过构建效用函数的方法设计伦理决策[21]，不同的是Dewey使用了强化学习方法。还有Wu等人[22]利用强化学习建立伦理决策函数，并综合考虑了法律和道德规范等因素的影响。另外Abel等人也提出使用强化学习来构建智能体的伦理框架实现通用性伦理决策[23]，该研究定义了一个伦理学习者模型，在具体实验中测试了方法的灵活性和稳定性。

Dancy[24]提出不使用提取道德原则的方法，通过案例分类的方法。Guarini[25]依据该研究思路提出采用神经网络建立分类模型，对道德决策案例进行分类。该方法有别于传统研究思路，利用模式识别方法实现伦理决策。研究测试结果并未达到预期的效果，后期将通过更丰富的数据集或其他模式识别方法获得更优分类模型。

Honarvar 等人基于BDI-Agent（beliefs，desires，intentions）模型利用神经网络分类方法设计了伦理决策框架[26]，并考虑相关伦理因素进行伦理行为评估。相比Guarini 的方法，该方法通用性更强。从研究结果表明该网络可以对案例进行准确响应，且训练数据越丰富，准确度越高。

Rekabdar 等人也采用人工神经网络分类方法来进行伦理决策[27]。该方法利用人工神经网络对大量伦理数据集进行训练。采用多数投票的方法将神经网络的决策进行组合，做出最终的识别决策，每一个神经网络都是通过多层隐藏的MLP（multi-layer perceptron）来实现。对比实验结果，该模型的伦理决策性能优于其他分类决策模型。

基于学习算法设计相比规则推理适应性更广。虽然通过神经网络等方法可以快速得到决策规则，但由于其规则的透明性和解释性较差，使得该伦理设计缺少安全保障。

3.2 基于脑认知结构

随着人们对于人脑的探索研究，脑科学研究有不断的新突破，利用计算模型模拟脑认知结构和机制会是智能机器研究的重要方向[28-30]。模拟人类伦理决策的脑认知来实现机器伦理设计也成为一种重要设计方法，其主要挑战在于脑认知计算模型的正确构建。

Briggs 等人提出一种基于DIARC/ADE（distributed integrated affect/Analog devices energy）组合认知结构实现指令拒绝和解释机制的机器伦理决策方法[31]。图4 所示为DIARC/ADE组合认知结构[31]。该组合认知结构最早由Schermerhorn和Kramer等人分别提出，其中DIARC 是一种综合情感、反思、认知的分布式架构，ADE 是一种具有用于动态、可靠、故障覆盖、远程访问和分布式计算等功能的体系框架。在人为干预机器行为决策时，机器可能拒绝人类指令并给出拒绝的理由解释。当人为对其解释进行进一步回应说明后，机器会判断是否继续服从指令。该方法在一定程度上设计了一种能让机器自我判断的决策框架。

Fig.4 DIARC/ADE composite cognitive structure图4 DIARC/ADE组合认知结构

Clore等人提出一种OCC（Ortony，Clore，Collins）情感理论来研究影响价值观的因素[32]，该理论包括三种价值观元素，目标、标准和态度，以及三种影响因素，事件、行为和对象。Clore等人认为所有的行为和表达都与认知情感表达有关，并提出了22 种情感类型，将情感认知的研究成果应用到人工智能决策研究中。OCC理论模型为认知神经科学和伦理决策研究提供了一种新的研究方法。

Franklin 等人提出一种基于GWT 脑认知结构理论的LIDA（learning intelligent distribution agent）模型[33-35]，模型如图5所示。它既是一种脑认知模型，也是一种计算模型[33]。LIDA模型组成主要分为感知阶段、理解阶段和行为阶段，并且每个阶段分别设计了对应的子系统。子系统可以实现包括感知、知觉、意识、学习、计划机制和行为网络等功能。通过该模型可以对决策行为的产生和人类情感是如何影响人类的决策机制等方面进行深入的解释。Wallach和Allen等人[35]认为LIDA有助于了解人类的意识与道德判断之间的关系，从而模仿设计机器的道德伦理判断机制。相比于OCC等其他认知模型，LIDA结构具有更强的学习能力、更合理的认知循环结构并且综合感觉和情感等因素的影响。

人类具有丰富的认知功能，并且认知与决策之间具有密切联系，对认知的研究将有助于人类伦理决策及机器伦理决策等方面的研究。目前机器认知结构模型可以实现简单的认知功能，若要实现更高级的情感、思维等认知功能，还需要对脑认知模型进行更深入的研究。

3.3 其他伦理决策设计

机器伦理问题中两个主体为人与机器，如何处理人与机器间的关系也是机器伦理研究的重要难题。有学者从人与机器之间互动关系的角度研究机器伦理。Coeckelbergh[36]认为可以从人机关系的角度进行机器伦理研究，并强调机器的外在行为表现会体现机器道德伦理。其主要研究机器是否可以表现出符合伦理道德的行为或对人类有利的道德行为。从目前设计的角度来看，关系论的进路更加贴近工程设计。

Rysewyk等人[37]提出了一种机器伦理设计理论，它融合了“自上而下”理论决策规范和“自下而上”计算决策模式。该混合伦理设计在一台医疗机器上进行了测试，模拟实现了专业技术人员的临床医学伦理行为。在6个临床医学模拟实验中，机器的决策输出与人类医学专业人员的行为匹配度较高。该医学伦理设计模式为机器伦理研究的进一步发展提供了平台。

Fig.5 LIDA model based on GWT brain cognitive structure theory图5 基于GWT脑认知结构理论的LIDA模型

Rzepka等人针对医疗护理问题提出一种基于大量案例数据分析的设计方法[38]。与单一分析设计方法不一样，该方法是通过自底向上设计结合自顶向下的决策效用计算，以确保为特定用户提供最佳的医疗服务效果，并解决医疗护理中的伦理困境难题。

国内外越来越多的学者对伦理决策设计方法进行深入研究，本文选出几种具有代表性的重要方法进行对比，如表1所示。

由表1可知，几种重要伦理决策设计方法都存在各自的优缺点，具体介绍如下：

（1）伦理决策顾问系统：该系统可作为一个多方面应用的平台，在其基础上可以进行不同方面的改变，从而可应用于多个领域；但它具有一定的主观性，因为系统是从原始输入数据、环境中感应得到的数据和用户提供的数据来进行计算并做出相应的决策行动。

Table 1 Comparisons of ethical decision design methods表1 伦理决策设计方法对比

（2）伦理决策规则框架：该框架提供了动机、哲学、形式、代表性要求、架构设计标准、建议和测试场景，以设计和构建一个能够在道德前提下使用致命力量的自主机器人系统，功能强大且满足人类道德要求；但其含有多个组成模块，交互结构复杂，不易构建，且难以在其基础上做出较大改进。

（3）DIARC/ADE 组合认知结构：该结构拥有自主判断功能，可对外界干预进行检测，判断是否接受外界干预，如拒绝，则会给出拒绝的理由，因此其具有自主性和高可靠性；但为了完善结构的自主性和可靠性，需要进行大量系统、开放的场景测试，工作量很大，因此对该结构进行更新改进也比较困难。

（4）LIDA 模型：该模型是一种基于认知心理学和认知神经科学的概念计算模型，可模拟人类认知和意识，学习和认知能力可比肩人类，该模型还能通过提示感知联想记忆、空间记忆、短暂的情景记忆和声明性记忆四种不同的记忆方式对学习内容进行记忆；但相比于人类，该模型自主性较差，还需对其自主学习功能进行完善。

随着未来机器的决策越来越丰富，人机关系的研究也变得越来越重要，在一定程度上会影响机器伦理决策。混合伦理决策设计结合了规则推理的稳定性和机器学习等方法的灵活性等优势，可为机器提供更符合实际的伦理决策安全保障。

4 无人驾驶伦理决策研究

新技术的兴起都会存在伦理问题，随着无人驾驶技术的发展，专家学者对无人驾驶伦理进行了研究。有些学者针对无人驾驶伦理特点从不同方面进行了研究，有些学者提出利用不同方法建立伦理决策框架和针对伦理决策评估的工具。在无人驾驶伦理研究理论和实践等方面奠定了研究基础。

Moolayil[39]认为无人驾驶电车问题主要是无人驾驶汽车事故中应该保护谁和责任的划分等方面的问题，其研究从道德规范、经济和法律等方面提出了关于无人驾驶事故的责任划分等问题的解决方案。

Goodall[40]认为实际中无人驾驶汽车的伦理问题关键在于无人驾驶汽车如何分配风险，并且认为需要对无人驾驶风险决策进行评估。他提出九种伦理行为评判准则，并对当前道德决策模型进行分析研究。

Bonnefon 等人[41]通过测试发现用户更愿意接受保护乘客的无人驾驶汽车，而不是功利性原则设计的无人驾驶汽车。研究认为设计伦理道德算法是非常艰难的工作。Applin[42]认为当前无人驾驶技术发展的主要难点是设计无人驾驶伦理决策算法和定义伦理行为。

Bergmann 等人[43]通过实验研究发现，实验参与者较多愿意牺牲自己拯救他人，当存在年龄因素影响时，参与者会更愿意保护更多的生命。他们认为该实验仅为研究的起点，最终伦理问题的解决应在社会认同和道德上达成一种平衡。

Edmond等人针对于无人驾驶道德决策设计了一个在线实验网站——Moral Machine[44]，如图6所示为该网站的实验界面[44]。该研究主要为了探索人类对于解决无人驾驶伦理决策困境方案的倾向。研究分别对实验数据分析得出全球道德偏好、个体决策偏好差异、决策差异国家集群和制度文化对决策的影响等决策规律。Edmond 还对在线测试数据进行进一步分析，提出一种通用性的自主道德决策方案。该方法利用机器学习方法计算社会选择偏向，有效地聚合社会伦理选择偏好，并通过测试验证该方法的有效性。

Fig.6 Moral machine图6 道德机器

McBride提出通过ACTIVE伦理决策框架[45]设计无人驾驶伦理决策，该框架主要考虑加强自治、协作和价值等方面来设计，该模型要求无人驾驶汽车和环境有更多的交互。

Goodall[46]通过调查无人驾驶车辆的碰撞事故，分析得出无人驾驶车辆无法避免碰撞的发生，无人驾驶碰撞前的决策存在道德成分和暂无实现人类道德原则的算法设计方法。研究提出一种三阶段式伦理碰撞算法，方法主要包括理性决策、人工智能和自然语言三方面，但该方法还处于理论阶段。

Menon 等人[47]认为无人驾驶伦理研究不仅限于“电车问题”，还包括风险/利益权衡、知情、风险责任和系统风险缓解等方面。他们提出了一种方法确定无人驾驶决策行为的特征，并考虑了在开发过程中所做的决策如何影响无人驾驶伦理行为。Millar[48]认为许多通用的伦理决策理论要求可应用到伦理决策设计中，并基于五个评估规范设计了一种伦理评估工具，为评估机器人和无人驾驶汽车的伦理决策提供了有效方法。Dennis 等人提出一种伦理行为决策的理论框架[49]，当一个理性智能体执行给定的伦理决策策略时，该智能体会选择最优置信度的行为。

Gerdes 等人[50]认为无人驾驶伦理决策并非由数据统计分析来确定，应由社会规则和道德综合确定。Sütfeld 等人[51]认为无人驾驶伦理决策与人类伦理原则应一致，他们利用VR技术建立沉浸式驾驶决策困境场景对人类进行道德测试，相关测试界面如图7所示。通过对数据的分析得到一种一维生命价值模型，并分析了决策时间压力对伦理决策的影响。

目前，无人驾驶伦理决策研究主要处于初期理论阶段。未来随着无人驾驶感知技术、控制技术和先进计算技术等领域的发展，及车联网通信等技术的进步，将促进无人驾驶伦理决策有更广泛、更深入的研究。

5 结束语

5.1 研究现状

目前，机器伦理决策实践设计主要从规则推理、学习算法和脑认知结构模仿等方面展开，且已经取得了一定成果。

基于规则推理的机器伦理决策设计由于其逻辑可解释性强，在不同机器应用领域间的移植性好，且规则透明使得决策稳定性好，可接受度高，因此该设计方法得到较广泛的应用。为使得无人驾驶伦理决策设计在实际中实现落地应用，通过规则设计会增加用户对伦理决策的信任度。基于规则推理设计的主要挑战是如何选择合理的决策规则，由于规则存在一定的局限性会使得最终设计对于实际工况的适应性较差。通过对国内外基于规则推理和基于神经科学两种不同的伦理决策设计实现方式的研究，总结出两种实现方式的优缺点，对比如表2所示。

Fig.7 Ethical decision-making research of driverless vehicles based on VR technology图7 基于VR技术的无人驾驶伦理决策研究

Table 2 Comparisons of two realizations表2 两种实现方式对比

人工智能技术的发展受到了脑科学研究的启发，尤其基于神经连接主义发展的深度学习和深度强化学习等机器学习方法，以及脑认知结构方面的深入探索研究。相比规则推理设计，基于脑科学伦理设计方法的灵活性更强，对工况的适应性好。由于数据模型的“黑箱现象”使得伦理决策存在一定的决策风险，未来有待进一步研究。

混合伦理决策设计是一种较被认可的方法，且已应用到实际生活中。该方法实现了规则设计和机器学习等两种方法间优势的互补，综合提高了机器伦理决策对工况的适应性和稳定性等决策性能。未来将会是伦理设计的重点研究方法。

5.2 研究难点

目前，学者从各方面对机器伦理决策设计进行了广泛的研究，但关于机器伦理决策研究中还有诸多难点有待解决。

（1）机器伦理道德地位的确立

随着机器的自主程度越来越高，未来的机器将会代替人们做大部分的工作。机器变得越来越像人类，从某种层面上来说以人类为中心的社会伦理模式受到潜在的冲击。在机器智能化发展的同时，它的道德伦理地位应该是怎样的，它是否要为决策行为担负相关法律责任等。目前，有学者认为机器可以作为自动机动攻击系统（automatic maneuvering attack system，AMAS），有学者则认为机器暂无法承担责任。对于机器的伦理地位暂无确定标准，但这是机器伦理研究的一个重要前提，因此将是未来研究的难点之一。

（2）普适机器伦理决策

未来机器广泛的应用使得需要面对复杂多变的决策场景，这要求机器在这些情况下都可以实现安全决策。目前，通过规则推理设计的主要挑战在于规则对工况的适应性不够，通过学习算法等方法的设计则需要完整、准确的数据集进行训练，且混合设计也会受到其缺点的限制。因此，机器能否在所有工况下都能做出符合伦理的决策也将会是另一个挑战。

（3）机器伦理决策评估

机器的发展应用主要是为了更好地协助人类工作，在复杂的实际工作中提高效率。随着机器在各个领域的发展和普及，它们最终将代替人类的大部分工作，并具有自主行使决策的权利。如无人驾驶技术的最终发展，将解放人类驾驶员的双手，依靠驾驶脑来决策控制驾驶车辆。但是人们如何信任机器的决策，或者如何评估机器的决策是合理的，这是未来机器伦理决策设计的又一难点。

5.3 研究方向

随着计算科学的飞速发展，以及传统机器伦理决策设计方法的局限性日益凸显，同时通过学习算法模拟人类决策的方法被渐渐应用到机器伦理设计中。随着对脑认知结构的探索，通过构建脑认知计算模型实现机器伦理决策的方法越来越受到重视。未来对于机器伦理决策设计的研究将会更加深入，本文认为未来主要研究方向包括：

（1）将人类道德规范应用到机器伦理决策设计

将人类的道德规范应用到机器伦理决策设计中，利用了规则推理决策逻辑性强、稳定性高等优势。同时机器依据人类道德规范做出决策会增加人类对机器伦理决策的接受度和信任度。其研究的重点会在如何选择人类伦理的通用道德规范作为机器伦理决策设计准则。

（2）运用机器学习实现伦理决策设计

人工智能技术的发展得益于脑科学的研究，随着神经科学和脑认知科学的进一步研究，通过机器学习模拟真实人类做出决策有望变成现实。基于机器学习等学习算法的机器伦理设计具有对工况适应性强，且计算力强，迭代更新快等优势。通过结合人类伦理的通用道德规范，未来有望在人类决策的基础上实现扩展决策，为解决伦理决策困境提供方案。

（3）利用法律及行业标准规范实现机器伦理决策设计

通过法律等进一步规范机器伦理决策设计，在一定程度上也是认可机器伦理决策的合法性，且在专业技术方面如何评估伦理决策都有待进一步研究。目前，德国已通过了自动驾驶的首部法律条例，其中包括无人驾驶伦理决策设计的规范。未来关于制定机器伦理设计研究的法律及行业标准将会是重要研究方向。