主体与类主体：人类如何与AI 相处？
——以波音737MAX 坠机事件为例

高兆明

一、问题的提出

埃航波音737MAX 坠机事件令人战栗。a2019 年3 月10 日，埃塞俄比亚航空公司ET302 航班起飞后不久坠机，机上157 人全部遇难。根据分析，判定事故原因是飞机“迎角传感器”出现数据异常。此型飞机上新安装的“防失速”系统具有自动降低机头功能。根据波音公司事后发布的信息，737 MAX 机型上的该系统具有绕开飞行员控制的能力，即便飞行员手动拉起机头，五秒钟之后又会自动重复下降过程。而波音公司提供的飞行员操作手册与培训项目中都未提及此系统。根据美国西南航空2018 年11 月10 日的一份备忘录，该系统“设计之初仅考虑到机组手动驾驶的罕见情况”，故飞行员“不应该在实际飞行中看到这个系统”。结果，波音选择不在737MAX机型的操作手册中加入相关介绍。尽管此坠机事件是由技术原因引起，但它并不是一起纯粹技术事故，隐藏在此技术事故背后的是“意义事故”或“价值事故”。就技术层面看，似乎最终表现出的是自动驾驶级别优先于飞行员，飞行员不能操控飞机，似乎是人工智能体（AI）与飞行员之间在紧急时刻对飞机的实时最终控制权之争，但背后存在着的是两种根本不同的价值理念之争：是人控制AI，还是AI 控制人。此起灾难性事件凸显了人类现时在与AI 关系问题上的某种迷惘与混乱，并以沉重代价要求人类直面如何与AI 相处的问题，在形上层面澄清：在人类与AI 关系中，根本上究竟是以人为主导，还是以AI 为主 导？

“人类如何与AI 相处？”这一发问，不是工具理性意义上的，而是价值意义世界的。确实，人类与任何事物均有如何相处的问题，因为，在一般意义上，对于人类而言，如何与他物相处所指向的，不仅仅是认识与理解他物，进而构建起与他物统一的现实关系（其中当然包括对他物的合理利用与控制），而且更为重要的是指向对人类自身的认识与理解，构建起自身的日常生活世界，并在此日常生活世界中具体思考“我是谁”“我能做什么”“我能成为什么”等问题，展开“成人”的具体过程。在这一点上，AI 与他物无异。然而，问题在于：尽管AI 系人类创造，但是AI 不同于人类此前任何一种创造物，AI 有“智能”，AI 不仅有“学”与“思”的能力，而且还有超强的执行行动能力，并因此显现出某种自主、自抉能力。具有自主、自抉能力的AI 正使人们形成一种印象：AI 具有某种主体性，正成为主体；AI 的演进方向似乎是正在逐渐消除与人类的根本界限，要成为与人类一样的主 体。

人类借以超越万物并引以为豪的，不外乎是有智慧或理性能力，理性能力包括理论理性能力与实践理性能力两个基本方面。理论理性能力是对真理的认知能力，理论理性对真理的认知不仅包括科学认知，还包括对人的存在意义、价值世界的认知。实践理性能力不仅是亚里士多德意义上的，更是康德、黑格尔、马克思意义上的，是人能动创造世界的创造性活动能力。然而，正如前述，AI 似乎正在试图分享人类引以为豪的理性能力，正在向成为与人类一样的主体演进。因AI 技术的迅速发展与日益广泛应用，人类的生存境遇与尊严正在受到前所未有的挑 战。

AI 技术的迅猛发展与广泛运用是当今人类社会无法抗拒的趋势。AI 技术作为“座驾”，a参见海德格尔：《技术的追问》，载《海德格尔选集》，孙周兴选编，上海：上海三联书店1996 年版，第924—954 页。对人的生活方式、交往方式、精神世界将带来难以想象的改变。从技术与社会文明的角度看，人类历史正在因AI 掀开新篇章。AI 技术正在并将以超出想象的速度给人类带来更多福祉，人类在将越来越多的具体事务交给AI 的同时，将自己从繁重、无聊、重复、琐碎的劳作中解放出来，并在对AI 寄以无限期待的同时予以高度信任。不过，在这种根本变化了的生存境遇中，人类正面临前所未有的挑战。人类应当如何行为，如何重构自己的社会生活秩序与心灵秩序？人类应当如何对待AI 技术，人类对待AI 技术的行为规范性及其根据何在？在AI 技术时代，人类是否还要坚持自身独有的主体性地位，是否还有保持自身尊严及其高贵性的使命，是否还要坚持“成人”？如果放弃人类自身独有的主体性及其高贵性，人类又何以“成人”？尽管当今人类无法阻止AI 技术的进一步发展，但是，人类却应当为了自身长远福祉，基于理性严肃思考AI 技术的发展方向，思考人类与AI 的基本关系及其相处的基本范式，规范设计、制造与使用AI 技术活 动。

二、AI 是主体吗？

AI 的自我学习、自主自抉能力，似乎越来越让人们相信AI 是主体，甚至人类已赋予个别AI 某种法律权利与公民身份。如果AI 是与人类一样的主体，那么，人类与AI 的关系在原则上就是“主体间”关系，而“主体间”关系与“非主体间”关系是两种有原则区别的关系范式。在此意义上，要合理澄清人与AI 关系问题，首要任务就是澄清AI 属性，澄清AI 是否真的是与人一样的主 体。

确实，AI 具有自我学习能力，具有自主、自抉能力，且在具有明确目的性的同时具有超强的行动能力，甚至在一些具体方面远超人类。这些似乎都鲜明地显示AI 具有主体性，是主体。然而，AI 真的是主体吗？AI 在何种意义上是主体？拥有自主、自抉能力，乃至拥有自我学习能力的存在物就一定是主 体？

何谓“主体”？根据黑格尔的看法，一切实体均是主体，但人是意识到自身是自由的精神主体。a参见黑格尔：《精神现象学》 （上卷），贺麟、王玖兴译，北京：商务印书馆1987 年版，第11 页；《法哲学原理》，范扬、张企泰译，北京：商务印书馆2009 年版，第46 页。所谓一切实体均是主体，是在事物具有自主运动能力的自主运动意义上而言，指事物运动的原因不在外部，而在自身。正是在此意义上，黑格尔甚至曾认为阿米巴虫亦是主体。不过，作为实体的主体有自在、自为之分。阿米巴虫只是一种自在的生物生命体，没有精神意识，不是自为的，更不是自由的，因而，谈不上是真实主体。人则不同。人作为主体，不仅有意识，且能够意识到自身是自由的；不仅有自由精神，而且还有意义世界及其自觉追求；不仅能够认知外部世界，而且还能通过自身的创造性活动，创造现实自由世界。人是精神性存在，人有精神意义世界，自由是精神的内在规定，人的一切活动是自由精神的显现。自觉意识到自身是自由的这一自由精神及其自觉实践，是横亘在人与AI 之间的鸿沟。至少迄今为止，AI 没有自我意识，没有意义世界，没有自由意志，没有作为形成意义世界前提的社会性。即便我们在理论上取彻底开放性态度，不排除AI 有演进成为主体的可能，但那一天极为遥 远。

然而，问题在于：根据一般印象，能动性、自主性是主体的基本特质，既然如此，为什么AI 所显现出的这种自主、自抉能力不能被理解为主体性能力？为什么具有自我学习、自主自抉能力的AI 不能被视为主体？对此问题的基本回答是：其一，自主、自抉是主体的必要条件，却非充分条件。自主自抉、意义世界、变主观为客观的创造性活动，才是真实主体的充要条件，更何况AI 的自主自抉只是外在现象的，而非内在精神的。即便AI 确实具有某种目的且有向着既定目的前行的坚定行动能力，但是，其也不能在严格意义上被称为真实主体。一方面，AI 的自我学习、自主自抉能力在根本上由人类算法支配；另一方面，AI 的目的不仅系人为设定，而且它只是具体目的，不是意义世界的终极目的，AI 没有意义世界及其目的性。其二，根据康德的看法，主体属于自由王国，主体性的要旨不是现象的自动，主体性是自由意志精神：主体不仅为自然立法，亦为自我立法，不是服从自然因果必然律，而是服从自由律，是“自我立法”的自律。AI 似乎具有自主、自抉性，但是，正如前述，它没有意义世界与价值目的性，即便其所具有的功能目的性亦是人类设置，AI的具体行动策略选择由人类算法事先规定。AI 不具有康德意义上的主体 性。

不过，AI 自身所具有的这种自我学习、自主自抉特性，又确实呈现出某种智能主体活动的特征，并使其鲜明地区别于其他一切自然物与人造物。AI 既不同于人类，亦不同于地球上既有的一切自然物与人造物，AI 是地球上新近出现的一类具有某些主体性形式特征的人类创造物。AI 不是主体，AI 是“类主体”，此“类”为“类似”，指AI 具有主体的某些自主自抉“智能”特征，在一些方面类似于主体，但并不是主体。“类主体”使AI 既区别于一切自然物与其他人造物，又区别于人 类。

对于AI 不是主体而是类主体的这一认知，有助于从根本上澄清时下令人们困顿的关于AI 的道德价值与道德责任问题。时下人们所关切的AI 道德价值与道德责任问题，不是AI 自身内在的，而是人类加予AI 的。AI 不是主体，不属于自由王国，这自然意味着AI 不可能是道德主体。AI 行动所具有的所谓道德价值在根本上就不是AI 自身的，而是人的；AI 行动的所谓伦理性或道德性，就不是AI 行动内在所具有的，而是其行动结果合乎伦理或道德规范状况的。具体言之，其一，在某种意义上AI 是算法，算法法则体现价值法则。AI 究竟有何种算法法则，这由设计者规定，说到底AI 的算法法则体现的不过是设计者的价值法则。其二，AI 不具有道德能力，更无所谓具体情境中的道德“想象力”a参见杜威：《人性与行为》，载《杜威全集》 （第14 卷），罗跃军译，上海：华东师范大学出版社2012 年版，第113—114、117 页。，因而，AI 既无所谓道德行为选择能力，亦无所谓道德责任能力。时下一些学者所说伦理性的AI 问题，其要旨也只是：使AI 在行动结果上显得合乎伦理或道德规范性，显得是善的，进而使AI 显得有伦理道德。所谓具有伦理性的AI 不过是指：具有某种行动能力的AI 能够在行动结果上显得是合乎伦理道德规范性的，是善 的。

尽管AI 不同于既有的一切自然物与人造物，是“类主体”，但是，人类与AI 的关系问题在总体上仍然没有超出古老的人类与自然（或物）的关系问题。古老的人与自然关系问题可以有诸多理解角度与层面，但核心均离不开人在宇宙中的位置。人不是自然生命体，人是自由精神存在；人不是简单地“在”世界中，人就是其生活世界，人在自身生活世界中成为人。尽管后现代在反思现代性过程中对“人类中心主义”提出诸多批评，但是，“人类中心主义”所指向的“人是目的”、人类一切实践活动在价值上均以人类自身为目的这一核心内容，却是人类极为珍贵的思想财富。在现代性过程中的“人类中心主义”思想及其实践之所以受到来自后现代思想的诘难，不在于其坚持“人是目的”这一人类活动的最终自身价值指向性，而在于其主客二分对峙的世界观与方法论，在于离开了人的生活世界孤独地理解人，没有认识到宇宙万物构成了人类现实生活世界。为了自身，人类应当珍惜与善待宇宙万物，与万物和谐相处，共在共生。与宇宙万物和谐相处、共在共生当然也是一种价值观，但是，这种和谐相处、共在共生关系中有价值目的性和核心，就是人类自身的生存与发展。尽管AI 技术作为“座驾”会深刻影响与改变人类存在方式，但是AI 本身作为人类的创造物，首先是作为人的工具出场。在人与AI 关系中，人永远处于价值目的性地 位。

来自后现代性对现代性的批判曾一度成为时尚，这种时尚甚至反对人类主体性，主张人与动物平等，主张将动物权利纳入正义边界，等等。这种思潮与其反思对象构成两个极端。AI 技术则以一种极为尖锐且无法回避的方式向人类提出：人类在AI 面前真的应当放弃，或者与AI 分享自己的主体性地位吗？至少就人类迄今为止的认知水平而言，AI 在根本上仍然没有超出人类的创造物范畴。AI 是人类创造的类主体，AI 在根本上仍然是人类造福自身的工具——即便考虑到随着AI 技术的进一步发展AI 会以某种方式与人体（生命代谢、运动、认知、记忆、思维、情感活动）相融合的情景，也不能改变此种判断。那只是在现象界模糊了人体与某些AI的界限，但却不能改变这些与人体融合的AI 的基本属性，否则，就可能从根本上是反人性的。AI 是人类造福自身的工具，这是人类与AI 关系的基石。一旦离开这一基石，一切关于人类如何与AI 相处的思考，就会陷于混乱乃至灾 难。至少《三体》从一个侧面向我们深刻揭示了这一点。

三、AI 值得信任吗？

AI 是否值得信任？人在何种意义上信任AI？如果我们能够承认AI 不是主体，而是类主体，那么，人类对AI 的信任在总体上就不是主体间的，而是作为主体的人对于自身创造物的信 任。

主体间信任是人际信任。主体间信任总是发生在伦理共同体中，并有“背景性制度框架”与“背景性价值框架”a参见泰勒：《自我的根源：现代认同的形成》，韩震等译，南京：译林出版社2001 年版，第27 页。作为基本框架与规范。这意味着主体间信任既有“共通感”这一人性前提，又有基于某种共同价值精神的相互对话、认同、承认，以及基于交互主体性的承诺—守信，还有制度性信任安排以及基于制度性安排对基本交往方式与结果的可预期性。主体间信任关系的形成，除了前述宏观伦理共同体及其背景性框架外，在微观上直接依赖主体对交往对象的基本判断：其能力与美德是可靠的。主体基于这种判断，相信交往对象有能力且能负责任地履行义务。即，在主体间信任关系中，一个主体之所以能获得另一个主体的信任，因其具备两个基本条件：可靠的客观能力与值得欣赏的道德品质。交往对象既具备完成某种活动应有的相应体力、智力、技能等客观能力，又具备善良意志、负责任、创造性等主观精神。一个仅有客观能力，或仅有主观善良愿望与态度者，不能获得可靠性判 断。

由于AI 不是主体，AI 无所谓善良意志主观精神，因而，人对AI 的信任就不是主体间意义上的人际信任。人对AI 的信任是对AI 专业活动能力及其可靠性的信任。那么，AI 在专业活动能力方面是否无所不能、可以值得绝对信赖？对于具有超强能力的AI，人类是否可以无条件地给予充分信任，托付自身命运（恰如波音737MAX 灾难性事故中所显现的那样）？确实，随着AI 技术的发展，AI 具备了越来越精密的感知能力，且在超强运算与瞬时传输能力之下，具体反应的精准与速度亦可能远远超过人类。不仅如此，AI 还具有超强的行动能力。在AI 技术给人类带来的那些具体便利与福音面前，人类出于理智会选择使用并相信AI，甚至在必要时自觉不自觉地放弃自己的主导权，将自己的命运事实上交给AI 控制。确实，人类在日常生活中应当信任自己的创造物，否则寸步难行。但是，问题的关键在于：一方面，此种信任以对其合理认知为前提；另一方面，此种信任是有条件的，是在合理范围之内的有限信任。否则，信任就变成轻信乃至迷 信。

AI 并非无所不能，即便在专业能力领域，AI 的认知与行动能力亦有严重局限性。这种局限性，不是某个具体知识与行动能力方面的，而是一般认知、判断、选择能力方面的：AI 缺失人类的想象力与怀疑反思精神。AI 的这种一般认知、判断、选择能力的局限性，直接决定了其具体认知、行动能力无法摆脱的局限性。具体说来，其一，AI 缺失富有想象力的创造性。用以支配AI 认知、判断与行动选择的算法原则是大数原则，大数原则是选择大概率，拒斥小概率。然而，真正具有突破性的创造活动，往往出现在小概率情况下，使那些似乎不可能或极小可能的成为可能，并变成现实。小概率不是不可能，小概率也是一种现实可能，关键的是条件，只要具备必要条件它就能成为现实。想象力是使不在场的成为在场、从“能是”认知“所是”的一种能力。想象力打开可能世界，并创造无限可能的现实世界。想象力使人类具有非凡创造力，使似乎不可能的成为现实。其二，缺失怀疑反思精神。AI 认知、判断、行动确实表现出某种坚定性以及具体情境中的灵活适应性，不过，由于AI 算法的先在规定性及其大数原则，AI 的认知、判断、行动选择在总体上只是一种大概率事件，既没有内在自觉价值目的性，也没有自觉质疑精神。人类的认知、判断、选择活动是具体情境中的开放性过程。反思怀疑精神是人在开放世界坚持人类基本价值精神的创造性活动。这种怀疑反思精神来自两个方面：一是基本价值精神，一是具体情境中的具体手段选择。在波音737MAX 事件中，当飞机处于起飞高度机头被反复强制下压时，AI 自动系统不能“意识”到此时此种强制下压机头选择的灾难性风险，也未能“意识”到迅速与塔台指挥或飞行员及时沟通确证的必要，“一意孤行”。AI 自动系统反复强行执行机头下压，是因为它根据程序“感觉”到飞机处于风险状态，要规避风险。但是，AI 自动系统恰恰此时缺失更为根本的大局风险“意识”：处于如此起飞高度的飞机机头下压意味着何种危险！由此可见，即便是在AI 极为擅长的专业领域，其认知、判断、行动选择能力也是有限、有条件的，未必值得完全信 任。

鉴于AI 缺失意义世界，缺失人是目的、自由意志精神，没有道德感，鉴于AI在具体领域中超强技术能力的有限性，人类对AI 的信任只能是一种有条件的有限信任。人类不能将自己命运的最终决定权无条件地交给AI，尤其是不能放弃紧急关头的人类最终选择 权。

波音737MAX 灾难事故，以灾难性方式表明人类最终选择权的价值。当然，对此也许会有来自人类航空史上另一灾难性事故的反驳。a2002 年7 月1 日深夜，俄罗斯的一架客机和敦豪国际快运公司的一架货机在德国南部上空猛烈相撞，机上71 人全部遇难，其中包括52 名孩子。那次事故发生时，两架飞机都在瑞士苏黎士空管中心的管辖范围内，事后调查证实瑞士苏黎士空管中心对这场悲剧负有责任。当时，两架飞机在两个空管交接区相遇，由于一系列原因，两架飞机彼此发现在同一航线、同一高度且相距极近，两架飞机均自动启动紧急避让系统，上下交错300 米。但是，与其同时，空管中心的空管员突然发现两机处于危险状态，便紧急给出控制指令，且此指令恰恰与飞机自动避让系统自动给出的相反。飞行员根据空管指令操纵飞机避让，最终导致两机直接相撞。此次事故后，国际航空组织制订了一条航空管制中的空中紧急避让规则：当出现空中飞机相撞危险需要紧急避让时，若人工管制指挥与飞机自动检测系统指令发生冲突，则服从自动检测系统。此案例似乎表明：在紧急情况下自动检测系统指令优先于管制员指令，人的命运主宰权交给自动检测系统。不过，如果注意到以下两个条件，就不会轻率地得出此种结论。其一，飞机的操纵权在飞行员手中，只是强调飞行员在处置此类情况时的信息依据优先性。其二，有双重技术验证机制保证的信息可靠性。相关两架飞机各自均有相应检测验证系统，即便其中一架飞机相应传感器检测系统出现故障，还有另一检测系统工作。这种信任，如同人类大海航行、陆地行车信任GPS 导航一样，是人类对成熟技术及其可靠性的信任，且这种信任本身既不排除对相关信息的双重验证，更不排除人类自身对航行器的实际掌控 权。

就技术上言，至少发生事故的波音737MAX 的技术可靠性存疑。导致波音737MAX 事故的是飞机上的“迎角传感器”失灵。设计者不知基于何种考虑，此类飞机只设计一个“迎角传感器”，而没有取可以双重验证的技术路径，以防其中一个传感器失灵还有另一个可以验证，不至于在自动驾驶中犯下无可挽回的毁灭性灾难。再加上相关飞机操控优先权设定，飞行员在发现异常后不能操纵飞机，使飞机出现灾难性事 故。

当然，技术失灵不能成为不信任AI 的充分理由，因为人类同样会犯错误，甚至会犯下重大灾难性事故。诸如日常生活中常见的司机注意力不集中、判断操作失误，化工厂阀门工操作失误等所造成的灾难性事故，乃至如切尔诺贝利核电站爆炸事故，等等。这些正是人类引入自动化、自动驾驶汽车等的合理理由。在此意义上，即便是在行动操作可靠性上，人工操作并不比AI 显得更为可靠。既然如此，为什么不能如同信任人类自身一样信任AI？为什么最终要由人自身掌控？这里应区分形上与形下两个不同层次的问 题。

就形上言，人的任何活动均有风险性，甚至不能排除有灾难性风险的可能，为什么在AI 与人的行动同样有灾难性风险可能的情况下，最终选择权要掌握在人手中？理由何在？理由很简单，仅仅因为人的终极性形上理念：人是主体，必须将命运掌握在自己手中。一个不能掌握自身命运者，只能是被摆布的玩偶，不能成为主体。只有人类自己才能够掌握自身命运，否则，人类就是被支配操纵的玩偶，就不是主体，就没有高贵性与尊严。人是意识到自身是自由的存在，人是自由的。仅此理由足 矣。

就形下言，人类对AI 的信任，探其究竟，是对人类自身的信任：对人类自身理性、科学精神的信任，对自身认知与创造能力的信任，对自身创造物质量及其可靠性的信任，对相关专业同胞创造性活动及其成果的信任。然而，世界是开放的，一方面，理性有哈耶克所谓的“理性不及”；另一方面，美德亦未必可靠，即便基于善良动机也未必有好的结果。即便是公认最优秀的设计师、工程师，也有失误的可能，更何况人世间德艺双馨者凤毛麟角，绝大多数人在多多少少怀有某种私念的同时，技术技能亦有所欠缺。出事故的波音737MAX 为何只设计一个迎角传感器？为何在飞行手册上没有明显相关提示？如此等等，本就是令人深思的问题。这样，我们的视野就不得不由一般意义上的人类对AI 信任问题，进一步深入至人类的一部分人对另一部分人的信任问题。如是，则问题本身就进一步转换为：紧急关头的最终选择权是掌握在具有一定选择能力的自己手上，还是他者手上？在一般意义上，一个人自己的命运是否可以无条件地交付他者做主？如果有选择能力的自己无条件地将命运交给他者做主，那么，其还是主体 吗？

四、AI 有可能失控吗？

AI 技术将渗透进我们日常生活的每一个方面，它直接参与构成人类的生存境遇。不仅如此，AI 还一定会以各种方式在生命有机体与社会有机体两个层面上不断与人融合。今天，任何关于人类能是怎样、可能怎样、能做什么等康德式的永恒追问，都离不开AI 因素。AI 通过构成人类生存境遇而影响人性、人类的日常生活方式与交往方式以及人类的可能世 界。

人类的任何创造物都有可能失控。即便是简单的一把斧头，也有可能由于制造、维护过程中的细微失误而失控，在此意义上，AI 亦不例外。此处的关键是：在何种意义上理解此处所说的“AI 失控”？就此问题至少值得进一步追问：谁之失控？何种失控？“谁之失控”追问的是此“失控”相对的是人类整体，还只是人类的某些人？前者指向的是人类整体不能有效控制AI，后者指向的是人类社会中的一部分人失却对AI的有效控制。这是两类完全不同性质的问题。“何种失控”追问的是失控程度状态是全局性的，还是局部性的。前者指向的是对人类整体命运无可挽回的灾难性失控，人类不再拥有通过“理性学习”实现“理性累积进步”a参见哈耶克：《自由秩序原理》，邓正来译，北京：生活·读书·新知三联书店1997 年版，第65—67 页。的时间与空间。后者指向的“失控”还只是有限范围内的，至少人类还有时间与空间通过发挥自己的理性能力，在开放性过程中克服“理性不及”，纠正自己的失误，继续进行“理性累积进步”过 程。

赫拉利曾预言“神人”将主宰社会。“神人”是那些掌控与使用AI 技术的技术专家，以及掌控这些技术专家的金融与权力资本，人类社会成员并据此被分为“有用”与“无用”两类，且绝大部分属于“无用”“多余的人”。b参见赫拉利：《未来简史》，林俊宏译，北京：中信出版集团2017 年版，第275、286 页。赫拉利的预言可能失于夸张，但是，他所揭示的问题本身却值得重视。根据赫拉利的思路，人类如何与AI 相处的问题，事实上就变成了如下问题：人类大多数人如何与那些掌控AI 的“神人”相处，那些“神人”是否可能以及如何可能通过AI 控制与支配社会，人类社会如何避免被这些“神人”控制与支配。至少就目前人类所能达到的有限认知而言，AI 是人类工程师的作品，AI 没有自由意志，AI 不能自我繁殖，AI 不能形成独特的AI 社会。因而，人们时下所谈论与担忧的AI 对人类社会的可能支配问题，实质上是那些有能力设计、制造与控制AI 的“神人”对人类社会的控制与支配问题。人们信任AI 并将最终选择权交给AI，事实上是信任并将命运交给那些设计、制造、使用AI 的“专家系统”c参见吉登斯：《现代性与自我认同》，赵旭东等译，北京：生活·读书·新知三联书店1998 年版，第20 页；吉登斯：《现代性的后果》，田禾译，南京：译林出版社2000 年版，第19 页。。而根据赫拉利的说法，这些工程师又会以各种方式受金融寡头与权力垄断集团控制。在此，知识、资本、权力三者前所未有地整合一体，并构成赫拉利所说的“神人”集 团。

人类发明、制造、使用AI，是希望AI 造福人类自身，但是，事物演变进程往往不以人的意愿为转移。AI 与人类关系究竟可能怎样，不仅应当考虑人类设计、使用AI 的动机、目的、价值立场，还应当考虑到AI 技术的可能演进、发展水准。就人类与AI 关系而言，应在这二者的连接中理解人类的生存境遇及其可能世界。在总体上，AI 技术演进与使用有三种可能途径及其结 果。

其一，AI 具有自我感知能力，有基于优越能力的优越感。而基于“自我”感知能力的“自我意识”有可能会进一步形成两种意识：（1）优越意识以及因自我优越意识而形成的如同黑格尔、福山曾说的要求“承认”及其不服从与反抗。（2）恐惧与害怕以及因恐惧与害怕而对行为的节制。如果AI 有感知能力而无恐惧，AI 还能被人类控制吗？现在看来，这种可能演进路径及其结果还只是一种幻 想。

其二，AI 不能被人类有效控制。这种失控有局部与整体两种可能类型。局部失控是个别类型的AI 由于特殊原因，设计、操控者不能有效控制。尽管局部失控只是有限范围内的，但它对于人类而言仍然是灾难性的，如波音737MAX 事故。整体失控则是由于AI 自身演进达到令人难以想象的地步，乃至于人类在总体上不能有效控制自己的创造物。尽管现在看来这种可能性微乎其微，但却不能断然否认。更为重要的是，也许人类甚至无法判断区分局部失控与整体失控的清晰边界究竟在哪。要防止与控制此类可能风险，最重要的是人类在设计、制造、使用AI 活动中的科学精神与谦卑态度。人不是神，人不是万能的，人不能“滥用科学”a参见哈耶克：《科学的反革命：理性滥用之研究》，冯克利译，南京：译林出版社2003 年版，第108—109 页。，人类应当在科学精神引领下一步步小心探索前 行。

其三，AI 为其设计、制造、掌控者即“神人”所掌控，并成为“神人”的社会控制工具。在数据技术时代，人类对AI 的依赖性只会增加，不会减少。而AI 行动由算法规定，算法由工程师撰写，一切软件命令只不过是工程师对问题的理解及其解决策略。在此意义上，如果说在数据时代AI 对社会的影响与控制作用越来越强，这事实上就意味着：那些设计、制造、掌控AI 的“神人”有可能越来越得心应手地掌控社会命运。在AI 技术时代，人类的生存境遇发生了重大变化，并在此生存境遇中显现出一种新的生存悖论。具有自我学习、自主自抉与超强行动能力的AI 应当置于人类的有效控制之下；人类通过极少数专业人员，即那些所谓“神人”控制AIb这意味着只要人类愿意，就可以以极为隐藏的方式在AI 中留下可以施加控制的有效通道。这在日常生活的意义上意味着什么？思之不安。，这些“神人”通过控制AI 而控制人类。人类在努力摆脱既有控制时，又陷入了另一种新的控制。这种新的生存悖论，是人类自身文明演进过程中的新挑 战。

AI 对人类的影响最终取决于人类自身。一方面，人类是否能够抵制自身的贪婪、狂妄自大，是否能以负责任的态度从事AI 技术研发、设计、制造与使用，是否对必然世界持某种敬畏心，以科学态度谨慎工作，是否在风险可控前提下摸索着发展AI 技术。另一方面，人类是否能够在数据时代适时并恰当地调整自己的社会结构体系及其文化价值，避免因AI 技术造成人类内部分裂，避免使AI 成为一部分人掌控与支配另一部分人的工 具。