人工智能向善：面向未成年人的人工智能应用监管探研

倪琴　贺樑　王英英　白庆春　吴永和

[摘   要] 人工智能应用与未成年人之间的和谐共生是当前亟待完成的任务。由于未成年人正处于认知、心理塑造发展的关键时期，其成长发展过程中需要更多监管和关注。针对当前人工智能应用监管中存在的风险和挑战，文章从面向未成年人的人工智能应用监管框架顶层设计出发，提出面向未成年人的人工智能应用监管善治路径。监管框架顶层设计以尊重人类的自主能力为核心，提升未成年人的能动性，优化监督机制，具体包括监管内涵、技术原则和组成要素。监管善治路径从以未成年人为中心的人工智能应用监管技术体系的构建出发，探索提升场景多样化评测机制，完善面向未成年人的人工智能应用监管制度，参与面向未成年人的人工智能应用监管国际规则制定，开展面向未成年人的人工智能应用监管社会实验研究。通过研究框架和善治实施路径的构建，以期为面向未成年人的人工智能技术规范提供有益参考。

[关键词] 人工智能； 应用监管； 未成年人； 安全伦理

[中图分类号] G434            [文献标志码] A

[作者简介] 倪琴（1989—），女，安徽合肥人。副教授，博士，主要从事教育数据挖掘和智能教育算法伦理研究。E-mail：niqin@shnu.edu.cn。贺樑为通讯作者，E-mail：lhe@cs.ecnu.edu.cn。

一、引   言

随着人工智能应用场景的不断拓展，在多元化海量验证过程中不断反映出应用产品和服务固有的技术缺陷，也持续暴露出政策法律、伦理舆情与市场反馈等方面的社会性风险[1]。《人工智能应用准则》中提到“人的监督”，强调人工智能不应该超过人的自主性，人类应该监督人工智能技术的发展以及人工智能技术的决策，并在必要时进行干预[2]。由此可见，人类在使用人工智能技术的过程中应具备“自主性”，特别是面向心智尚未成熟、世界观尚未稳定的未成年人，更加需要有相应的监督和支持，以保证未成年人在与智能系统交互中保留“自主性”，具有以正确教育理念引导的成长体验。英国著名社会学家大卫·科林格里奇曾言：“一旦技术应用的风险后果发生时，它已成为经济和社会结构的一部分，对其管控将十分困难。”[3]因此，廓清人工智能应用的风险边界，并对其进行有效管控是非常必要的。特别是针对作为社会发展后备力量的未成年人，在新型智能终端迅速普及的当下，及时采取监管策略进行智能化管控，才能为未成年人提供健康的成长环境，这也将成为智能时代发展的必然趋势。面对机遇与挑战并存的人工智能技术应用，需要切实把控面向未成年人的应用监管问题。为此，文章将回归人工智能应用监管的服务本质，针对未成年人的人工智能应用风险和监管挑战，聚焦于面向未成年人的应用监管框架、善治路径，回答人工智能应用监管“是何”“为何”“如何”的问题，以期为面向未成年人的人工智能技术规范提供有益参考。

二、面向未成年人的人工智能应用风险与

监管挑战

（一）面向未成年人的人工智能应用风险

以人工智能（Artificial Intelligence， AI） 为技术支撑的应用已经贯穿于未成年人的生活、社交、出行和學习等方面[4]。新冠疫情影响下的“停课不停学”，借助于远程交互的课堂进行学习和交流，也进一步提升了互联网应用在未成年人中的普及率。未成年人正处于认知、心理塑造发展的过渡时期，其心智和价值观处于正在形成之中，需要更多关注其身心健康、安全、隐私和情感意愿等方面的健康发展。未成年人不同于成年人，他们在生理、心理上都具有较突出的特点。在生理方面，未成年人年龄偏低，身体的各种器官发育尚不完备。在心理方面，第一，未成年人的社会阅历不丰富，社会经验不足，文化知识浅薄，思想观念尚未定型，因此，未成年人对于人工智能产品中的风险辨别能力较弱；第二，未成年人心理不成熟，自身素质不完善，各方面发展尚未完全成熟，较成人而言，更容易受外界环境的影响，产品中潜在的伦理风险不利于其身心健康发展。因此，鉴于未成年人的这些特点，人工智能应用存在的潜在风险。将会产生极大的、不可挽回的安全伦理隐患，并可能对未成年人的身心健康造成长期的伤害。

在理想情况下，人工智能应用应当作为体现向善赋能的价值载体[5]，为未成年人提供动态的、有吸引力的交流学习环境，能够根据未成年人的需求自适应地提供相应策略[6]。但由于当前的人工智能是基于复杂算法和数据驱动的技术，其在运行的各个阶段会有意识或无意识地引入风险，而很多平台或软件缺乏对伦理、道德的考量，肆意侵害未成年学习者的权益[7]。面向未成年人的人工智能应用中的潜在风险存在于应用中的各个阶段：一是未成年人数据伦理风险。由于人工智能算法是在数据的基础上作出决策，故当人工智能算法的数据建模阶段出现训练数据不够完善或者不具备足够的代表性等问题时，就会引起数据偏见。数据偏见会重现，甚至放大社会中的不公平现象，造成对未成年人中的弱势或边缘化群体的歧视现象，如学习障碍歧视、排外心理等。另外，算法会不断收集用户的行为、习惯、情绪、偏好等大量数字信息，如果不具备合理的敏感信息过滤机制，算法将对未成年人的隐私、安全带来更大的风险。二是算法执行过程中对未成年人产生的潜在伦理风险。算法的伦理风险存在于算法开发完成的各个阶段。在算法开发运行过程中，由于开发中的无心错误、模型选择偏差等因素，将会造成模型在学习过程中融入相关偏差[8]。三是应用伦理风险。在应用结果层面，人工智能算法存在“信息茧房”和主体性消解风险。如迎合未成年人的需求，推荐类人工智能应用，会筑造未成年人“信息茧房”，长期使用此类产品，会影响未成年人的创造力，使得未成年人的依赖性增加，造成趋向于机器化的“同质化问题”[9]；人工智能算法的应用正逐渐使人面临客体化的危险。人工智能算法的高度智能化释放出巨大的生产力，人类对算法的依赖程度也愈来愈高，人们正逐渐从对人的信任转向对智能技术的信任，这一趋势导致了技术异化，并给人的主体性地位带来巨大的冲击。面向未成年人的人工智能应用的不同阶段的潜在风险，如图1所示。

（二）面向未成年人的人工智能应用监管挑战

当前国内外关于面向未成年人的人工智能应用监管主要聚焦在“软”治理与“硬”监管上。在“软”治理上，鼓励人工智能应用创新和增长；同时，通过准则约束和标准制定的“硬”监管来加强前瞻性预见和对未成年人的伦理保护。各国普遍都较为重视对于伦理安全的监管和约束，提出并发布相关风险管控政策。欧盟委员会成立人工智能高级小组，制定了涵盖公平、安全、透明性以及维护基本权利等诸多方面的伦理指南[10]。我国也在《新一代人工智能伦理规范》中提出，将伦理道德融入人工智能全生命周期，促进人工智能向公平、公正、和谐、安全的方向发展，避免偏见、歧视、隐私泄露等问题[11]。并于2020年发布首个针对儿童的人工智能发展原则，即《面向儿童的人工智能北京共识》[12]，涵盖“以儿童为中心”“保护儿童权利”“承担责任”“多方治理”等四大主题，并指出人工智能发展首先应该满足儿童的尊严，促进其自由发展和多元成长，不应有歧视或者潜在伤害，应当增强儿童的福祉，促进儿童的发展。

在学术研究方面，人工智能教育伦理相关研究近年来也成为热点主题[13]。由于AI教育领域的应用普遍涉及隐私、偏见、歧视、公平等伦理问题，需要前瞻性预见和伦理保护机制研究。国内外人工智能伦理问题的研究主要按照应用场景，分为关注教育数据隐私、教育技术风险、教育公平问题、教育人文精神、管理机制和政策法规五大类研究主题，见表1。在教育数据隐私方面，研究主要关注教育场景的隐私保护和开放共享数据的界定机制；在教育技术风险方面，研究主要关注因人工智能技术的引入而带来的内在风险；针对教育公平问题，相关研究主要关注如何借助人工智能教育应用来赋能教育公平；教育人文精神方面，主要关注人—机、人—人之间的责、权、利关系的界定；在管理机制和政策法规方面，研究主要关注规避伦理风险的现实路径和法规政策。

尽管当前各国政府、组织和学者都高度重视人工智能技术的应用监管，出台了大量的面向特定种类人工智能应用程序的监管规定，但对于面向未成年人的人工智能应用监管研究依旧缺乏，当前尚面临诸多现实挑战。

第一，人工智能应用中“以人为本”设置不足，“以未成年人为中心的”评估和监管困难。开展人工智能应用监管的目的，是针对未成年人的特征，为其提供安全可靠的人工智能应用辅助工具，创造良好的环境，让其在伦理监管的框架下得到健康发展。由于人工智能引发了诸多伦理方面的挑战，目前，已有一批相关专家学者达成共识，相关应用监管规范辅助工具也不断涌现。然而，当前的人工智能应用中，更多地关注应用的功能性完善，对于以未成年人为中心的设置能力不强，而面向未成年人的人工智能应用监管要从保护、促进儿童青少年健康成长和未来教育的角度出发，规范发展人工智能，助力人工智能向善赋能。

第二，技术透明设计有短板，监管与过程追溯困难。相较于其他领域的新技术，人工智能具有的黑箱、数据依赖性和通用性等技术特性，使其更为复杂、更不可控、更难预测。人工智能在取代重复性人力劳动、提高社会管理效率、提升人类生活和服务质量方面发挥了巨大的正面效益，但是目前的人工智能应用远没有达到透明、可信的要求。开展人工智能应用监管的目的，是为人工智能的发展和创新营造良好环境，让人工智能在法律和伦理的框架下得到健康发展。面向未成年人的人工智能应用对于技术要求更高，增加人工智能应用中技术设计的透明度，则为伦理和问责制度的制定提供技术支撑。因此，需要尽快推进现有的技术结构透明化、可解释、可追溯，规范监管人工智能应用，重塑公平正义的社会结构和技术结构。

第三，面向未成年人的人工智能技术评估和监管能力不足。联合国教科文组织发布的《人工智能伦理问题建议书》，强调人工智能应用的发展应当遵循伦理准则和价值观的约束[28]。对面向未成年人的人工智能应用进行全过程的监督与管理是阐释未成年人人工智能教育的底层逻辑。中共中央办公厅、国务院办公厅印发《关于加强科技伦理治理的意见》表明，当前各国在人工智能治理方面刚刚起步，相关体制机制还不健全，制度体系尚不完善，特别是针对当前未成年人这一特殊群体的全过程评估检测和监管措施尚未完善[29]。人工智能所造成的安全伦理、算法歧视和技术同化等问题，在未成年人身上表现得较为突出，影响重大深远。因此，增强面向未成年人的人工智能评估检测能力的研究迫在眉睫。

第四，人工智能应用影响社会实验缺乏，适用场景的人工智能应用监管困难。当前面向未成年人的人工智能监管主要关注于宏观方向研究，通过提倡责任担当、提升伦理素养来探讨伦理的影响，缺少智能服务和智能化应用场景的探索与社会影响的系统分析。人工智能在未成年人的生活中有着广阔的发展空间，过分夸大伦理风险将会阻碍技术的发展，因此，需要用社会实验来探索既可以鼓励人工智能领域的应用创新，又能规避不良风险的新方法，研究人工智能技术应用于未成年人的综合影响，通过精准识别人工智能应用过程中的风险挑战，不断完善社会实验的方法体系和善治路径，提升向善监管的科学化、智能化水平。

三、面向未成年人的人工智能应用监管技术

规范框架

根据欧盟人工智能高级专家组（人工智能HLEG）发布的《可信赖人工智能伦理准则》报告，强调人工智能在应用中的核心的基本权利，坚持人类尊严、非歧视等价值观，支持数据保护和隐私权等权益。面向未成年人的人工智能應用监管更需要坚持以未成年人的能力和人性化发展为目的，建立可信赖的应用。因此，人工智能应用监管本质上首先应当考虑尊重人类的自主性为核心技术原则，提升未成年人的能动性和监督机制；其次，在建设面向未成年人的可信赖人工智能应用监管过程中，应当遵循可解释原则，使得数据和决策过程透明，确保人工智能应用的决策过程是可信赖的；再次，坚持预防伤害原则，保证人工智能应用在未成年人的使用过程中是安全可靠的，支持数据保护和隐私权等权益；最后，能够坚持公平原则，确保人工智能应用“有道德、可信赖”。面向未成年人的人工智能应用监管技术规范框架如图2所示。

（一）面向未成年人的人工智能应用监管内涵

面向未成年人的人工智能应用监管主要针对未成年人的人工智能应用场景进行监督和管理。其主要目标是保护可能受到伤害的未成年人，确保其在使用人工智能应用过程中的安全。主要途径是针对未成年人的特征，建立可信赖的人工智能应用监管框架，对应用中潜在的风险进行识别，完善相应的安全伦理准则和制度，保障未成年人与人工智能技术的安全发展。面向未成年人的人工智能应用监管具有高安全性、多样性和动态性特征，可以从以人为本、高安全和可信赖三个视角来理解其监管的内涵。其一，由于面向对象为未成年人，坚持以人为本的人工智能监管的内涵，需要人工智能应用能够支持未成年人的能动性与自主性，避免用户过度依赖而影响其自主性。其二，高安全的监管策略是推动可信赖人工智能应用监管的重要保障，要求人工智能系统在开发时采用预防风险的方法，确保其行为可靠且符合预期，同时尽量减少或防止外在伤害的发生。其三，可信赖人工智能应用监管的微观基础是决策可信赖和影响可信赖，也就是人工智能应用既能保障数据和过程的透明，又能产生非歧视和公平的结果，使得人工智能应用成为真正“有道德”的应用。

（二）面向未成年人的人工智能应用监管技术原则

为保障面向未成年人的人工智能应用监管的成效，在制定监管技术原则时，可以从以下四个方面开展：第一，尊重人类自主原则。即需要考虑人工智能应用是否限制了未成年人的能动性，是否为迎合未成年人的需求而造成“同质化问题”，是否能够控制人工智能的使用时间和方式。第二，可解释原则。是指人工智能以一种可解释的人机互动方式进行交流沟通，以取得用户的信任，同时满足决策监管的要求。通过可解释技术，增强人机交互与沟通，建立和维持用户对人工智能系统的信任。第三，预防伤害原则。在算法的应用过程中会有不确定性的衡量边界，在人工智能应用的设计阶段，应当仔细检测和考虑人工智能应用可能对未成年的影响，需要根据未成年人的特点设计应用的边界，尊重未成年人的隐私和情感需求，保护未成年人的身心健康。第四，公平原则。在人工智能应用的监管过程中，不应该依赖于伦理和社会后果的事后审计，需要在算法的设计、应用程序开发过程中融入相关因素，保障过程和结果的非歧视性和公平性。

（三）面向未成年人的人工智能应用监管组成要素

为实现面向未成年人的可信赖人工智能应用监管，必须要在整个人工智能系统生命周期内实现包容性和多样性。监管的组成要素是安全监管过程中需要特别研究的对象。当前面向未成年人的人工智能应用监管可以从四个组成要素来理解和建立可信赖的体系。

第一，未成年人的能动性监管。人工智能发展的目标是更好地“为人服务”，面向未成年人的人工智能应用发展的目的是“育人为本”。然而，在实际的人工智能应用中，人作为技术的使用者，也是数据的生产者，更是技术的同化对象。教育的“育人为本”与人工智能的“为人服务”二者关系是统一的，面向未成年人的人工智能应用更应该考虑到未成年人的“发展”过程，防止陷入技术、算法为中心的服务中，使得未成年人在长期使用中逐步失去能动性和主动思考能力，趋向于机器“同化”。基于此，在面向未成年人的人工智能应用监管中，一方面，要重视未成年人的特征，坚持以未成年人的能动性为中心，遵循人本主义理念，“人类要监督人工智能决策机制设计”“人类要参与人工智能决策”“人类要完全掌握命令权”；另一方面，也需要注重发展未成年人天然创造力的优势，以保障和维护未成年人的基本权利、塑造正确的价值观和道德观、关注未成年人的身心健康为原则，发展面向未成年人的人工智能应用，同时提升算法的多样性、公平性、可解释性以及安全性等。

第二，面向未成年人应用中的数据和决策过程监管。由于人工智能算法存在“黑匣子”问题，即技术的决策过程不透明，结果不具备可解释性。这种情况下，针对未成年人的应用决策过程不可追溯，人对于系统的信任度就会大大降低。在面向未成年人的人工智能应用监管中，对于模型的可解释组成要素需要有更高的技术指标，例如，性能监测指标、数据质量指标、决策结果指标等来避免偏差的存在，避免对未成年人的生活产生不可逆的严重后果。在数据和决策过程透明化中，可解释性、可沟通和可追溯性是实现透明决策的具体举措。可解释性要求人工智能算法在推理中能够进行事前解释、事后解释和因果解释。对于不可解释的深度算法模型，能够通过事后解释来解析决策的机制和过程。对于决策的结果能够分析其真实的因果关系，而不仅仅是数据之间的关联特征。

第三，智能技术的稳健性、安全性监管。对于面向未成年人的人工智能系统而言，不仅需要确保技术的稳健可靠，更应当确保其安全性。这就要求人工智能系统在开发时采用预防风险的方法，确保其行为可靠且符合预期，同时尽量减少并防止意外伤害的发生，避免对未成年人产生不可逆的影响。通过设置安全的监管方法和措施避免学生受到潜在伤害。例如，建立持续不断的测量和评估体系，制定相应的回退策略，保证智能技术的可靠性和可重现性。

第四，人工智能应用的伦理监管。由于人工智能应用的服务对象是未成年人，根据其道德发展理论，未成年人处在道德发展的习俗水平，正从寻求认可定向阶段向维护权威或秩序的道德定向阶段转型，是一个人的道德水平发展与道德观形成的关键时期，在这个过程中，倘若作为辅助工具的人工智能没有安全伦理方面的相关规范与约束，就很可能无意识地为未成年人带来风险。因此，需要在监管过程中，建立可问责机制，增加人工智能应用的非歧视性和公平性约束，避免系统存在偏见、歧视或者不良影响，减轻潜在风险的伤害。

四、面向未成年人的人工智能应用监管

善治路径

人工智能应用监管是人工智能技术规范中与用户最紧密相连的环节。当前，却并未有明确的人工智能应用监管善治路径，人工智能应用监管仍面临着不确定性、監管基础薄弱、机遇与风险并存等监管难题，特别是在面向未成年人的人工智能应用监管方面，仍然面临着诸如监管现状模糊不清、监管内容不明确的现实难题。因此，需从理论和实践的视角，系统性地完善人工智能应用监管路径，破解人工智能监管方面的难题，保证人工智能向善赋能未成年人。文章尝试构建了面向未成年人的人工智能应用监管与善治路径，如图3所示。包括构建以未成年人为中心的人工智能应用评估和监管技术体系、探索应用场景，提升场景并多样化监测能力、完善面向未成年人的人工智能应用监管制度、参与面向未成年人的人工智能应用监管国际规则制定、开展面向未成年人的人工智能应用监管社会实验研究五个方面。

（一）构建以未成年人为中心的人工智能应用监管技术体系

“以未成年人为中心”是面向未成年人的人工智能应用监管的核心要求，需从多个维度对介入未成年人的人工智能技术进行监管。可从数据集、工具集、评测检测平台三方面入手，构建面向未成年人的人工智能应用监管的信息模型。

1. 数据集

在教育领域中，智能技术已经涉及了未成年人群体，在带来便利的同时，也带来了诸多风险。而数据是人工智能的基础，人工智能的质量取决于对其训练所使用的数据，因此，数据质量监管刻不容缓[30]。教育大数据中的绝大部分数据是非结构化数据或者半结构化数据，数据类型多样，存在采集到残缺、虚假、过时数据的可能。因此，需要围绕数据采集、数据预处理、数据标注等关键环节开展面向未成年人的数据质量监管。以可测量指标为主，以不可测量等观察指标为辅，从数据的完整性、一致性等方面对未成年人数据进行全面管理和监控，做到事前质量检查、事中运行监控、事后归纳总结，最终形成相对完整、规范、准确、及时的标准数据集。

2. 工具集

开发具有一定技术规范的人工智能应用评测工具，有效监管人工智能应用的规约性。在针对未成年人人工智能算法评测中，不仅要评测算法本身的有效性，同时要从多维度出发对面向未成年人的人工智能应用质量进行监管，包括对智能算法的有效度评测、社会性评测和伦理评测等。有效度评测指的是使用传统的算法评测指标对算法的精确度、准确性等性能指标进行的评测，是算法评测的基础环节[31]；社会性评测将人的发展性评价指标引入算法评测中，指算法是否能促进未成年人道德、情感、素养等社会属性的全面健康发展；伦理评测从隐藏在算法背后的人工智能哲学问题进行评测[32]，包括安全性评测、隐私性评测、公平性评测、可解释性评测等。从三个维度出发，形成人工智能应用监管工具集，通过全面监管，产生合乎规范设计的未成年人人工智能应用产品，降低未成年人在使用技术的过程中产生的风险。

3. 评测监测平台

建设面向未成年人人工智能应用评测监测平台，集质量评测平台与检测平台一体化。评测监测平台的主要目的是实现面向未成年人的人工智能应用评测信息化和自动化。以人工智能技术等新兴技术为底层支撑，在信息安全和隐私保护合规性框架下，能够针对面向未成年人的特定应用场景，依托标准规范完成对各类人工智能应用的全面监测处理。采用数据驱动的方式监管未成年人使用人工智能产品的情况，通过监控应用数据的采集、分析过程以及决策结果，了解未成年人使用人工智能产品过程中的认知、情感情况，确定人工智能技术是否会对未成年人的日常行为和心理健康产生影响。同时，基于数据分析结果，反向监管人工智能产品的设计和开发过程，确保人工智能产品适合未成年人需求。平台的搭建也可以同时考虑当前的监管需求和融入已有的技术架构[33]。联合既有的学生监管平台和家长守护平台，建立“一站式”的未成年人人工智能应用评测监测平台，既能对面向未成年人的人工智能应用进行评测和监测，也能监管未成年人的使用情况，并便于监护人更深层介入，对未成年人的智能产品使用进行个性化管理。

（二）探索应用场景并提升场景多样化监测能力

随着新一代人工智能技术的不断进步，传统的教育手段正逐渐向信息化、智能化方向转型[34]。当前应该抢抓机遇，积极发挥智能技术在促进教育公平、提升教育质量中的作用，不断探索智能技术的教育应用场景，推动其与教育教学深度融合，为建设高质量的教育体系夯实基础。

人工智能在教育中的应用为教育形态带来了变革[35]。随着智能技术在教育领域的应用不断深入，人工智能在教育中的应用场景已经从单点转换为多元化的应用场景。人工智能技术围绕教育实际需求，创新教育数字化核心场景，打造出一条“教、学、研、评、管”闭环链条。但是，随着人工智能教育应用场景的不断拓展，在多元化海量验证过程中不断反映出应用产品和服务固有的技术缺陷，也持续暴露出政策法律、伦理舆情与市场反馈等社会性风险。这些在教育领域中的技术缺陷和风险将会给不同教育主体带来不可预估的影响，特别是面向心智尚未成熟、世界观尚未稳定的未成年人。因此，人工智能在教育场景中的应用需要有相应的评测、监管支持，从评测、管控视角廓清人工智能应用的风险边界，提升场景多样化评测能力，检测、定位、排查因智能技術的引入给教育带来的风险，为未成年人提供健康的成长环境。

（三）完善面向未成年人的人工智能应用监管制度

人工智能应用在给教育发展注入新动能的同时，技术不合理应用导致的问题也深刻影响着未成年人的教育。未成年人保护一直是社会关注的重点。颁布完善且具有针对性的人工智能应用监管规章制度，是防范安全风险的需要，也是提升技术监管能力水平、促进未成年人健康发展的需要。

1. 企业监管制度

应加强对企业的监督和风险控制，构建集中统一、全面覆盖、权威高效的企业审计监督体系。督促企业按照审计监督制度的要求，认真组织做好内部审计工作，在开发面向未成年人的人工智能应用产品时，能够做到及时发现问题，明确责任，防范和化解风险，提高产品开发的质量，从源头启动人工智能应用监管。

2. 第三方检测准入制度

第三方测评机构在人工智能应用评测中扮演着重要角色。确保第三方测评平台的独立、公正、科学和专业是非常重要的。如果测评结果存在利益冲突等问题，会对人工智能应用的知情权和选择权造成侵害。因此，需要对第三方测评平台进行严格的监管，确保其评测结果的独立性和公正性。同时，有必要对人工智能应用评测进行法治化的系统治理，夯实企业主体责任，强化责任追究，彰显法律引领威慑和惩戒的重要作用。特别是要针对面向未成年人的智能应用，建立专门的第三方伦理、安全评估机构和监管机构，实行标准统一的准入制度。完善市场准入效能评估指标，稳步开展准入效能评估，确保人工智能应用的安全性和合规性。

3. 未成年人线上监管制度

使用互联网及其各种服务是未成年人的基本权利，也是未成年人成长过程中能够更好地参与社会生活的必要前提。保护未成年人，尤其是学龄前未成年人的网络权益，不是限制，更不是剥夺未成年人使用互联网的权利和自由，而是让其养成良好的使用互联网的习惯，不断提升与自己的年龄相适应的媒介素养。因此，政府在出台相关政策的过程中，一定要注意用规则限制商业诉求对未成年人造成的不良影响，一定要通过设置更加有建设性的未成年人技术使用模式等，限制容易使未成年人上癮并有可能形成病态技术使用习惯的应用开发和运营。

（四）参与面向未成年人的人工智能应用监管国际规则制定

随着人工智能技术的快速发展及其应用领域的不断扩大，国际社会越来越关注人工智能应用的影响和潜在风险。为了规范人工智能技术的合理应用，特别是保护未成年人的权益和安全，国际社会需要制定统一的监管规则。当前，各国政府和组织已经推出一系列人工智能应用监管条例。例如，欧盟提出的监管条款指出，为保障人们的安全和正当权利不受损害，高风险的人工智能应用应被禁止或受到限制[36]。我国国家互联网信息办公室也联合多部门发布了《互联网信息服务算法推荐管理规定》，明确表示对算法推荐类人工智能技术进行合理监管[37]。

在这个背景下，参与面向未成年人的人工智能应用监管国际规则制定，已经成为各国政府和组织共同关注的议题。因此，我国应当积极参与未成年人的人工智能应用监管国际规则的制定，深入研究国际社会对人工智能应用监管的经验和做法，结合我国未成年人特征，分析各国监管模式的优缺点和适用情况，为我国制定监管规则提供参考；积极参与国际标准制定，争取在国际标准制定过程中发挥积极作用，推动人工智能应用监管标准的国际化和标准化；应加强国际合作和交流，促进各国在未成年人的人工智能应用监管方面的协调和配合，共同应对人工智能应用监管面临的各种挑战和困难，推动人工智能应用监管国际化、标准化、协同化发展。通过国际监管规则的制定，以期在鼓励智能技术创新应用与保护未成年人的健康发展之间找到合理的平衡点，达到共赢的目标。

（五）开展面向未成年人的人工智能应用监管社会实验研究

面向未成年人的人工智能应用监管机制的构建和推行也是一个有待解决的问题。监管机制如何合理有效地推行需要进一步探究。因此，需要开展面向未成年人的人工智能应用监管社会实验研究，使未成年人的人工智能应用监管从理论规划走向现实[38]。

首先，要建立教育数字化转型试验区，评估面向未成年人的人工智能应用反馈。发现人工智能教育工具对未成年人的潜在威胁，进而针对潜在风险设计开发适用场景下的人工智能应用监管工具，从最大范围内减少人工智能工具对青少年的负面影响。需要注意的是，针对庞大的未成年人群体和不断涌现的人工智能技术及其应用模式的更新，单一的监管工具难以实现全面的监管，必须加强监管手段和方法的创新，以多元化监管方式为不同的应用场景选取最合适的监管工具，最大程度地提升监管效能。

其次，联合企业进一步开展监管工具嵌入后的人工智能应用运营服务监管工作。通过构建人工智能应用监管社会实验体系，结合人工智能技术影响下的社会实验新特点，围绕数据、技术和政策三个要素，从研究介入和效果产生的“安全性”角度，一方面，营造“无威胁”的智能教育社会实验场景，另一方面，从人工智能工具评级、使用规范、科学引导和优化支出等方面形成原创理论体系。同时聚焦人工智能技术与监管工具的联合应用场景，设计开展一系列面向未成年人的人工智能应用监管社会实验，评估迭代反馈。进一步研究监管工具嵌入后，人工智能应用的运行模式对未成年人的使用习惯等产生的影响，是否能规避或减轻智能教育工具给未成年人带来的风险等。通过持续的跟踪调查社会实验，形成面向未成年人的人工智能应用监管理论体系，制定人工智能工具引入未成年人教育领域的引导性评级，推动相关法律法规的形成。

五、结   语

人工智能应用深刻影响着未成年人的生活、学习等方面，然而，未成年人正处于身心发展、价值观形成的阶段，技术的发展如果不加以监管，将会带来诸多安全伦理问题。文章首先对未成年人使用人工智能应用的风险与监管挑战进行分析，明确了为未成年人提供安全可靠的人工智能应用辅助工具的重要性和迫切性；其次，对面向未成年人的人工智能应用监管框架进行界定，创造良好的环境作为保障目标；最后，通过探索面向未成年人的人工智能应用监管善治路径，提出从以未成年人为中心的人工智能应用监管技术体系构建框架、探索提升场景多样化评测机制、完善面向未成年人的人工智能应用监管制度、参与面向未成年人的人工智能应用监管国际规则制定、开展面向未成年人的人工智能应用监管社会实验研究的善治路径。明确了未成年人人工智能应用监管的关键要素和指标，保障未成年人在伦理监管的框架下得到健康发展。

[参考文献]

[1] 胡凡刚，孟志远，庞茗月，等. 基于欧盟人工智能伦理准则的教育虚拟社区伦理：规范构建与作用机制[J]. 远程教育杂志，2019， 37（6）： 41-49.

[2] 旷视.《人工智能应用准则》倡导AI技术健康可持续发展[J]. 黑龙江纺织，2019，153（3）：38.

[3] 陈凡，贾璐萌.技术控制困境的伦理分析——解决科林格里奇困境的伦理进路[J].大连理工大学学报（社会科学版），2016，37（1）： 77-82.

[4] 顾小清.当现实逼近想象：人工智能时代预见未来教育研究[J].开放教育研究，2021，27（1）：4-12.

[5] 祝智庭，韩中美，黄昌勤. 教育人工智能（eAI）：人本人工智能的新范式[J].电化教育研究，2021，42（1）：5-15.

[6] 刘三女牙，孙建文.人工智能时代的课堂创变：解构与重构[J]. 国家教育行政学院学报，2021，285（9）： 16-22.

[7] 李晓岩，张家年，王丹. 人工智能教育应用伦理研究论纲[J].开放教育研究，2021，27（3）：29-36.

[8] 岳平，苗越. 社会治理：人工智能时代算法偏见的问题与规制[J]. 上海大学学报（社会科学版），2021，38（6）：1-11.

[9] 彭兰. 算法社会的“囚徒”风险[J]. 全球传媒学刊，2021，8（1）： 3-18.

[10] 王铮，曾萨，安金肖，黄菁茹. 欧盟《一般數据保护条例》指导下的数据保护官制度解析与启示[J].图书与情报，2018（5）：119-125.

[11] 国家新一代人工智能治理专业委员会.《新一代人工智能伦理规范》发布[J].机器人技术与应用，2021，203（5）：1-2.

[12] 北京智源人工智能研究院《面向儿童的人工智能北京共识》发布[J]. 中小学信息技术教育，2020（10）：6.

[13] 陈浩，郑如月.近十年国内人工智能教育伦理可视化分析[J]. 教育信息技术，2022（3）：64-68.

[14] 田贤鹏. 隐私保护与开放共享：人工智能时代的教育数据治理变革[J].电化教育研究，2020，41（5）：33-38.

[15] 尹敏.人工智能应用中的隐私保护问题研究[D].山东：山东科技大学，2020.

[16] 苟学珍.智能时代教育数据安全的伦理规约简论[J]. 电化教育研究，2021， 42（9）： 35-40.

[17] 郭利强，谢山莉. 融入AI的数字教材编制：伦理审视与风险化解[J].远程教育杂志，2021，39（4）：104-112.

[18] 王旦，张熙，侯浩翔. 智能时代的教育伦理风险及应然向度[J].教育研究与实验，2021（4）：34-39.

[19] 胡小勇，孙硕，杨文杰，丁格莹.人工智能赋能教育高质量发展：需求、愿景与路径[J].现代教育技术，2022，32（1）：5-15.

[20] 顾小清，李世瑾，李睿. 人工智能创新应用的国际视野——美国NSF人工智能研究所的前瞻进展与未来教育展望[J].中国远程教育，2021（12）： 1-9，76.

[21] 李子运.人工智能赋能教育的伦理思考[J].中国电化教育，2021（11）：39-45.

[22] 张立国，刘晓琳，常家硕.人工智能教育伦理问题及其规约[J].电化教育研究，2021，42（8）：5-11.

[23] 张娜，候静怡，贺威，刘家炜.中小学人工智能应用的伦理教育研究[J].中国教育信息化，2021，506（23）：49-52.

[24] 崔志根.人工智能伦理困境及其破解[D].北京：北京邮电大学，2021.

[25] 邓国民，李梅.教育人工智能伦理问题与伦理原则探讨[J]. 电化教育研究，2020，41（6）：39-45.

[26] 赵磊磊，吴小凡，赵可云.责任伦理：教育人工智能风险治理的时代诉求[J].电化教育研究，2022，43（6）： 32-38.

[27] 沈苑，汪琼.人工智能在教育中应用的伦理考量——从教育视角解读欧盟《可信赖的人工智能伦理准则》[J]. 北京大学教育评论，2019，17（4）：18-34，184.

[28] 苗逢春. 教育人工智能伦理的解析与治理——《人工智能伦理问题建议书》的教育解读[J].中国电化教育，2022（6）：22-36.

[29] 中共中央办公厅，国务院办公厅.关于加强科技伦理治理的意见[J].中华人民共和国国务院公报，2022，1765（10）：5-8.

[30] 崔铁军，李莎莎.人工系统中数据—因素—算力—算法作用及相互关系研究[J].智能系统学报，2022，17（4）：772-779.

[31] 谢跃. 基于语音的言语置信度评测算法研究[D].南京：东南大学，2019.

[32] 孟天广，李珍珍. 治理算法：算法风险的伦理原则及其治理逻辑[J].学术论坛，2022，45（1）：9-20.

[33] 曾馨花.基于云平台的人工智能检测平台应用研究[J]. 中国测试，2021，47（10）：170.

[34] 马陆亭.教育要主动助力新一代人工智能发展[J].师资建设，2019（7）：16-19.

[35] 祝智庭，胡姣.教育数字化转型的理论框架[J].中国教育学刊，2022（4）：41-49.

[36] 吴沈括，胡然.欧盟委员会2021年《人工智能法》提案研究[J].中国审判，2021（9）：4.

[37] 国家互联网信息办公室.互联网信息服务算法推荐管理规定[J].中华人民共和国国务院公报，2022（9）：71-75.

[38] 吕明杰，王平，魏阙.从“智能社会治理实验”的视角解读数字化改革[J].信息化建设，2022（1）：20-21.

Artificial Intelligence for Good： An Exploration of the Supervision of Artificial Intelligence Application for Minors

—Research on Technical Specifications of Artificial Intelligence for Minors （3）

NI Qin1，  HE Liang2，  WANG Yingying2，  BAI Qingchun3，  WU Yonghe4

（1.Education Big Data and Education Decision Lab， Shanghai Normal University，Shanghai 200234;

2.Shanghai Institute of Intelligent Education， East China Normal University， Shanghai 200062；

3.Shanghai Engineering and Technology Research Center of Open and Distance Education， Shanghai Open University， Shanghai 200433； 4.Department of Educational Information Technology， East China Normal University， Shanghai 200062）

[Abstract] The harmonious symbiosis between artificial intelligence （AI） application and minors is an urgent task at present. As minors are in the critical period of cognitive and psychological development， they need more supervision and attention during their growth and development. In view of the risks and challenges in the current supervision of AI applications， this paper starts from the top-level design of the supervision framework of AI application for minors， and puts forward a path of good governance for the supervision of AI applications for minors. The top-level design of the supervision framework focuses on respecting human autonomy， improving the initiative of minors and optimizing the supervision mechanism， including the connotation of supervision， technical principles and components. The path of good supervision and governance starts from the construction of "minor-centered" evaluation and supervision technology， explores the improvement of diversified evaluation mechanisms for scenarios， improves the supervision system of AI application for minors， participates in the formulation of international rules for the supervision of AI application for minors， and carries out social experimental research on the supervision of AI application for minors. Through the construction of the research framework and the implementation path of good governance， it is expected to provide useful reference for the technical specifications of artificial intelligence for minors.

[Keywords]  Artificial Intelligence; Application Supervision; Minors; Safety Ethics

基金項目：2021年度国家社科基金重大项目“面向未成年人的人工智能技术规范研究”（项目编号：21&ZD328）；2022年度国家自然科学基金青年基金“基于深度强化学习的自适应学习路径推荐研究”（项目编号：6210020445）