人工智能课程教学评价量规设计模型与实践案例研究

李睿?何敏怡

摘 要：研究主要围绕人工智能课程教学评价展开，从人工智能课程教学评价现状、人工智能素养培养目标、传统评价理念与新型课程的矛盾冲突出发分析人工智能课程教学评价研究的必要性和迫切性。接着就评价量规应用于人工智能课程教学评价的适切性展开探讨。针对评价量规设计与落实，研究基于经典的评价系统三要素模型设计出指向人工智能课程教学评价的评价量规设计模型，具体为目标——期望成就、认知——学习进阶、观察——任务情境、诠释——评价量规四个步骤。根据模型以“智能分类器的特征提取”教学内容为例，展示完整的评价量规设计流程。最后论述了评价量规的应用有望让课程评价实现学生主体性、客观性、个性化和智能化。

关键词：学习进阶；评价设计；量规；人工智能课程；人工智能素养

中图分类号：G434文献标志码：A文章编号：2096-0069（2023）01-0077-08

引言

国务院发布的《新一代人工智能发展规划》和教育部印发的《教育信息化2.0行动计划》中都同时强调，应逐步向全民普及人工智能教育，特别是做好中小学阶段人工智能课程的建设和推广[1-2]。可以说在中小学开展基础性的人工智能课程是必然趋势。那么，人工智能课程到底能够在多大程度上完成正确价值观、基本知识与能力的培养是面临的关键问题之一。要回答这个问题，绕不过教学评价。从系统性角度出发，人工智能课程的教学评价在设计上既要“看见”新型课程的特点，又要“看见”学生学习的规律。

一、研究现状

我国中小学人工智能教育发展进入快车道，各省市区和各级各类学校积极开展人工智能课程。[3]其中，教学评价是完整教学过程的重要一环，成功的评价设计能给学生学习、教师教学及利益相关者的教育行动带来真实而有价值的反馈。但目前国内学界对中小学人工智能课程评价的关注度不高[4]，对具体教学评价方案的研究内容较少[5]。基于此，本文回答了人工智能课程应该“怎么评”的問题，并展示了相关教学案例。以期弥补我国人工智能课程评价研究之薄弱，希望为人工智能教学实践提供些许借鉴。

对于人工智能课程应该“怎么评”的问题，楼又嘉等人[6]提倡开展实证取向的课程评价，认为应关注形成性评价和总结性评价的过程，关注学生学习全过程和最后学习成果及案例的呈现，并构建人工智能课程考核评价量规。詹泽慧等人[7]认为应在人工智能课程中开展表现性评价，可以从学生的行为、作品、项目工作日志、试题或量表五个方面进行评价。可见，针对人工智能课程的教学评价总体趋势是基于学习证据和学习者表现的评价，但目前也存在一些误区和不足。一是直接套用信息技术课程目标，或把计算思维和编程能力作为主要教学目标。虽然人工智能是信息技术的分支，但人工智能课程有其特殊的教育使命，不能混为一谈。二是评价不是指向素养能力达成情况，而是指向具体任务的完成情况，如作品出现或未出现的具体元素、作品外观等，实际上只是项目清单，这种笼统的评价指向甚至会束缚创造性和元认知的发展。三是各研究者只是发现了课程中缺乏“评价量规”等工具的使用等问题，但并未给出具体解决措施。出现这些误区与不足的原因，主要在于人工智能课程评价设计缺乏系统性。所谓系统性，意味着评价设计不是独立存在的，而是在课程设计中与其他课程要素相联系的，共同服务于课程实践。其中，学术概念“课程联合”正是反映了这种系统视角下对评价设计的认识，即不同类型的学习结果和学习内容需要匹配不同的评价技术[8]。完整的教学评价设计应是自上而下的，即要从人工智能课程的评价目标、评价内容、评价标准、评价方式、评价工具来层层推演和精心设计。那么，与人工智能课程目标、内容、结果相匹配的评价应是什么样的呢？

二、评什么：适应智能社会的人工智能素养

若要回答人工智能课程教学“怎么评”，首先应明确评价目标，即“评什么”。我国研究者早已意识到人工智能素养的重要意义，并从不同角度对其进行研究和解构。侯贺中等人[9]从智能意识、智能态度、智能伦理、智能知识、智能技能、智能思维、智能创新等7个维度构建了智能素养金字塔模型，并把智能素养划分为初级（感受）、中级（体验）、高级（创新）三个递进的阶段。郑勤华等人[10]从人机协同的融合智能观出发，从智能知识、智能能力、智能思维、智能应用、智能态度五个维度阐述了智能素养的构成。张银荣等人[11]以“人工智能五大理念”为理论基础，建构了人工智能素养结构模型，其中AI 知识、AI 能力、AI 伦理是人工智能素养的3个重要维度。无论人工智能素养的构成维度如何发生变化，实际上可以看出人工智能素养并非指某一种特定的知识或简单的能力，而是指在智能时代基于全新的人与技术的关系视角重建人的自我认知，学会与智能技术共处的一整套知识、技能、价值与信念。中央电化教育馆发布的《中小学人工智能技术与工程素养框架》中，明确指出以适应未来智能社会的必备品格和关键能力培养作为教学目标，本质上也是指向以人为本的人工智能素养的达成[12]。

当然，人工智能素养能力的内涵并非静态而是发展的。联合国教科文组织的人工智能素养能力框架的设计立足于以学习者为中心的教育理念，强调学习者（特别是非技术学习者）如何理解人工智能及如何与人工智能交互和合作。故而，从数字人文主义视角出发，以联合国教科文组织的人工智能素养能力框架为基础，结合我国《中小学人工智能课程开发标准（试行）》和《中小学人工智能技术与工程素养框架》，重构中小学人工智能素养能力框架。研究通过梳理人工智能素养各要素，围绕对人工智能的五个认知问题重构了素养能力框架（见下页图1）：什么是AI，AI能做什么，AI如何工作，如何设计AI系统，如何应用AI。在联合国教科文组织的素养能力框架下，增加“如何设计AI系统”这一问题框架，包含算法、编程、系统工程、系统设计与开发、系统评估与维护5个能力维度。在“AI如何工作”问题下，增加“人机协同”这一维度，突出人机协同工作能力培养的重要性。在“如何应用AI”问题下，增加价值观、智能社会2个维度，形成从思想观念到社会生活实践全面的素养提升目标。通过学习“什么是AI”和“AI能做什么”，发展学生的人工智能意识；通过学习“AI如何工作”和“如何设计AI系统”，发展学生的技术应用能力；学习“如何应用AI”，发展学生的智能社会责任；而实践创新思维的发展需贯穿整体课程学习当中。

三、怎么评：基于学习进阶的评价量规

（一）量规应用于人工智能课程评价的适切性

研究者提出了有效反馈模型，为了缩短目前表现与理想目标之间的差距，有效的反馈要回答“我要达到什么水平”“我如何达到目标水平”和“下一个目标是什么”三个问题。教学评价实际上就是一种反馈，而量规就是实现有效反馈的工具之一。它支持重申学习期望，支持监控学习和自我调节学习。量规是针对学生学习制定的，它包含一组清晰连贯的标准，以及这组标准下各层级的表现质量描述。[13]量规主要用于对两类学习表现进行评估：一是可观察到的学习过程，二是学习生成的实体成果。下面将从4个维度阐明量规应用于人工智能课程评价的适切性。①评价目的适切。发挥评价的导向作用，使其支持到学习发生和教学开展，是先进评价理念所推崇的评价目的。评价量规能为学习和教学提供有意义且具体的反馈和线索，特别是在教师难以照顾到所有小组的学习时，小组成員可以通过对照量规标准反思自身学习水平和改进学习。②评价目标适切。培养“数字公民”是人工智能课程的教育使命，因此课程目标指向适应智能社会的核心素养能力。素养能力的养成是一个由知识技能习得到能力发展，再到思维模式和信念建立的连续递进过程。而量规具有连续清晰的标准和各层级表现描述，能够真实反映学生学习过程思维的变化，引导学生朝教育目标发展。③评价方式适切。在课标中，多次强调要落实以项目式学习方式开展人工智能课程。在实践中，可以观察到机器人教育、创客教育、编程教育等也一般依托小组进行协作项目式学习。这种学习方式赋予了人工智能课程实践性、发展性、开放性和学生主体性的特点。而过程性评价倾向于“过程”与“发展”的价值取向，强调目标与过程并重，是一种主张内外结合的、开放的、教学评融合的评价方式[14]，能与项目式学习特点相契合。实际上，作为评价工具的量规与过程性评价的理念天然具有高度的一致性。一是考虑到量规主要的评价范围；二是量规既能支持“量化”的外部测量，又能实现“质性”的内部评估；三是量规支持评价主体多元化，突出协作和共同参与；四是量规的评价信息和学习线索回流促进学生自我调节的发展、学习项目的发展以及教师教学的发展。

④评价内容适切。人工智能属于应用科学，其课程内容往往与生活和生产实际联系紧密，多为建构不良的学习专题，例如人工智能伦理问题、算法与程序设计、设计新技术解决方案等。评价量规能超越局限于有标准答案的知识评价，能够很好地对建构不良的学习内容及较抽象的能力素养进行评价，设计合理的量规，甚至还能发挥学生的创造性和元认知。

（二）评价量规设计的依据和模型

评价量规的设计要基于对人是如何学习该学科领域的知识的研究和理论进行分析，量规中各层级的表现质量描述要依据“学生的理解如何发展”这一认识展开，实际上就是学生认知模型。有效的评价系统必须包含3个关键要素——认知、观察、诠释，且这3个要素必须加以连接形成协同的整体。考虑到学科核心素养和课程目标的落实在教学评价设计中发挥着指引性的作用，因此我们认为目标也是评价系统的关键要素之一。在经典的评价系统3要素模型基础上，研究设计出指向人工智能课程教学评价的评价量规设计模型（见图2）。该模型从目标出发，连接认知、观察、诠释。四个部分构成循环协同的整体。

在这里，目标指通过课程学习，学生在此学科领域内要达到的期望成就。期望成就是人工智能素养能力在相应课程内容中的具体体现。认知是指学生在此领域获取的认识和知识，它是关于学生如何表征知识，以及如何从新手发展成为专家的过程的认识。其中，学习进阶（也称构念地图）是描述学生随着学习时间推移，其某种知识或能力发展所展示出来的学习路径，它为创建有意义的评价提供清晰的指南，是后续观察和诠释两个环节的重要基础。实际上，随着学习进阶研究的影响力不断拓展，许多研究机构和学者以此为基础，进行测评开发和设计。例如伯克利评估与测量研究中心的BEAR测评系统就是较有代表性的产品[15]。观察是指借助任务情境学生提供可观察的知识习得与能力发展的有效证据。教师或评估设计者应该了解什么可以用来揭示学生知道什么和可以做什么，什么特定的任务可能引发的知识和技能的类型。诠释是指对观察中收集到的证据加以理解和判断的过程。指向目标期望成就的、包含各层级学习表现描述的评价量规，是理解证据并给出定量或定性判断的有效途径。基于此，学生的学习得到客观的评价，评价的反馈信息反过来对课程目标达成情况进行检验，教师利用这些信息可以进一步改进学习进阶模型，修改任务情境设计方案。该模型重点为人工智能课程应该“怎么评”提供一种思路，同时也为课程的项目、任务和情境设计提供相关指引。

（三）实现：评价量规设计的案例

本部分主要以“智能分类器的特征提取”为案例，展示如何根据上文提出的设计模型实现针对具体教学内容的评价量规设计。该教学内容选自《人工智能基础（高中版）》（华东师范大学出版社出版）教材第二章第2小节“提取特征”，主要让学生认识智能分类器及其运作机制，掌握其中重要的步骤“提取特征”。内容主要由理解分类过程、识别事物的特征和有效特征、量化有效特征并转化成特征向量、利用特征向量构建特征空间并理解如何利用特征空间进行分类等组成，笔者将本课命名为“智能分类器的特征提取”。

步骤一：根据上述中小学人工智能素养能力重构框架和本节教学内容确定教学最终需要达成的期望成就（见表1）。

步骤二：学习进阶的开发并不是一蹴而就的，而是一个假设与验证、理论与实践不断交替、逐步完善的过程，最终确认学生理解和发展的真实轨迹。本案例采用自上而下的方法预测学生思维的发展，开发学生对“智能分类器的特征提取”学习内容理解情况的学习进阶（见表2）。该学习进阶还需后续改进、完善。

步骤三：任务情境的设计是为了推动学习的展开和充分展现学生的知识技能和情感态度价值观，帮助学生和教师了解学习进度。针对需要观察的学习成就设计对应的任务情境（见图3），任务总体上层层递进，由易到难，以期在学生完成任务过程和提交的任务成果中透视出学生的成就水平。任务情境可以是开放式的，如案例中任务三的方案设计，没有给出固定的问题，充分发挥学生的想象力和观察力；当然也可以是半开放式的，例如蕨类植物的智能分类系统设计，这样有利于减轻教师课堂教学的难度和工作量。

步骤四：使用评价量规可以测量和诠释通过任务情境收集到的学习成就证据，最终获得对学生学习的客观评价。评价量规编制过程中需要注意：关注学习成就而非任务，任务只是成就水平展示的媒介，量规内容应指向任务所预示学习成就的特征，而不应沦为任务清单或作品要求；关注学习过程而非分数等级，量规不应充当简单的打分工具，而是能指明“我现在在哪里”和“我将要去哪里”，作为促进自我调节和学习反思的有效手段。在本案例中，评价量规针对每个学习任务，下设一级指标和二级指标，并对每个指标的含义进行描述。等级划分与学习进阶呼应，共设计了4个等级，尽量涵盖学生表现的各类情况（见表3）。

四、总结与展望

本文就人工智能课程应该如何进行教学评价展开研究，提出了基于学习进阶的评价量规设计模型，并展示了完整的评价量规设计流程。通过对“提取特征”学习内容进行了评价量規的设计，可以看到在人工智能课程教学中，能够实现对每个学习者学习表现的精准评价与指导；更重要的是，通过此类型的学习评价，为学习者的分步骤、阶段性学习进阶提供了可观察、诠释的学习依据。评价量规与人工智能课程的结合，有望实现教学评价的学生主体性、客观性、个性化和智能化。学生主体性意味着学生不仅仅是被动的评价对象，更是对学习效能起决定性作用的主体，学生应当参与学习评价的全过程。崔允漷指出学习评价的新范式——“促进学习的评价”已逐渐成为主流[16]。评价量规有利于促进自我调节的学习，调动学生的元认知，学生使用评价量规不但能够检验自身的学习成果，更重要的是能够获得对学习的掌控和学会学习。为教师、学生、同伴、家长提供简明且操作性强的评价量规，有利于多元化主体共同参与评价，使评价可以基于不同视角和不同维度展开，最终获得比较公平客观的评价结果。评价量规对每个层级的表现都有细致描述，能照顾到学生学习的个性化差异。学习是一个发展性的过程，个体经验和社会文化的差异让每个学生处在不同的理解阶段，利用评价量规，每个学生都可以得到个性化评估。同时，评价量规有可能为学习评价和人工智能技术相结合提供机会，实现评价的智能化。通过应用智能技术收集证据和基于评价量规进行推理评估，为每个学生生成个性化的能力雷达图，立体展示其人工智能素养整个能力圈层中各目标的完成情况。

关于人工智能课程教学评价的相关问题，在未来研究中还可以从以下几个方面深入探讨。一是完善学生在人工智能学科领域学习的学习进阶，从理论和实践研究中明确学生理解和发展的真实轨迹。二是检验评价量规的实际应用效果，如收集评价量规促进学习的证据、了解不同主体视角下评价量规的作用和影响，为人工智能教育收集循证依据。三是技术赋能教学评价，开发基于评价量规的智能评价工具，人机协同促进评价与决策。四是运用评价量规进一步跟踪学生的人工智能价值观的转变轨迹。五是基于评价量规探索符合人工智能教育规律的教学新路径。

[1]国务院.国务院关于印发《新一代人工智能发展规划》的通知[EB/OL].（2017-07-20）[2022-05-01].http：//www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.

[2]教育部.教育部关于印发《教育信息化 2.0 行动计划》的通知[EB/OL].（2018-12-31）[2022-05-01].http：//www.gov.cn/zhengce/zhengceku/2018-12/31/content_5443362.htm.

[3]卢宇，宋佳宸.中小学人工智能教育的现状、实施与发展[J].人工智能，2011（2）：8-13.

[4]郭可欣，刘俊强.我国中小学人工智能教育的研究综述[J].中国信息技术教育，2022（2）：74-78.

[5]陈婧雅.高中人工智能课程的表现性评价框架设计与分析[J].中国现代教育装备，2021（12）：40-42.

[6]楼又嘉，李一航，王永固，等.人工智能基础教育课程全球图谱：开发框架与实施方略——UNESCO《K-12人工智能课程图谱》报告解析[J].远程教育杂志，2022，40（3）：3-15.

[7]詹泽慧，姚佳静，吴倩意，等.人工智能课程中表现性评价的设计与应用[J].现代教育技术，2022，32（5）：32-41.

[8]恰瑞罗特.情境中的课程：课程与教学设计[M].杨明全，译.北京：中国轻工业出版社，2007.

[9]侯贺中，王永固.人工智能时代中小学生智能素养框架构建及其培养机制探讨[J].数字教育，2020，6（6）：50-55.

[10]郑勤华，覃梦媛，李爽.人机协同时代智能素养的理论模型研究[J].复旦教育论坛，2021，19（1）：52-59.

[11]张银荣，杨刚，徐佳艳，等.人工智能素养模型构建及其实施路径[J].现代教育技术，2022，32（3）：42-50.

[12]教育部教育技术与资源发展中心.中央电化教育馆《中小学人工智能技术与工程素养框架》正式发布[EB/OL].（2021-11-30）[2022-06-24].https：//www.ncet.edu.cn/zhuzhan/xgwzxwzx/20211130/5559.html.

[13]哈蒂，马斯特斯，伯奇.可见的学习在行动[M].彭正梅，任绍杨，邓莉，等译.北京：教育科学出版社，2018.

[14]苏珊.布鲁克哈特.如何编制和使用量规：面向形成性评估与评分[M].杭秀，陈晓曦，译.宁波：宁波出版社，2020.

[15]姚建欣，郭玉英.学习进阶：素养的凝练与范式的演变[J].教育科学，2018，34（4）：30-35.

[16]崔允漷.促进学习：学业评价的新范式[J].教育科学研究，2010（3）：11-15，20.

（责任编辑 孙兴丽 王策）

Researoh on the Rubric-Based Model for AI Curricula Teaching Evaluation and Practical Case

Li Rui1， 2，He Minyi1

（1. Educational Technology Department，School of Information Science and Technology，Yunnan Normal University，

Kunming， Yunnan，China 650500）

Abstract： This research mainly focuses on the teaching evaluation of AI curricula.It analyzes the necessity and urgency of this topic from the current situation of AI curricula teaching evaluation，cultivation objectives of AI literacy and the conflict of traditional evaluation concepts and new curriculum.Then it discusses the relevance between the rubrics and the teaching evaluation of AI curricula.The research is based on the classic three-element model of the evaluation system to propose a rubric design model that aims at the teaching evaluation of AI curricula.It includes four steps：goal-expected achievement， cognition-learning progression， observation-task context，interpretation-evaluation rubric.According to the model， the teaching content of “feature extraction of intelligent classifier” is taken as an example to show the complete design process.Finally，it is discussed that the application of evaluation rubric is expected to realize the student subjectivity，objectivity，individualization and intelligence of evaluation.

Key words：  Learning Progressions;Evaluation design;Rubric;AI curriculum;AI literacy

收稿日期：2022-08-17

基金項目：国家自然科学基金-地区科学基金项目“多元文化环境下面向用户的个性化在线学习中的关键技术研究”（61967015）

作者简介：李睿（1979—），女，福建上杭人，副教授、硕士生导师，研究方向为计算机教育、移动学习、教学设计，系本文通信作者；何敏怡（1993—），女，广东江门人，硕士研究生，研究方向为人工智能教育。