外语在线教学智能化过程性评价实践研究*

张忠华 高晓东 王冀鲁 朱向荣 张雪芝

摘   要：过程性评价是与传统的终结性评价相对比而提出的。多年以来，过程性评价一直是教育和教育改革的研究热点。由于人工智能技术逐渐成熟，建立在大数据和人工智能基础上的智能化过程性评价已经成为教育界新的研究热点。文章以北京外国语大学继续教育学院外语在线教学创新项目的实践为基础，阐述了外语在线智能化过程性评价系统的功能、主要组成部分及其应用等，并提出要理性看待智能化过程性评价。

关键词：在线教学;智能化;过程性评价;人工智能;学生画像

中图分类号：G434 文献标志码：A 文章编号：1673-8454（2020）23-0023-06

一、引言

近年来，过程性评价得到了越来越广泛的关注。过程性评价是相对于传统的终结性评价而提出的。随着大数据、人工智能等先进技术的快速发展和广泛应用，教育领域中的智能化过程性评价正在成为广大教育工作者关注的热点话题，相关的实践工作和理论研究正在进行。北京外国语大学继续教育学院近期开启了外语在线教学创新的实践研究，其中，外语在线教学智能化过程性评价系统是其重要组成部分。该系统是基于人工智能技术（如机器学习、深度学习、人脸识别等）建设的涉及教学管理多个环节的综合评价系统。此外，该系统通过对智能教室、课堂终端、互动教学系统等产生的教学大数据进行分析，完成课程学习效果画像，从而达到支撑课程教学评价、提升教学效果的目的。

以人工智能技术为代表的现代信息技术与教育教学的深度融合，促进了现代远程教育的快速发展，在构建全民终身学习的教育体系、建设学习型社会等方面发挥了重要作用[1]。因此，外语在线教学的智能化过程性评价系统将对外语人才的创新性培养起到重要作用。

二、智能化过程性评价

过程性评价也称形成性评价，它不同于传统基于考试的终结性评价。1967年，美国哈佛大学著名评价专家斯克里芬教授在《评价方法论》中提出过程性评价理论，该理论不久后又被美国著名教育学家布卢姆引进到教学领域。具体来说，过程性评价是指通过多种评价手段和方法，依据学生学习过程中表现出的兴趣、态度、参与活动程度，对他们的语言发展状态做出判断，对他们的学习尝试做出肯定，对他们的学习进展进行持续评价[2]。

大数据和人工智能技术的快速发展使智能化过程性评价成为可能。《中国教育现代化2035》明确提出要加快信息化时代教育变革，建设智能化校园，统筹建设一体化智能化教学、管理与服务平台;利用现代技术加快推动人才培养模式改革，实现规模化教育与个性化培养的有机结合[3]。因此，智能化过程性评价是信息化时代教育变革的需要。

将人工智能技术运用到过程性评价的最大优势是可以在教育大数据的基础上进行客观分析与评价。智能化教学过程以智慧教室为支撑，借助智能互动教学系统，在原有标准常态录播系统中，融合多项互动功能，同时完成课堂内外、生与生、师与师、师与生的教学互动。另外，借助教学系统中的人工智能技术实现人脸抓取识别，实况记录学生的课堂表现、教师的工作表现，保证整个教学过程有迹可寻，实现教学执行工作中各参与单元动（静）态过程的评价，从而完成教学过程的智能化分析与评价。

三、外语在线教学智能化过程性评价系统

在线教学与传统课堂教学有很大区别。传统课堂上，教师可以通过直观现场感受到学生的学习情况，而在线教学时，教师只能通过对学生的相关学习数据进行分析和评价，从而了解学生的学习情况。在线教学的学情分析要注重过程性数据分析，互联网技术可以实现对学习全过程进行伴随式的记录，将教学评价无痕嵌入到学习过程中[4]。外语在线教学智能化过程性评价系统将通过相关设备采集到的相关数据进行相应的智能数据分析与智能评价，具体流程如图1所示。

1.系统数据生成

外语在线教学智能化分析与评价系统的相关数据主要是由智慧教室、课堂终端、互动教学等系统产生。系统将整个教学过程的所有数据进行整合，提供教学全过程监控大屏显示服务，数据实时更新，包括基础教学数据监控、教学与在线学习活跃度监控、全校课程资源建设情况监控、实时课程整体监控、实时课堂整体监控、实时课堂学生学习活跃度监控、考勤情况监控、空间使用情况监控等。该系统与学校教学质量监控管理体系相衔接，提供教学评估相关的数据支撑，同时还实现了学情分析、教学预警、教学学习档案汇聚报表等功能。图2为系统数据生成与分析应用示意图。

2.分析功能

分析系统运用弗兰德斯课堂分析法、语义分析技术与人工智能技术，通过建立数据分析模型，实现对课堂中各种教学行为和教学内容的自动分析，自动形成课堂教学行为和教学内容的分析数据，为师生的日常教学提供智能化教学辅助，为教师和家长针对学生的教育指导提供客观真实的数据参考。智能分析主要是对教师和学生的课上与课下“教”和“学”行为数据采集后的数据分析，甚至还包括学分银行（如基于区块链技术的数据存储）的数据分析。智能化教学分析系统的智能分析功能就是对教学过程中产生的海量数据进行智能化分析，针对不同的需求可以由不同的软件系统来实现。从教学分析角度看，智能课堂分析主要有统计分析、人员刻画分析、课堂教学分析等智能分析。其中统计分析主要包括基本数据的统计分析，如签到、作业完成度等;人员刻画分析主要包括教师和学生的角色刻画分析;课堂教学分析主要包括对教师和学生的课堂分析。智能分析还包括预测教师教学效果和学生学习趋势。

3.评价功能

系统面向的对象可以是教师、学生、教学管理者，甚至还包括家长。系统以课堂场景为核心，运用智能化技术手段，构建“教”“学”“管”三大类的综合应用。采用现场教师、场景教师、在线AI多点打分来完成“多位一体”的综合评估以满足实际需求。落实到系统平台，则以过程性动态评估，阶段性地描绘出教师工作、学生学习的发展曲线图（包括教师的职业曲线），以保证教学有序进行。这样，学生、教师的个人综合素质发展趋势得以明确。再采用大数据、区块链、云计算等技术手段进行记录和处理，从而保证教学数据档案真实有效、不可篡改并可即时调用。系统还具有自我完善的能力，可以根据平时运行时收集到的数据自动更新自己的数据库，从而提高识别的正确率以及評判的公平性与准确性。此外，人工智能技术还可以使系统实现可视化巡课督导、精准信息推送、设备集中智能化管理（包括设备故障报警与故障精准定位）等。如果将相关数据与家校通平台对接，可以满足家校合作的业务需求。因此，系统通过人工智能技术，可以有效地满足教师、学生、家长和管理者等多角色的需求。

四、外语在线教学智能化分析与评价系统的组成与实现

系统主要由学情分析系统、教学预警系统、课堂行为分析系统、学生画像、教师画像等多个子系统组成，可以完成学习状态监测、情绪行为分析、学习情况自动评价、定期发送学习情况等多个功能，这些功能模块相互协调，可以做到全方位、多层次地掌握学生的学习状况，从而让教师更加轻松地了解和评价每一个学生的学习情况。

1.学情分析系统

学情分析系统主要完成对学生课内、课外参与教学活动所有数据的采集与统计分析。该系统主要包括学生基础数据学情分析、在线活跃学生数据分析、课程学习情况数据分析等。学生基础数据包括各院系班级学生总数、上课学生数、在线活跃学生数及占比等，通过对该数据的可视化分析，可查询、了解各院系和各班级学生的基本学习情况。在线活跃学生数据包括活跃学生的课程学习情况、活跃课程分布情况等。课程学习情况数据用来统计学生在规定时间内完成的在线视频课程数量、在线测验数，以及作业完成和提交情况等。通过学情分析系统，教师、院系、教务管理者可以查看单独课程、院系课程和全校教学的出勤情况以及全校学生的学习情况。

2.教学预警系统

教学预警系统对签到率、作业提交率、教学视频章节完成率、学习任务完成情况、问卷、试题提交率、章节检查完成率、课堂活动参与率等设置进行预警。当学生某一项监控值低于预警阈值时，学生、教师、院系、教务管理负责人会相应收到系统发出的预警信息。

3.课堂行为分析系统

课堂行为分析系统以课堂为核心，聚焦人脸识别、行为分析、视频结构化、大数据、移动互联网、物联网等技术与教学的深度融合。系统打通考勤、录播、教学分析等应用壁垒，集视频资源管理、自动课堂行为分析、伴随式学习数据收集等功能于一体，可以满足教师、学生和管理者等多角色的需求。系统充分利用人工智能等现代信息技术，打造课堂智慧学习环境，用大数据、AI智能构建高效课堂，大大提高了课堂的教学效率。例如：通过情境感知、数据挖掘等方法可以提前预知学习者潜在的学习需求，实现教与学的立体沟通与交流。系统通过建立教学行为模型，对教师授课、教师板书、教师演示、学生回答问题、师生互动、学生演示等100多种教学行为进行自动分析，生成教师和学生的多维成长档案。

（1）课堂教学行为实时识别

系统采用人工智能技术的深度学习机器算法，依据教师和学生的各种教学行为模型，智能识别教学过程中的各种行为。如举手、发言和互动情况等，生成精确的教学行为数据，并以柱状图或饼状图的形式进行直观呈现。图3为课堂行为识别可视化图;图4位课堂行为统计可视化图。

系统依据建立的教室内部模型（如大屏、课桌、教师、学生、黑板等），自动识别教室内部物体及对应的位置，可以自动生成师生个体活跃度热力图。

（2）课堂视频检索、打点与分析

课堂视频采集后，视频内容可以通过系统的视频检索功能进行检索。视频检索系统支持按照姓名和属性进行检索。系统的课堂视频打点功能即系统提供基于时间点的视频标记，并对整堂课视频的特定时间或时间段进行标注，对标注内容进行统计分析，同时还可以将标注内容与教材的课程目录关联，从而可以对教师的讲课内容做到基于知识点的更精确分析。

（3）课堂教学类型分析

系统可以进行课堂教学类型分析。通过课堂教师与学生的互动，可以分析课堂教学类型，完善课堂教学。S-T（Student-Teacher）分析方法是一种能够直观表现教学性格的教学分析方法，它可用于对教学过程进行定量和定性的分析与评价，以此来判断课堂教学性格。T行为主要包括教师的讲话行为：教师板书、演示等。具体表现为解说、示范、板书，以及利用各种媒体进行提示、提问、点名、评价和反馈。S行为是T行为以外的所有行为，主要是指学生发言、思考与计算、做笔记、做实验、技能操作、完成作业以及沉默。通过S-T分析得出课堂教学类型（如讲授型、互动型、练习型、综合型等），如图5所示。

4.教师教学过程数据分析系统（教师画像）

教师教学过程数据分析系统通过分析教师课堂、课前、课后的数据来了解教师教学情况。该系统通过对全体教师数据的分析，了解教师培训的开展情况及困难、在线教研活动组织和效果等，从而知晓当前教师队伍提升的整体情况，以及采取的途径、效果，及时分析相关数据并发现问题。图6为教师综合评分图。

教师画像主要由教师的课前备课、课堂上课、课后查看作业等相关数据构成。教师上课教学数据主要包括授课、互动和其他数据;课前、课后的过程数据主要包括布置学习资料、布置课后作业和测试、学生学习情况分析与评价等。因此，教师画像的指标信息有课时量、课程数、教学资源、到课率、点名频度、考勤情况、即时问答、学生掌握度、成绩评价等，还可以包括教师其他基础信息内容，如姓名、年龄、性别、民族或国籍、学历、职务、职称、教课内容、参加工作时间、来校时间等具体信息。通过对上述数据的分析，可以为完善与改进教师教学提供参考依据。在教师个人指标分析的基础上，还可以实现全体教师的指标分析，如图7所示。这些数据记录了教师的教学过程、督导学生学习过程，通过对这些数据进行分析，实现教师角色的刻画，从而可以提出课堂改进的建议。

5.学生学习过程数据分析系统（学生画像）

学生画像主要是指对学生课上与课下学习过程数据的分析。课上数据具体包括出勤、任务完成度、听课关注度、交流程度（与教师和其他同学）等;课下数据包括课后作业和测试、观看学习资料和回看视频、学业成绩、自我评价和相互评价等。這些数据记录了学生的学习过程，通过对这些数据进行分析，可以发现学生特质，实现学生角色的刻画。通过智能化前端视、音频捕获和分析设备，可以实况记录学生的课堂表现，实时抓拍学生的表情和违规行为，进行专注度统计与展示。

（1）学生行为数据采集与处理

通过智能摄像头设备完成学生学习行为数据采集，同时制定好学生数据采集标准。图8为学生课堂表情采集样图。

系统采集学生的知识体系、学习内容、学习路径、反复学习章节、测试成绩、课堂表现、评价、互动交流等数据，并对数据进行清洗、转换、重构、入库。数据处理还包括采集数据源管理、采集基础功能、数据同步管理、数据同构传输、数据异构传输、采集自动建表、采集数据脱敏、数据转换管理、采集作业管理、采集监控管理等系列工作。

（2）学生情绪行为分析

在不影响教学的情况下，通过计算机视觉分析技术，根据学生的语言、表情、动作，分析出学生的关注度、理解度、参与度等数据，并进行分析与预测，为学生情绪档案和学生后期个性化辅导提供数据依据，帮助管理者全面督导、客观评价，辅助决策的制定。

（3）学生画像形成过程

系统采用多维分析对学生的学习过程数据进行详细分析，对学生成长历程等进行多种维度分析，从任意角度探察和分析以任何形式组合的数据，进行交互的、灵活的、多角度和多层次的分析。系统提供丰富的定制化图标和文字展现功能以及钻取分析、关联分析功能。系统提供查询统计功能，即从数据库中访问、浏览和探察数据，满足业务人员自助式的、零编程的、快速的定制查询，实现拖拽方式的数据整理，支持自主创建查询、报表、图例、分析等。系统还提供展示云图，即以直观、清晰、易于理解并美观的方式，将课堂教学、学分银行等数据进行可视化呈现。因此，可通过采集学生的学习行为数据，提取学生的学习特征，建立数学模型，建构学生画像;还可以采用机器学习模型构建学生画像标签，形成学生画像。图9为学生画像形成过程图。

（4）学生学习成长数据分析与应用

①学生阅读数据分析服务

通过本系统包含的学分银行获取学生阅读报告，从而根据学生的阅读记录来分析其阅读习惯、感兴趣的学科及专业方向，并依据分析结果向学生空间推送相关阅读资源。

②学生成绩数据分析服务

以学生画像的标签和学习成绩为基础，围绕学生学习相关特性，构建精准推荐系统，实现学生学习的个性化推荐和学习成绩预测。例如：可以实现学生成长的展示，以雷达图、饼图等多种方式展示学生知识点掌握情况、发展趋势和发展均衡情况等;根据对学生成绩和学习特点的分析可以实现个性化学习内容的推荐;可以实现学习成绩预测，根据学生画像和学生过去的表现来预学习成绩。图10为学生成绩发展趋势图。

本系统还可以通过获取学分银行中的学生成绩单信息，实现对各阶段、各类考试成绩的分析，展示学生成绩的变化趋势及薄弱环节。

③学生综合素质分析评价服务

通过与学分银行对接，获得学生的学分档案，形成思想品德、学业水平、身心健康、社会实践、艺术素养等方面的数据内容，一方面为学生提供数据服务，另一方面为学校开展横向与纵向对比、了解教育发展情况提供数据服务。这些数据记录了学生的学习过程，通过对这些数据进行分析，可以发现学生的特质，实现学生角色的刻画。

6.在线教学督导与评价系统

在线教学督导与评价系统为教育教学提供在线巡考、优课评价、考勤监管、学生表现、教学分析等实时课堂监控监管。支持多画面在线巡考。学校教务管理者可针对教师发布的课程，进行综合评分评价，作为优秀课程发布至学生学习平台。该系统还可以根据课堂总体情况汇总生成课堂画像、课堂分析报告以及每个学生个人的行为表情分析报告，做到异常情况提醒，帮助教师快速关注到异常学生。利用人脸识别数据与学生行为数据可以分析出每一堂课中每位学生的课堂专注度，还可以分析出班级的专注度指数，还可以运用这些数据进行统计、对比、趋势和碰撞分析。

学生的指标数据包括到课率、课堂问题解答正确率、作业完成率、网上学习时间、奖惩次数、平均成绩、成绩优秀率等。从这些数据中也可以分析统计出学生的学习态度、课堂表现、专业技能、成绩分析、心理素质等维度的情况。

五、理性看待过程性评价

本文对过程性评价的具体实现进行了详细介绍，希望能为同行提供有益的参考。同时，教师对过程性评价要有客观的認识。过程性评价的实践不能只热衷于评价工具的推广，还需要实践者从观念、理论到具体实践方面做大量的工作，其可操作性程度和成效有待于实践的检验[5]。因此，在实际评价工作中，要理性看待两者的关系，不能厚此薄彼。

1.过程性评价与终结性评价要相结合

在大数据时代，需要终结性评价和过程性评价相结合。不仅仅要关注成绩的结果，还要关注学习和考试的过程，做到心理与教育测量理论和先进技术相结合、显性和隐性相结合、静态数据和动态数据相结合，发现与能力水平无关的因素并予以合理解释，智慧地找到我们所需要的“公平”[6]。

2.过程性评价要具体问题具体分析

尽管过程性评价能给师生带来全新的工作和学习感受，但也要避免过程性教学评估方式给师生带来负面影响和额外压力。因此，针对不同课程和不同师生群体要能够具体问题具体分析，不能“一刀切”。比如，在教学过程中，课程存在差异性、学生存在差异性、教师教学存在差异性，要鼓励教师根据实际情况创造性地实践过程性评价。

3.过程性评价应以“以评促教、以评促学”为宗旨

过程性评价与终结性评价一样，都是为了寻找尽可能合理的方法来对教学进行评价。因此，过程性评价一定要本着“以评促教、以评促学”的宗旨，始终要与传统的终结性评价等多种评价方式有机结合，互相学习，而不能将其简单地与某些特定评价工具相等同，否则就会流于形式。

六、结束语

借助大数据和人工智能技术，过程性评价更加容易实现。但是，基于人工智能手段的智能化过程性评价还需要不断实践和完善。特别要注意，在充分发挥过程性评价优势的同时，还要始终与传统终结性评价方式相结合，互相取长补短，才能真正促进教学评价方式的科学化、智能化和现代化。

参考文献：

[1]全国高校现代远程教育协作组秘书处.“人工智能+”护航远程教育质量提升之路[J].远程教育协作组工作简报，2020（136）.

[2]张琳娜.从简单终结性评价到可控过程性评价教学模式改革的研究[J].大学英语（学术版），2014（9）：11-15.

[3]中共中央、国务院印发《中国教育现代化2035》[EB/OL].http：//www.moe.gov.cn/jyb_xwfb/s6052/moe_ 838/201902/t20190223_370857.html，2020-05-02.

[4]余胜泉，王慧敏.如何在疫情等极端环境下更好地组织在线学习[J].中国电化教育，2020（5）：6-14，33.

[5]王月莲.高校过程性评价的理性认识[J].阴山学刊，2015（6）：86-88.

[6]李冰，任杰.大数据时代的“智慧测量与评价”[J].考试研究[J]，2019（3）：91-94.

（编辑：王晓明）