基于“证据”的高校混合学习课程学业评价模型构建

王慧君 张念

[摘   要] 混合学习已成为高校教学的新常态，混合学习课程的学业评价问题逐渐进入研究者视域并成为教育研究者和教育实践者共同关注的热点。文章针对目前在高校课程学业评价中的“软评价”现象，以评价三角为理论基础，在综合分析国内外相关研究成果的基础上，构建了基于“证据” 的高校混合学习课程学业评价模型（e-ABC模型）。借助德尔菲法专家咨询、深度访谈等方法，对模型进行修订和完善;又将模型进行了为期一学期的教学实践。实践表明：e-ABC模型的应用对营造公平公正的评价氛围、增强实践者基于“证据”实施评价的意识和能力、提升学业评价结果的科学性和公信力以及培养学生自我监控、自主学习能力等都具有积极的影响。

[关键词] 证据; 混合学习; 学业评价; e-ABC模型

[中图分类号] G434            [文献标志码] A

[作者简介] 王慧君（1966—），女，河南新乡人。教授，博士，主要从事信息技术与教学融合、教师教育、基于技术的学业评价等研究。E-mail：henuwhuijun@163.com。

一、引   言

随着教育信息化的发展，混合学习已成为我国高校课程教学的新常态，混合学习课程的学业评价问题逐渐进入研究者视野，并成为教育研究者和教育实践者共同关注的话题。目前，高校混合学习课程的学业评价多是基于教师经验的“软评价”[1]，评价中缺乏证据和数据意识[2]，未能充分利用信息技术所提供的工具和资源，从而导致评价结果主观性强，随意性大，缺乏证据和公信力。学业评价是否科学、有效，从微观论关乎学生课程学习的公正评价，从宏观论则关乎高校的培养目标、培养什么人的大问题。文章对高校混合学习课程的学业评价进行研究，并尝试构建基于“证据”的混合学习课程学业评价模型，旨在为高校教师开展基于 “证据”的课程学业评价提供“脚手架”，提高高校混合学习课程学业评价的科学性和公信力，充分发挥学业评价的功能。

二、基于“证据”学业评价的相关研究

（一）基于“证据”的评价理念及评价内涵

“证据”是法律领域的专门术语，指“可以用于证明案件事实的材料”。新版《现代汉语词典》将“证据”解释为“能够证明某事物真实性的有关事实或材料”[3]。基于“证据”的评价是一种评价理念或者评价态度，具体而言，就是在评价中强调“证据”的作用和价值，注重证据的收集、分析和利用，在充分占有、分析相關证据信息的基础上，通过证据链推理作出价值判断。秉持“证据理性”观，是证据理性在评价中的具体体现。美国国家研究委员会指出，由于评价会受到评价的具体内容、评价形式、评价时间等多方因素的影响，所以任何评价从某种程度而言都只能是一种“基于证据的推理（Reasoning from Evidence）”[4]。2010年，SBAC和PARCC两个评价联盟采用“以证据为中心”的设计框架（简称ECD），研制了新一代学业质量评价体系，旨在通过收集学生学习的证据来推理判定学生学业表现[5]。美国教师教育领域特别强调用证据来证明已取得的绩效，在1998年制定的《高等教育法》中规定，所有州每年都要向联邦政府提供关于教师教育质量的证据[6]。2013年，美国教师培养认证委员会建立了一套基于“证据”的、高标准的教师培养机构质量认证体系，要求教师培养机构要形成注重研究、调查和证据分析的氛围[7-8]。有研究指出，美国各院校的成果评估工作已转向一种基于“证据”的评估文化的创建[9]。置身于这种评估文化中的教师，会被习惯性地问及“你有什么证据证明，你教给学生的东西达到了预期的目标”;教师自己也会不断反思“我有什么证据证明，我教给学生的东西达到了预期的目标”。2006年到2008年，美国教育考试服务中心（简称ETS）连续发布了三个以“证据文化”为主题的报告[10-12]，有力推动了基于“证据”的学生学习成果评估机制在高等院校中的运行。

基于“证据”的学业评价在国内也逐渐受到关注。姚林群等认为，学业评价必须讲究证据、重视证据，对学生的评价必须建立在充分占有、分析与学业表现密切相关的证据信息的基础上，才能全面、客观反映学生在课程中的表现状态[13]。杨明全等指出，正是通过证据的呈现，人们得以判断学生的学习是否真正发生，亦即“运用证据来提升学习结果，由此证明个体的能力和学习绩效的持续提升”[14]。

（二）基于“证据”的评价模型研究

为促进基于“证据”评价的普及和推广，增加评价的可操作性，国内外学者致力于模型的构建并研发了若干评价模型。梅斯雷弗（Mislevy，R.J.）等人于20世纪90年代提出了ECD框架，强调学业评价是一种证据推理过程，评价者需根据有限的学习证据对学生的学业成就进行推理和判断[15]。美国国家学习成果评估中心制定了基于“证据”的学生学习成果透明度模型，包括确定学生学习目标、开展评估活动、收集学生学习证据、使用证据等六个环节。该模型有力推动和指导了美国各院校、机构开展基于证据的评估实践，在获得质量认证的美国高等院校中，84%以上的院校都采用此模型开展大学内部的本科学生学习成果评估[16]。2008年，ETS发布的“证据文化”白皮书中提出了“学生学习成果证据模型”，模型包含阐明期望的学生学习成果、审核评估、增强评估、建立并维持证据文化等七个环节，又称为“七步模型”。其中，“阐明期望的学生学习成果”是指评估机构要明确学生应该取得哪些成果以及收集学生学习相关证据的目的;“审核评估”指评估机构要确定当前有哪些证据能够证明学生达到了学习目标;“增强评估”指还需要收集哪些额外的证据来证明学生达到了学习目标。该模型允许各大院校自行进行系统的评审和分析，旨在帮助院校创建或完善一种评估学生学习成果的证据文化[12]。

形成性评价在美国学生学习成果评价中起着重要作用，是学业评价研究中最活跃的部分。在美国现有的形成性评价模型中，以玛格丽特·赫里蒂奇（Margaret Heritage）提出的“证据为中心”的形成性评价环最为典型[17]。他将形成性评价划分为学习进程、学习目标、成功标准、获取学习证据、解释证据等10个相互关联的环节。其中“成功标准”是对学生学习目标的明确表达，“获取学习证据”是指通过具体的策略和方法系统地收集学生学习过程中出现的各种证据，“解释证据”是指教师根据证据分析学生的学习内容和学习方式。强调证据理性、收集证据的有效性、证据分析与成功标准的一致性是美国形成性评价获得成功的最重要因素，体现了美国学业评价鲜明的证据文化特色。我国学者王健等运用评价三角理论，以证据收集和解读作为评价设计的基本范式，构建了中小学学生学业评价质量框架[2]。该框架将“证据的来源”“评价任务的设计”“证据的收集与解读”作为基于“证据”进行推理学业质量的主要环节，并给出了详细说明。

三、模型的建构过程

（一）研究设计

1. 研究目的及方法

本研究以混合学习课程学业评价为研究对象，秉持证据理性，致力于构建基于“证据”的混合学习课程学业评价模型，旨在为高校教师实施学业评价提供脚手架，提升学业评价的科学性和公信力，充分发挥学业评价的功能。课程学业评价即对学生在某门课程中所获得的学习成就进行评价，具体而言，就是指根据预先设定的评价标准，采用恰当有效的评价工具，系统收集学生学习证据，对学生的学习过程、学习成就等作出判断的过程。

研究方法主要有文献研究法、模型构建法与德尔菲法。

2. 模型建构流程

（1）明确模型建构目标。为高校教师实施基于“证据”的学业评价提供“脚手架”，提升高校学业评价的科学性和公信力，充分发挥评价的功能。（2）明确模型构成要素。结合国内外已有的实践模型、个人开展混合学习设计及教学的经验，依据评价操作的流程（环节）确定模型的构成要素，并对各构成要素进行界定和说明。（3）分解要素，并对构成要素的子系统功能、操作工具和方法进行讲解和说明。（4）揭示各构成要素、各要素的子系统之间的联系及相互作用。（5）模型可视化。

（二）模型的初步建构

在文献研究基础上，结合教学实践经验，构建基于“证据”的学业评价初步模型。模型构成要素包括识别证据、创设证据、采集证据、筛选证据、分析证据、解释证据及使用证据七要素，亦即七个環节;将各要素及各要素的子系统以左右结构呈现，即得到如图1所示的模型。

为表达方便起见，对该模型完整的英文表述进行关键词提取，最终将模型命名为e-ABC模型。其中，“e”为“evidence”，“A” 为“Academic Achievement Assessment”，“BC”为“Blended Curriculum”。

1. 识别证据：认识证据并判断证据价值

识别证据是开展基于“证据”评价的首要环节。识别证据就是能够分辨出哪些可以作为证据，其属于哪一种类型的证据，并在此基础上能够判断证据对应于学生哪方面的能力，具有怎样的评价价值。

2. 创设证据：通过一定手段引出所需证据

创设证据是指通过一定的工具或手段引出并留存证据的过程。该环节的提出主要受到司法领域创设证据的启发。在司法领域的案件中，最有价值的证据往往不会自然呈现，而是要通过“创设”的方法获得。混合学习中学生的学习行为和学习结果，有些证据可以自动记录，如登录次数、登录时长、点击量等;有些证据却不能自动存储，如果不及时收集，这些证据就会消失。需要提前设计登录入口、植入插件（线上创设）或者现场录音、拍摄（线下创设）等方能收集。如我们可以将学生的教学试讲、角色扮演等录制成视频，上传平台共享，作为学生自评和互评的证据;将小组讨论移至线上，通过平台自动记录小组活动过程，为小组自评互评留存证据。

3. 采集证据：收集存储并整理证据

采集证据即收集、整理证据。不同的证据需选择不同的采集工具和采集方法。证据采集方法有：课堂观察、问卷调查、照片拍摄、视频录像、文本采集、情感识别等[18]。证据采集工具有：录音笔、录像机、监控设备、教学管理系统、教育机器人、智能穿戴设备、物联感知系统等[19]。

4. 筛选证据：对证据进行挑选和排序

筛选证据是指通过一定的方法对证据的真实性和相关性进行评定，挑选出有用的证据。实际应用中，采集的证据往往是杂乱无章的，需要对这些证据进行筛选和整理以保证证据的质量。真实性是保证评价结果公正性的重要条件，也是实施公正评价的前提;相关性是证据最基本的属性，相关性越强，证据力就越大。

5. 分析证据：对证据进行统计和推理

分析证据是指使用恰当的技术或框架对证据进行统计和推理，挖掘证据价值并使其转化为评价信息。目前，常用的分析方法主要包括：学习行为分析、内容分析、社会网络分析、情感分析等。

6. 解释证据：对证据及其分析结果进行解释

解释证据即对证据分析的结果进行阐释说明，揭示证据所反映的现象和规律。

7. 使用证据：利用证据及证据分析结果实现学业评价

使用证据与学业评价目标息息相关。本研究的证据使用包括3个出口，分别满足学业评价的3个层面的目标。评定学业成绩、形成学业评价报告并反馈给学生，促进学生的学习和发展;向教师提供学生学习的数据和证据，帮助教师反思教学问题，改进教学;向学校提供学生学习的数据和证据，为学校学习质量评估、综合素质评价、教学质量评估等提供素材和决策依据。

（三）模型的修订与完善

[5] 刘晶晶，郭元祥. 美国学生学业质量评估联盟PARCC与SBAC述评[J].中国考试， 2015（6）：24-30.

[6] 鞠玉翠. 美国教师教育中的证据：现状、问题与改进[J].全球教育展望，2011（10）：54-60.

[7] Teacher Preparation Analytics.Building an evidence-based system for teacher preparation[EB/OL].（2013-09-01）[2019-02-17].http：//caepnet.org/knowledge-center？page=2.

[8] 段晓明. 美国教师教育认证制度的变革走向——基于CAEP标准的分析[J].中小学教师培训，2017（6）：71-75.

[9] 俞佳君. 美国高校中的学生学习成果评估[J].外国教育研究，2016（1）：17-29.

[10] DWYER C A， MILLETT C M， PAYNE D G. A culture of evidence： postsecondary assessment and learning outcomes. Recommendations to policymakers and the higher education community[R]. Educational Testing Service， 2006.

[11]  MILLETT C M， STICKLER L M， PAYNE D G， et al. A Culture of evidence： critical features of assessments for postsecondary student learning[R]. Educational Testing Service， 2007.

[12]  MILLETT C M， CATHERINE M，et al. A culture of evidence： an evidence-centered approach to accountability for student learning outcomes[R].Educational Testing Service， 2008.

[13] 姚林群，戴根元.论基于证据的学业质量评价[J].全球教育展望， 2016（5）：49-57.

[14] 杨明全，吴娟. 论基于证据的学习的内涵与意义[J]. 教育科学研究， 2017（11）：45-49.

[15] MISLEVY R J， HAERTEL G D. Implications of evidence-centered design for educational testing[J].Educational measurement：issues and practice， 2006（4）：6-20.

[16] National Institute for Learning Outcomes Assessment. Providing evidence of student learning：a transparency framework[EB/OL].（2011-04-25）[2018-11-09]. http：//www.learningoutcomesassessment.org/TransparencyFramework.htm.

[17] HERITAGE M.Formative assessment：making it happen in the classroom[M].Corwin Press，2010：170.

[18] 葉俊民，陈曙，郭思培，王嫱，黄朋威，王志锋.线下学习数据的分析方法研究[J].电化教育研究，2016（12）： 52-59.

[19] 刘雅馨，杨现民，李新，田雪松.大数据时代教师数据素养模型构建[J].电化教育研究，2018（2）：109-116.

[20] 刘文辉，王艺亭，赵敏.教育游戏评价指标的设计与开发[J].开放教育研究，2017（2）：111-120.

[21] CHANG P C，TSOU N T，YUAN B J C，HUANG C C.Development trends in Taiwan's  opto-electronics industry[J].Technovation，2002（3）：161-173.