基于效度证据的非纸笔测试设计

张建勇 钱永芳

摘要：测试效度是决定一个测试项目质量高低的首要要素。非纸笔测试可通过内容效度、效标效度、结构效度三类效度证据确保测试效度。利用“以证据为中心的设计”框架，通过领域分析、领域建模、概念性测评框架、测评实施及测评发布5个层次和步骤设计非纸笔设计，能够保障测试效度，为教育者做出正确推论和教育决策提供有效的方法。

关键词：非纸笔测试；效度证据；小学语文教学

中图分类号：G622 文献标志码：A 文章编号：1673-9094（2023）13-0081-06

*本文系江苏省教育科学“十四五”规划青年专项课题“优势探索：小学课堂积极评价研究”（C-c/2021/02/131）的阶段研究成果。

作者简介：张建勇，盐城市天山路小学校长，高级教师，江苏省“333高层次人才培养工程”培养对象，江苏省卓越教师培养对象，盐城市名教师，主要研究方向为小学语文教学；钱永芳，盐城市天山路小学，高级教师，盐城市学科带头人，主要研究方向为小学语文、思政教学。

学科核心素养集中体现了学科育人价值和学科目标，代表着学科的正确价值观、必备品格和关键能力。由于它具备内隐性和整体性特点，如何有效考察与评价，成为当下面临的一项重要教育议题。非纸笔测试的提出是对这一议题的有效回应。作为阶段性评价的类别之一，非纸笔测试“旨在考查班级整体学习情况和学生阶段性学习质量”，获得基于科学证据的推论，进而“对学生个体作出及时反馈和有效指导”[1]。有效度的教育评价会提高决策质量，反之则会导致负面的结果。效度证据能够帮助教育者判断测试与欲测内容之间的一致性。从效度证据视角，通过逆向思维方式设计非纸笔测试，能够确保非纸笔测试的效度，进而使教师对学生进行精确的推断。

一、非纸笔测试的三类效度证据

效度就是测试对欲测内容的测量程度。测试本身并不具有效度，只是一种推断学生学习水平的一种工具。非纸笔测试的效度，是基于分数或等级等多种证据做出推论的精确性。要判断非纸笔测试是否有效，需要通过内容效度、效标效度、结构效度[2]54三类效度证据来考查。

（一）内容效度：测试内容与欲测目标的相关度

内容效度指测试内容对欲测课程目标的代表程度。此“内容”不仅仅是事实性知识，还包含了学科的核心素养。需要注意的是，一次非纸笔测试的内容主要指向某个特定时期内要求学生掌握的学习目标。那怎样表示非纸笔测试内容代表预测课程目标的程度？可用五种图式来表示不同的代表水平（如图1）。

从图1可知，“欲测课程目标”用矩形表示，“非纸笔测试内容”以黑点指代。当两者匹配程度越低时，内容效度就越低。例如，图1A，测试内容均匀分布于矩形所代表的预测课程目标中，则完全匹配；图1B，测试内容中有一部分与预测课程目标不匹配；图1C与1D，测试内容包含于预测课程目标中，但覆盖面非常有限；图1E，測试内容完全偏离预测课程目标。在实际测试中，如果教师设计的非纸笔测试内容不能体现预测课程目标，那以此所得证据进行推论，作出教育决策，就有可能导致错误的认定、反馈与指导。

（二）效标效度：评价标准与学业水平的关联度

效标效度指通过评价标准推论学生学习水平的准确程度。它决定了教师基于分数或等级等非纸笔测试结果，对学生在某一课程目标上掌握情况，做出何种推论和决策。

基于群体均数、常模参照的纸笔测试，评价标准指向测量结果的数值，追求测试结果的数量化、客观化，忽视数字背后的意义，无助于推断学生学习是否达到教育目标和达到教育目标的程度。非纸笔测试的价值在于促进学生的学习，注重对测试过程的观察、记录与分析，基于证据对学生个体作出及时反馈与指导。因此，非纸笔测试的评价标准并不是对“事情是什么”“事情如何进行”以及事物的某种“真实”状态进行描述，而是提出有意义的解释[3]。这种解释是针对课程目标，基于测试中行为表现及结果，作出关于达成状况的一个或多个描述。通过描述，支持教师准确推论和作出决策，让学生明确“要去哪里”“现在在哪里”“下一步去哪里”，提高学生自我评价和自我反思的能力，引导学生合理运用评价结果改进学习。

（三）结构效度：评价证据与素养结构的效应度

结构效度指对某一假想性结构的测验准确程度。它指向预测课程目标中难以捉摸、隐蔽的知识结构的测量。学科核心素养所包含的正确价值观、必备品格和关键能力，除事实性知识外大部分评价变量是内隐的，比如“数学能力”或“阅读理解能力”。仅通过测试结果不能得到准确的推论，需要通过观察学生在测试中的具体行为表现，收集相关经验性证据方能有效推测。这就需要教师充分理解内隐欲测目标的假设性结构的“运行机制”，设计相匹配的非纸笔测试任务，并对学生在测试上的行为表现作出一个或几个正式的假设。如果从评价任务中得到的证据能够验证某种假设，就表明学生的学习结果得到了有效推测。

二、基于效度证据的非纸笔测试设计策略

基于效度证据的测试设计，梅斯雷弗等学者提出了“以证据为中心的设计”（evidence-centered design， ECD）框架[4]。ECD包括使用不同的表征方式刻画测试要素，并将其转化为测试的设计——测试任务、评分规则、统计建模等。它把测试设计和使用具体分为领域分析、领域建模、概念性测评框架、“测试实施”及测评发布5个层次[5]（见表1）。非纸笔测试作为测试的一种方式同样适应。

（一）领域分析

非纸笔测试设计，首先要进行评价领域的分析，搜集预测领域内最重要、最关键的实质性信息。它主要来自课程方案、课程目标等内容标准，包括此领域内的内容、概念、术语、工具及表征形式。如“学习独立识字”“学习圈点、批注等阅读方法”“用口头或图文等方式整理、表达自己在活动中的见闻和想法”。

领域分析不是根据某种测评惯例和结构来组织的，如语文学科的“字—词—句—篇”，而需从证据链视角进行整理。即分析课程方案和课程目标，从中整合和提炼重要的、关键的、有价值的知识、知识结构和关系，为非纸笔测试的设计提供学理依据和开发启示。

（二）领域建模

领域分析后，要进行“测试要素陈述—关键知能匹配—预期结果表征”三项工作，从而形成测评结构，这就是领域建模。它使领域分析从内隐和抽象变得外显和可操作，使测试领域要素、关键知能和预期行为表现和结果形成严谨的证据链。领域建模的意义在于建构非纸笔测试的测试蓝图或测试说明，保证“教–学–评”的一致性。这既有效区分了测试内容的筛选和审查，也清晰表征出要素测试中“可见”的行为表现和结果制品，让教师在精准的预测目标和确证的测试证据中进行有效、精准的推论。

（三）概念性测评框架

概念性测评框架主要是根据领域分析和领域建模的内容展开非纸笔测试任务结构的设计。它由一组紧密关联、逻辑严谨的6种模式组成：学生模式、证据模式、组合模式、任务模式、呈现模式和发布模式组成[6]。其指导着非纸笔测试开发与实施的过程步骤与操作细节。

学生模式主要回答“测什么”的问题，即测试的具体目标。它明确了教师希望通过非纸笔测试的结果做什么样的推测，是领域建模中“知能匹配”的具体化，与欲测知识与能力等密切相关。证据模式主要回答“如何测”的问题，即非纸笔测试过程里不同的行为表现或呈现结果反映了不同的目标达成水平。它主要由“经验性证据链”的设定来完成。经验性证据链是教师针对预测目标，根据前测活动或专家经验，决定测试中重要的行为表现并设立赋分标准。组合模式主要回答“测多少”的问题，即非纸笔测试中对特定预测目标，设置的证据数量。通常，一个特定测试目标的考查，需要多个证据的组合来实现，以保障推论的精准性。组合模式就是要规限每个测试要点需要的证据数量。任务模式主要回答“用何测”的问题，即非纸笔测试的情境与任务。参照证据模式设定中相应行为表现与呈现结果，研发与之相适配的情境与任务。呈现模式主要回答“怎么测”的问题，即非纸笔测试的呈现方式。它是根据预测目标的类型，确定相适应的操作形式，如口头提问、观察、对话、纸笔测试、开放式问答以及表现性任务与项目等。发布模式描述了一次非纸笔测试从学生模式到呈现模式的整体关系，以及各模式间的协调动作过程。同时也描述各个过程中的安全、时间等外在因素。

（四）测评实施

本环节主要工作是根据前三个阶段的要求，开展具体的非纸笔测试的实施工作，用以明确测试情境与任务的选择标准，布置场地和设施，及收集、分析、解释学生测试过程中的反应数据。具体包括：确定预测目标与内容、明确测试任务与典型性题目、表述测试规划、制定评分规划与标准、布置测试现场、安排测试评定、分析测量效度、报告测试结果与分析等。

（五）测评发布

测评发布回应的是“学业成就水平描述”与“测试反馈与指导”两方面问题。前面几项环节，只涉及测试领域、目标、工具、组织、结果等潜在内容。而测试的最终目的是根据测试中收集的证据，得出指向预测目标的有效推论。这就包含对学生现有学业成就水平的质性描述，以及对下一阶段学习提出针对性指导意见，让他们既知道“我在哪里”，更知道“我如何去那里”。

三、ECD框架下非纸笔测试设计

下文以第一学段语文学科为例，讨论如何基于效度证据，利用ECD框架来设计的一次阶段性非纸笔测试。

（一）编写测试说明

非纸笔测试的第一步是通过领域分析和领域建模编写测试说明。主要过程是对课程标准中的学段要求及学业质量描述部分进行分解与整合，从学科专业视角确立测试的内容要素，并抽象为若干变量，以陈述形式呈现。第一学段语文测试以课程标准中学业质量描述为蓝本，通过测试类别、测试项目、测试内容和测试要点的概括和提炼，形成以下测试说明（见表2）。

（二）界定测试范围

测试说明完成后，要对学生模式中的变量进行厘析和选择，也就是确定“测什么”。学生模式是在测试领域模型框架下，对知识、技能、能力等測试要素的变量集合。假定要测试“口语表达”中的“说清楚”，那要思考选用什么作为变量？这些变量能够表现不同层次学生的何种表现？进而反推“说清楚”背后的知识、技能和能力要素。这个过程主要围绕经验性证据展开，通过论著查询、专家访谈、学生前测等方法拟定。根据多方经验性证据的整合，形成的关于“说清楚”的变量集合图式结构（如图2）。

（三）确定评分规则

评分规则包括评分要点和赋分规则，两者共同完成了证据模式，澄清了测试中的行为表现作为评价证据的逻辑。评分要点是将学生模式中的变量集合假设为一个或多个具体的可观察行为，并以不同权重赋值；赋分规则是结合评分要点，制定衡量学生行为反应的各种分值或等级指标，并说明是用整体评分还是分项评分方法。表3即为针对“说清楚”测试的分项评分规则。

（四）设立情境任务

《义务教育课程方案（2022年版）》提出“注重动手操作、作品展示、口头报告等多种方式的综合运用，关注典型行为表现，推进表现性评价”等要求[7]。因此，非纸笔测试的任务设计，更突出情境性与实践性，要求根据学段特点和具体测试项目类别设计适配且完整的情境与任务，即确定任务模式。这个过程包括两个步骤：匹配情境任务类别和设立具体情境任务。

匹配情境任务类别，就是根据测试项目内容的知识类别，定制情境任务设置的向度。这一步骤需要明确三个问题：预测内容归属事实性知识、概念性知识、程序性知识还是反省认知知识？不同的知识维度针对具体学生需要什么学习水平？需提供怎样的测试任务或工具来支撑？根据分析，选择相应情境任务的类别，包括识别性任务、表达性任务、操作性任务和动作性任务。识别性任务测试的是学生对事实性知识的记忆、认知能力；表达性任务主要考查学生的语言交流能力，包含口头表达和书面表达；操作性任务是为考查学生的实践能力，要求完成一系列技能动作；动作性任务重点为表演、动作技能的评估[8]。

在明确情境任务类别后，再通过任务设置六元素，即目标、角色、对象、情境、组织、表现（制品）或标准，来设计完整的非纸笔测试任务。表4清晰地阐释了“说清楚”的测试情境任务的设置过程。

（五）整合测试方案

针对各项测试要素的情境任务设置完成后，需要进行整合，即确定组合模式和呈现模式。整合是基于考查内容的难度和完成时间，进行任务统整和数量拟定。任务统整是为整个测试方案中设定一个充满趣味性、挑战性的大主题，并围绕大主题修正分项测试的各个情境任务，形成一个大情境任务下的分任务整体；数量拟定是为保障测试的信度与效度，部分测试要素需要多个证据予以确认，因此须包含一组任务或题目，以确保测试精度。

（六）发布测试结果方案

教师应该评估学生的唯一理由是为了做出更好的教育决策[2]52。无论哪种测试形式都不过是一种评估工具，更重要的是依据测试证据得出的推论，进而给予学生更好的学习反馈与指导。所以如何描述学生与任务之间的互动表现及如何报告学生测试结果，相比测试过程设计更为重要。

非纸笔测试的结果发布，不是以甄别和认定为目的，而是以“预估和支持学生后期发展”为旨归。因此，测试结果发布应以“测试分析报告”为形式，用描述性语言，针对测试项目的各个类别，分别回应三个问题：任务完成中的个人表现是怎样的？优势存在与待提高学习要素是什么？后期需要完成什么任务或工作？通过这三个问题的叙事，让教师调整教学进程和策略，使学生明确学习现状与改进方法，从而让非纸笔测试更好地促进学生学习。

参考文献：

[1]中华人民共和国教育部.义务教育语文课程标准（2022年版）[M].北京：北京师范大学出版社，2022：48.

[2]詹姆斯·波帕姆.教师课堂教学评价指南（第5版）[M].王本陆，赵婧，译.重庆：重庆大学出版社，2010.

[3]埃貢·G.古贝等.第四代评估[M].秦霖，蒋燕玲，等译.北京：中国人民大学出版社，2008：2.

[4]陆一萍.实证中心设计模式及其对汉语水平考试设计的启示[J].中国考试，2019（2）：9.

[5]BRENNAN L R.Educational measurement（4th Ed.）[M].Westport，C T：Praeger Publishers，2006：141.

[6]杨志明，林兰兰.基于效度证据的英语测验研发[J].教育测量与评估，2021（8）：5.

[7]中华人民共和国教育部.义务教育课程方案（2022年版）[M].北京：北京师范大学出版社，2022：15.

[8]周文叶.中小学表现性评价的理论与技术[M].上海：华东师范大学出版社，2019：86.

责任编辑：贾凌燕