中学理科实验操作考查的评分者效应和评分者信度
——基于多面Rasch 模型的分析

麦裕华 黎光明 钱扬义

一、问题提出

表现性评价是在真实情境下，对人们问题解决过程中表现的复杂知识、能力和情意进行测量的评价方式。中学理科课程的实验操作考查作为典型的表现性评价，主要评估学生完成理科常见实验的基本实验操作能力。自20 世纪80 年代末以来，国内各地教育行政部门加强中学理科课程管理，设置初、高中理科实验操作考查，借此提高学生实验操作能力。教育部提出，初中学业水平考试“要重视对有关学科教学实验操作的考查”[1]，普通高中学业水平考试“要对相关科目的实验操作的考试提出要求”[2]。国务院办公厅“鼓励有条件的地方将技术科目和理化生实验操作纳入省级统一考试”[3]。中学理科实验操作考查逐渐成为选拔中学优秀人才、有高利害关系的表现性评价。然而，实验操作考查的研究主要集中在试题命制和考务组织[4][5][6][7]、评分方式[8][9]、对理科实验教学的反拨作用[10]等主题上，鲜少讨论评分者效应、评分者信度等关键问题。相关的实证研究有麦裕华等人应用百分比法和相关法，初步探讨考查学生高阶思维的化学复杂实验的评分者信度及其影响因素。[11]

评分者的认识、情绪和疲劳等主观因素，容易使其在表现性评价中出现偏差，产生评分者效应（rater effect）。[12]评分者效应包括宽严效应（leniency/severity effect）、 趋 中 效 应（central tendency effect）、随机效应（randomness effect）、光环效应（halo effect）和区分性宽严效应（differential leniency/severityeffect）。[13]评分者效应的存在会影响评分者信度（包括评分者间信度和评分者内信度）。……