基于表现性评价的计算机模拟病例在教育测评中的研究进展

仝贝贝，康晓凤，史润泽，弓 宸

北京协和医学院护理学院， 北京 100144

表现性评价(performance assessment，PA)是在真实情景下，通过客观测验以外的行为表现，来测量和评价学生运用先前获得的知识解决真实问题能力的一种方法[1]。能力评估已成为医学领域的一个重要组成部分，结合医学课程操作性强的实际情况，医学教育测评中运用表现性评价法是适用的[2]。在医学教育测评中广泛应用的计算机模拟病例考试主要是基于表现性评价实施的[3]。计算机模拟病例(compu- ter-based case simulation,CCS)是由计算机对患者诊疗环境进行复杂的、没有提示的、动态的和人机交互的模拟[4]。CCS作为一种成绩评定的工具，其目的是在逼真的环境下，通过模拟时间的推进和临床病例情境的逐步展开来测量被试者管理患者的能力。1999年，美国率先将CCS应用于国家执业医师资格考试(Un- ited States Medical Licensing Examination，USMLE)的第三阶段[5]。2001年，中国医科大学承担国家医学考试中心课题，开始国内计算机模拟病例考试系统的建设与应用研究[6]。文章将从基于表现性评价的CCS在教育测评中的实施背景、评价方案的构建和应用前景等几个方面进行分析,以期为提升计算机模拟病例的信效度提供依据。

1 实施背景

表现性评价有很长的历史渊源，早期主要以质性评价为主。随着量性评价的出现，表现性评价步入低潮期。20世纪60年代后期，随着心理测量评价范式的广泛流行，使得表现性评价再次出现在人们的视野。在医学领域，新出现的表现性评价的形式是计算机模拟病例(CCS)[7]。

为了培养21世纪新型创新人才，世界各地都在进行基础教育课程的改革。随着改革的不断深入，在目前的评价改革中，表现性评价的地位越来越突出。表现性评价的目标是通过真实的情景任务来实施和测验的，表现性任务又具有真实性、情境性和复杂性，因此，在完成学习任务时，学生必须做出建构反应，而不仅仅是选择反应[8]。表现性评价着重关注学生的综合能力，以及逻辑思维、态度、情感、价值观等内在倾向性的评价[9]。与以“点对点”的形式推进的满堂灌的课程教学和零碎知识点的评价目标不同，将表现性评价统整到CCS中，实现了课程设计和评价设计同时开展的转变，同时，也可驱动学生进行深度学习[10]。表现性评价的一些基本设计和原则来源于建构主义理论，尤其是建构主义学习理论。在表现性评价的实施过程中，学生要深度参与其中，担当学习主体的角色，主动构建答案或进行活动。

建构主义学习理论认为，在学习过程中，学习不是被动地接受知识，而是积极地参与到知识构建的过程中，鼓励学习者进行批判性地思考问题。从建构主义角度来看，当学习者接触到不符合现有模式的新信息或体验时，学习者必须重新设计现有的方案或构建新的方案，因此，激活先前的知识对学习过程至关重要[11]。计算机模拟病例通过模拟临床情景，为医学生提供了重新构建理论知识的平台，有助于促进医学生临床思维的培养，同时，也有利于对医学生的知识水平和临床能力进行测评。表现性评价作为一种评价方法，在医学教育测评中起着十分重要的作用。

2 评价方案的构建

CCS教学设计的框架部分基于Cook的e-Learn- ing研究模型，该模型的潜在优势包括灵活性、可控性以及可以收集数据进行评估和反馈[12]。该框架使用4个教学设计级别来描述教育活动：第一个级别是教学媒体，包括教科书、讲座、电脑模拟等；第二个级别是教学形式，包括计算机模拟、模拟患者、模拟临床沉浸和过程模拟；第三个级别是教学方法，包括自我指导的学习和教师指导的学习两种；第四个级别是展示形式，包括反馈、保真度、模拟器类型、场景和团队组成。在每个级别上，所做的选择都取决于活动的实际学习需求和目标。

表现性评价方案的设计一般由三部分构成:确定评价目标、设置表现性任务、制订评价标准[13]。

2.1 确定评价目标

任何一个评价方案的设计与实施，都必须先回答“评价类型和评价目的是什么”，以及“为什么进行评价”[14]。从理论层面讲，评价的目的是实践与自我反思；从实践层面讲，学生学业表现性评价的目的在于使每个学生的独特性、复杂性和真实性得到彰显，运用评价帮助每个学生都能够认识到自己的独特意义和自我价值[15]。在临床教学中，表现性评价目的在于通过评价来促进和支持学习，激发学生的学习动机，提高自信心和满意度，增强临床决策能力，并且能通过评价学生的实际操作能力和解决问题能力，提高学生的临床胜任力；在职业资格认定中，表现性评价旨在有效考察候选人的实践能力及问题解决能力，为提高资格认定的预测效度提供有力保障。

2.2 设置表现性任务

表现性评价是通过对被评价者在具体情境中完成任务的实际表现进行观察分析来完成的[9]。表现性任务设置，实质是依据评价目标设计情境和活动，是一个将评价目标情境化的过程。教育家艾斯纳指出，评价任务设置应尽量满足八条原则，其同样适用于表现性任务设计[16]：①能真正反映情境中遇到的问题和任务，必须要能评定出学生的所知与所能；②要尽量展示出学生对问题的思考、观察和推理；③要体现其所秉承的共同体的价值观；④可以是个体或小组合作形式完成的；⑤对于同一个目标，应允许设计多个表现性任务；⑥表现性任务设计应具有课程适应性；⑦表现性评价并不是简单地体现学生部分感知问题的能力，而是要体现学生在完成任务时所表现出的对事物或问题结构的敏感性及整体的控制能力；⑧表现性评价应重视学生的主体性，必须是对学生有意义的，让学生参与到问题解决中来，并帮助学生在任务完成过程中表现得更好。表现性任务设置是否科学、清晰、可操作，决定了评价实施的有效性。

2.3 制订评价标准

评价标准的制订是顺利实施评价的基本保障。表现性评价是用来衡量学生在完成任务过程中的表现及其成果的一套标准，主要包括典型的学习行为语言描述和等级判断[17]。实质上是依据具体表现性评价目标，分级描述学生在评价活动中或结果上应有的表现过程，需满足：①明确提供具体、清晰的表现标准，用具体、可测术语陈述表现标准；②可行性是指学生按照既定的标准应该能达到的，应该是可实施、可操作的；③可信是指依据评价标准得出测验结果的一致性、稳定性及可靠性。好的评价标准的制订，既要有制订和修改评分规则所依据的准则，也需要在评分规则设计过程中给出各种事宜的最佳时间顺序。对于评价来说，一套有用的评分方法和指导原则，不仅可以用来判断设计工作的有效性，还可以帮助学生提高自我评价能力。在CCS考试中，考生完成病例会产生一个执行列表，是对考生表现的完整记录，展示了考生在模拟时间里的每一个执行行为[18]。比如：美国USMLE评分是基于三个类别的整体绩效进行评分，即临床推理、诊断绩效和患者管理。虽然，每个类别的得分不同，但是累积的最终得分是加权的：临床推理50%，诊断性能40%，患者管理10%[19]。

3 应用前景

3.1 教学培训考核

计算机模拟病例具有时间和地点的便利性，病例中的虚拟患者具有交互性。因此，CCS已广泛应用于单个病例的程序开发、教学培训和考核评价。通过积极地调用学生的知识，扩大模拟体验，加强主动学习过程，弥补学习知识和获得经验知识之间的差距，促进其学习特定的疾病或技能[20]。比如：在仿真实验室中，学生在有限的时间内学习临床处置时，往往会对分析临床情况感到有压力，并且易焦虑[21]，可使用CCS作为学生进入仿真模拟实验前过渡的准备工作；将CCS与面对面的模拟体验相结合，可通过回忆所学教材和加强对知识学习来提高学生学习的潜力[22]；借助高仿真模拟器，构建良好的场景，结合多站式评估任务，能可靠地评估参与者的临床能力。

3.2 职业资格认定

CCS逐渐成为职业资格认定的重要手段。美国医学考试委员会和联邦医学委员会联合发起了评估中心项目(the assessment center program，ACP)，借助CCS用于帮助州医学会对那些临床能力受到质疑的医师进行能力评价；德克萨斯大学研究者开发CCS，识别急诊住院医师在患者管理中的错误[18]。护理专业同样重视采用CCS和虚拟患者以评价实践能力。质性研究[22]和临床研究[23-25]均显示，CCS在不同的层面上有助于学生能力的提高：①明晰护理照顾的角色和模式；②提供个性化学习体验；③弥补课堂及临床教学罕见危重病例缺陷；④学习临床问题处理优先次序，增进临床推理能力；⑤降低焦虑水平，提升临床工作自信心。主管注册护士考试(NCLEX-RN)的美国国家护士联合委员会(NCSBN)研究指出，只要实施方案满足特定的设计条件，模拟可以替代50%的传统临床经验[26]。

4 对我国实施基于表现性评价的CCS教育测评的建议

4.1 职业能力测评中应重视考察真实的临床实践能力

我国现行临床医师和护士资格考试，在全面考察候选人的专业素质等方面，仍以临床知识为主，较难考察到候选人在真实情境中的临床行为[27]。为了能全面、有效地考察候选人的临床实践能力，选拔合格的人才进入医疗行业，职业资格认定机构要深刻理解表现性评价的价值与意义，重视候选人员在真实临床情境中的工作表现和实践性知识，逐步将表现性评价引入资格认定之中，提高评价的预测效度，甄选出优秀的申请者。

4.2 应加强教师表现性评价技能培训

虚拟病例设计与真实的临床医患互动有一定差距，评价的预测效度有待提升。首先，应确保情境与任务具有挑战性和真实性[28]。真实性是表现性评价目标的基本特征，挑战性是评价核心素养的前提。只有确保情境及任务的真实性，才能使评价者有机会测评到学生在真实情境中应用知识和解决问题的能力，才能有效地推论出学生在类似任务中的表现。只有确保情景和任务的挑战性，才能激发学生的潜力，诱导其体现核心素养行为的发生。其次，应强化情境和任务联系[29]。情境与任务是表现性评价题目的形式要件，任务是在某个特定情境中进行的，情境为任务的完成提供必要的线索。情境与任务相互依托、相互支持，使表现性评价考查学生在特定情境中解决问题的能力成为可能。如果情境和任务相互脱离，评价形式与评价内容会出现两张皮的情况，即任务并没有真正嵌套在情境中，表现性评价的效度势必会降低。只有健全试题审查与改进机制，确保表现性评价的效度、信度及公平性，才能真正发挥表现性评价的积极作用，促进我国医学教育教学与评价实践的深刻变革。

4.3 应重视CCS教育测评质量研究

评估医学生常用的方法是模块式的，每一个模块考核都会给出一个分数，学生通过所有的模块考核后，即可毕业，但是这种模式存在很多弊端[30]。仅依靠背诵和记忆获得的考试分数，来评判一个医学生的临床资质是无效的。为了更好地评估学生的能力水平，对基于表现性评价的计算机模拟病例评估的研究得到开展和应用[31]。计算机模拟病例的评估方法可以测评被试者安全实践技能水平和能力，还能区分新手和专家组不同的表现水平[32]。CCS模拟教学策略在医学教育中应用广泛，但国内关于这些学习策略使用的实效性研究，尤其是以学生视角为主，关注学生和患者结局的研究仍显不足[22]。此外，CCS考试中有数百个可供选择的临床操作，有超过20%的考生做出过至少一次危险的操作，并且在每个临床病例的危险操作倾向不同，考试中的危险操作可以潜在地反映被试者在实际临床工作中做出相似操作的倾向[33]。临床医护人员、教育者、模拟专家和研究人员应致力于将计算机模拟朝科学的方向发展，了解模拟科学的认知状态，是推进模拟科学的关键，也将使未来与提高模拟科学相关的研究成为可能[34]。

综上所述，表现性评价作为一种新兴的评价方式，随着计算机在考试施测、评分等环节中发挥越来越重要的作用，已经在计算机模拟病例考试中开发和试点应用。借鉴表现性评价的研究和应用经验，有助于推进我国计算机模拟病例的开发和研究进程，提升教育测评的信效度。