考试分析在操纵员培训中的应用与研究

商寅 姜有为

【摘 要】考核是系统化培训方法实施阶段的重要环节，是衡量培训有效性最有效的方式之一，也是最及时的方式。而试卷作为考核的一个重要载体，试卷的分析与评估应得到足够的重视。本文讨论了核电培训领域中考试分析的现状及其重要性，介绍了国际原子能机构推荐的考试分析的各项指标及意义，并以此建立了基于Excel的考试分析方法。

【关键词】系统化培训方法;考试分析;培训有效性

中图分类号： F272.92;F426.61文献标识码： A 文章编号： 2095-2457（2019）07-0266-003

DOI：10.19694/j.cnki.issn2095-2457.2019.07.111

【Abstract】Assessment is an important part of the implementation stage of systematic training methods. It is one of the most effective ways to measure the effectiveness of training， and it is also the most timely way. As an important carrier of the examination， the examination and evaluation of the examination paper should receive sufficient attention. This paper discusses the status quo and importance of exam analysis in the field of nuclear power training， introduces the indicators and significance of the IAEA-recommended exam analysis， and establishes an Excel-based exam analysis method.

【Key words】Systematic training method; Test analysis; Training effectiveness

0 前言

目前世界上绝大多数核电厂普遍采用系统化培训方法（SAT）进行人员培训。各国核电厂大多以国际原子能机构（IAEA）出版的《建立并保持核电厂人员资格和能力导则》为指引，遵循SAT的原则，根据自身能力和客观条件开展培训工作。SAT是一种培训组织形式，它把整个培训活动分为分析、设计、开发、实施和评估五个阶段，并在各个阶段进行有效反馈。其中评估是SAT的重要环节，通过培训全过程的评估，对培训工作进行监督和评价，以确保培训目标的实现，保证核电厂人员取得岗位要求的全面工作的能力。考试分析属于培训评估的组成部分，主要是针对培训实施阶段的考核结果进行定量、系统地分析，将分析结果反馈到SAT的其他阶段，以改进培训的质量，从而使培训的有效性得到不断提升。

1 考试分析的现状及其重要性

1.1 考试分析的现状

培训项目的考试分析一般仅统计考试的通过率、平均分及最高分/最低分，可以从总体上定性地了解培训项目的实施情况，但不足以为改进培训方式/内容、提高培训有效性提供定量的数据依据。而且，培训考核从试题开发到考核评估，主要依托于教员的个人能力及工作经验，缺乏系统的考试分析将导致考核的有效性未得到及时、持续地验证及改进。

1.2 考試分析的重要性

考试是检验学员学习情况最有效的手段之一。通过考试可以测量学员对培训目标的掌握情况，获取有用的信息，而不仅仅是为了得到一些分数。考试结果的分析与评价是SAT评估阶段的重要环节，通过分析可以了解教员的命题水平、授课质量和教学效果，了解学员对培训目标的掌握情况，对优化教学内容、把握教学水平、提高教学质量具有重要意义。

2 考试分析的指标及建立方法

考试分析包括试题和成绩的分析，本文选取IAEA所推荐的考试评价指标，采用定量评价和定性评价相结合的方法，将考试分析中常用的指标分为定量指标和定性指标两类。下文将通过这两方面讨论各主要指标的内容和意义，并以此建立考试分析的方法。

2.1 试题分析

试题分析是以评估试题的难度和区分性和试题选项的有效性而审查每位学员答案的过程。评估试题可以识别试题的问题并提出可行的建议。它可以判断学员是否掌握培训目标，也能用来提高教员的试题开发技能。试题分析主要包括以下三方面：

（1）试题难度系数

（3）选项分析

选项分析是审查选择题各选项的过程，以验证选项的合理性[2]。像区分性一样，选项分析可以计算每道题的系数，也可以通过直接审查选项结果进行分析。

以上的例子共50人参加考核，通过给出各选项的选择人数及其平均分进行试题选项的评估。如试题1，干扰项C没有任何考生选择，虽然并不能说明该试题存在问题，但在后续的开发或升版中，可考虑增加选项的迷惑性。而试题3，选择正确答案C的人数为40人，这些人的平均分达到18.93分，但是选择干扰项A的考生平均分也达到了18分的较高分数，这就需要教员进行试题的重新评估，可能是干扰项A迷惑性太强、干扰项B/D明显错误或是干扰项A本身的缺陷等。

2.2 成绩分析

仅有高质量的试题，还不一定有高质量的考试，所以应追求试卷整体质量的优化，同时为保证考核的有效性，其主要指标为可靠性、有效性和正态分布。成绩分析是考试分析的重要组成，它主要是对数据指标进行计算，包括参考人数、最高分、最低分、平均分、难度、标准差、信度、效度、成绩是否符合正态分布等。下面简述主要的数据指标：

（1）信度

（2）效度

效度是指一次考试能有效地测量学员的实际学习水平的程度。我们可采用测量内容效度来定性推断考试内容的质量。主要的方式是通过组织技术专家对考试试题与原定内容范围的吻合程度做出判断，这其实也是对培训设计阶段开发试题的反馈。

2.3 考试分析方法的建立及优点

2.3.1 考试分析方法的建立

基于上文所述的考试分析指标，建立了旨在用于考试分析的Excel表格。考试分析表分为原始数据子表和4个结果输出模块。

（1）基本信息模块

基本信息模块包括考试基本信息和学员排名两个部分。考试基本信息主要包括学员人数、题量、平均分、最高分、最低分、通过率和信度系数等。学员排名包括学员成绩单和考试排名。

（2）试卷信息模块

试卷信息模块包括试卷分析和成绩分布两个部分。试卷分析包括试卷的难度系数和区分系数等相关信息。成绩分布包括学生成绩的直方图、成绩分布曲线。

（3）试题信息模块

试题信息模块包括试题数据、试题数据图和选项分析三个部分。试题数据和试题数据图包括各试题的详细信息，如难度系数、区分系数、正确率等。选项分析主要介绍了单选题各选项的被选情况。

（4）专项信息模块

专项信息模块包括分类掌握、分类掌握图和学员表现三个部分。在系统化培训方法中，通过培训目标开发相应的试题，故试题与培训目标相对应，可按培训目标对试题进行分类，总结学员各类试题的得分，即可了解学员各类培训目标的完成情况，从而得出学员各方面的能力表现和薄弱点。分类掌握即是根据试题所属培训目标类别，统计各类别的正确率。而学员表现是比较学员与平均水平的差距，得出相应的雷达比较图。

（5）考试分析报告的生成

考试分析表可根据考试分析的结果，自动生成考试分析报告，便于数据的存档和形成相应的书面报告。

2.3.2 考试分析方法的优点

（1）建立标准化的试卷评估体系，能科学、准确地分析试卷

试卷分析的指标较多，每个指标的分析计算方法也不完全相同，进行试卷评估，可以得出定量的分析数据。通过对考试指标的分析，进而评价考试质量，确保测量结果有意义。

（2）为教员改进教学工作提供依据

通過试卷分析，教员可以找出教学工作中的薄弱环节和学员学习过程中的普遍性问题，在教学中加以改善，以便于因材施教。

（3）减少工作量，节省时间，提高效率

传统的考试结果统计和分析需要占用大量的时间。本考试分析方法仅需录入考试结果信息，即可产生相应的试卷、试题分析结果。

3 结论

考试是检验学员培训目标掌握情况的最有效手段之一，考试结果的分析与评价是SAT评估阶段的重要环节，通过分析可以了解教员的命题水平、授课质量和教学效果，了解学员对培训目标的掌握情况，对改进培训、提高培训有效性具有重要意义。

【参考文献】

[1]Simpson，E.J.，“The Classification of Educational Objectives： Psychomotor Domain，”Illinois Teacher of Home Economics，10（4）， pages 110-144，1966.

[2]The Principles of Training System Development Manual， Addendum II：Examinations：Design，Development and Implementation.（ACAD 88-002）.

[3]郁张海.标准化考试中的试题分析，山西大学学报，2009年第14卷.