民族汉考新大纲实施的试题质量分析

邱静远

摘 要：2016年6月，民族汉考（MHK）（二级）新大纲正式颁布，2018年6月，依据MHK（二级）新大纲命制的新试卷在青海正式启用。本文对民族汉考（二级）新旧大纲进行了比较，并采集2016～2018年青海民族汉考（二级）笔试的实测数据，对三年的试卷进行了纵向年度对比分析，评估了新大纲的试题质量，对新旧大纲的过渡情况进行了分析和论证。

关键词：MHK;新大纲;质量分析;对比分析

【中图分类号】G【文献标识码】B【文章编号】1008-1216（2019）05B-0004-04

在少数民族地区推广普及国家通用语言文字（汉语），对增进各民族沟通交流，铸牢中华民族共同体意识具有特殊意义。中国少数民族汉语水平等级考试（以下简称“MHK”）是结合我国少数民族学习汉语的特点，专门测试母语非汉语的少数民族学习者语言水平的国家级标准化考试，主要考查应考者运用汉语进行交际的能力，包括应考者运用汉语工具完成生活、学习、工作和社会交往任务的能力。

MHK从低到高分为相互衔接的四个等级。MHK自2003年开考以来，已推广到16个省区，累积报考科次超过400万。MHK考试大纲是从2002年起分级别先后颁布的，旧大纲使用了10年。2012年教育部民族教育司启动了MHK大纲的修订工作，目前，一级、二级大纲已经修订完毕，于2015年6月正式颁布，三级、四级大纲正在修订。

2018年6月，经过两年的宣传适应期，依据MHK（二级）新大纲命制的试卷在青海正式启用。考试大纲是命题的规范性文件和标准，是考试评价、复习备考的依据，大纲的修订必然会带来试卷结构、题型等方面的变化。而MHK是标准参照考试，应当保证在不同时间、使用不同试卷的考生得到公平对待，保证合格证书的授予标准不会随着大纲变化、试卷难度波动而起伏，保证不同试卷得分具有可比性。

考试大纲的修订给试题质量控制，特别是稳定考试难度带来了挑战。如何保障新旧大纲稳定衔接？如何保障采用不同试卷结构的考试所得的分数具有可比性？这是考试研发者在推出新结构的试卷时必须思考和解決的问题。这就需要在新旧大纲过渡期间，采集实测数据，进行新大纲考试数据的年度分析以及不同年度试卷的纵向对比分析，找出新旧版本考试的差异，评估新大纲MHK考试试题质量，分析产生差异的原因，为提升命题质量和改进教学提出有价值的建议，为实现一年多考、一纲多卷奠定基础。

一、MHK（二级）笔试新旧大纲比较

MHK（二级）主要考查少数民族学习者完成义务教育阶段汉语学习任务时应达到的水平，考试对象为准备进入全日制民族高级中学、中等专业技术学校学习的少数民族学生，或者希望向有关单位证明自己汉语水平、希望评价自己汉语水平的少数民族学习者。MHK二级笔试包括听力理解、阅读理解与书面表达三个部分。

对新旧版本的考试进行对比分析，首先要明确新旧考试大纲的联系与区别，尤其是区别有多大，这是研究的先决条件。根据《中国少数民族汉语水平等级考试大纲》（二级）修订版，大纲修订的原则为“继续保持原大纲注重考查考生实际运用汉语的能力，突出能力的全面考查，保持原大纲的主体结构不变;修订等级标准，对大纲的题型进行调整、补充和完善，更新和调整字表和词表，完善考试流程;考试内容和表述方式力求贴近少数民族生活和汉语教学的实际”。即理念、架构保持稳定，内容更新、调整，贴近少数民族实际。

通过修订原则和表1可以看出，MHK（二级）新旧大纲理念、架构是稳定的，没有结构上的变化，变化在细节上，主要体现在以下几个方面：一是题型调整。听力理解部分取消了听力搭配的题型，增加了对话和语段题的题量;阅读理解部分取消了词语解释的题型，增加了词语填空的题量;书面表达客观题部分取消了判断词语位置，语句判断由选正确改为选错误。二是题量减少。由全卷91题减少到了86题，书面表达客观题部分减少了5题。三是考试时间增加。考试时间由110分钟增加到了115分钟。四是对字表和词表的修订，调整了数量。这样，减少了侧重知识和训练的题型，增加了交际和应用的题型，突出了对语言运用能力的考查。

二、研究方法

新旧版本大纲的对比分析，采集同一群体在相邻的时间进行新旧大纲两个版本试卷测试的数据，这样考生的能力值不会有大的变化，测量的精度比较高，但考生的动机不好控制，实际操作中也有诸多困难，难以实现。为确保分析的科学性，我们决定采用历年的实测数据。目前，青海省使用MHK（二级）笔试成绩作为初中毕业暨升学考试（中考）汉语科目成绩，每年6月举行，考生作答动机良好，能够反映真实水平，考后评卷等工作规范有序，测试数据可靠，样本数据具有典型性、稳定性、可靠性和有效性，完全可以用于对比分析。

研究使用了2016～2018年青海MHK（二级）笔试的测试数据。测试数据剔除了信息缺失、删除了未作答和成绩为0的考生作答信息。样本人数分别为：2016年9882人，2017年9418人，2018年9982人，共计29282条有效数据。在三年的考试中，2016卷和2017卷依据旧大纲命制，2018卷依据新大纲命制。

根据统计结果，2016～2018年的考生在考点分布、民族分布、性别分布等方面一致性高。将参加考试的全部考生归入24个市县级考点单位，考生最多的来自共和县、同仁县和泽库县三个考点，考生较少的来自德令哈市、格尔木市、海晏县、乌兰县四个考点;从考生民族分布看，90%以上的考生来自藏族，5%左右的考生来自蒙古族，其他来自回族、满族和土族等。从考生性别分布看，女生比例为53%，男生比例为47%，女生比例略高于男生，各年基本稳定。

本研究主要基于经典测验理论进行定量分析，主要工具有ASC Item and Test Analysis Package 、SPSS，并采用FOXPRO自编程序进行数据处理，从被试总分、分测验分布、试卷和题目统计参数等对2016～2017年旧大纲卷和2018年新大纲卷进行分析。

三、2016～2018卷测试数据统计结果与分析

为了验证2018卷的稳定性和可靠性，我们将2018卷与2016卷、2017卷进行了纵向对比分析。

（一）总分与分数分布

从图1可见，2018卷与2016卷、2017卷分数分布基本一致。按照一题一分、满分85分的原则（不包括作文得分，2016卷和2017卷按照85：90比例折算），将考生分数分别归入10个分数段，获得不同分数段考生的分布频率。除0～17分低分区间外，其他各分数段均有5%以上比例的考生。2016卷、2017卷和2018卷考生总分在68～76.5分数段内分布比例最大。由表2可知，从客观题总分来看，试卷平均分分布在54～62分之间，2018卷平均分最低，主要原因应该是由于书面表达部分减少了5道试题，标准差较为稳定，变化较小。2016～2018卷听力理解和阅读理解的平均分和标准差较为接近，难度差異变化不大。书面表达部分由于2018卷满分为10分，而2016卷、2017卷满分为15分，无法进行对比，但可以看出旧大纲下这部分考生成绩平均分稳定在9分左右，标准差在3.0左右。而作文部分2018卷得分均略高于2016卷和2017卷。

（二）难度与区分度

三年试卷的题目难度曲线大致均呈负偏态分布，难度集中在0.5～0.8的区间内。2016卷和2017卷分布最为一致，2018卷题目难度集中分布在0.6左右，分布频率向两端依次减少，试题难度分布较为均匀。

2016～2018卷题目区分度的分布一致性高，呈正态分布，区分度为0.5时，不同年份试卷在该点的比例占各试卷题目总量的40%～50%，此外，各试卷90%的题目区分度在0.2以上，表明题目质量较好。

（三） 信度与效度

整体来看，各年份试卷的听力理解和阅读理解部分α系数均在0.89以上，信度较高，题目比较可靠。书面表达部分各试卷信度较为一致，在0.76～0.79之间起伏，与听力理解和阅读理解相比信度较低，这可能是因为题目数量较少。

为了对2016～2018卷的结构效度进行分析，研究采用因素分析的主成分方法对三卷各分测验的作答数据进行了对比验证，考查每个分测验在每个潜在因子上的负荷情况。结果表明，三年考试的情况基本相同。除2018年书面表达分测验外，其他各分测验在所提取主因素上的负荷均在0.9以上。三年考试只有一个共同因素，考查了一个潜在因素，因此，可以认为三年考试的构念大致相同，结构效度较高。

（四）新大纲卷试题分析

2018卷是MHK（二级）新大纲启用后正式使用的第一套试卷。由于作文原始分为0～6等级分数，未进行分数转换，所以选取的分析对象为除作文以外的前85道题目。根据表4可知，从难度看，2018年卷全卷难度0.65，中等略易。

从α系数来看，全卷信度0.96，书面表达部分信度相对较低，尤其是书面表达的选择题部分，可能是因为题目数量较少，只有5个题。整体来看，2018新大纲卷难度适中，信度较高，能够较好地反映考生真实的能力水平。

四、结论和启示

从以上的分析可以看出，MHK（二级）  （下转第9页）    （上接第6页）试卷质量总体上是稳定可靠的，基本实现了新旧大纲平稳过渡的目标。在总分分布、难度、区分度等方面，2018卷与2016卷及2017卷的数值较为一致;2018卷的整卷信度α值为0.96，说明这套试卷测验分数的可信度高。在效度分析方面，相关分析结果显示，分测验对全卷具有较高的代表性，其得分能有效地预测全卷得分。

通过三年试卷纵向对比发现，题型变化对考生作答影响显著。这是新旧版本考试的一个明显差异。分数分布书面表达汉字题部分呈现“U”型分布，分数两端人数多于中间分数段人数，而且考生人数分布最多的分数点为0分，可能是因为考生对新题型还不熟悉，需要一个适应的过程。填空题部分因试题改革未有参照标准，需根据后期情况进行观察和调整。

少数民族学生在书面表达能力方面存在薄弱环节。这也印证了少数民族学生在汉语学习中口语和书面表达能力较弱的实际情况，也从侧面反映在新旧体系的过渡中体现的考试指挥棒作用。

这也说明，要做好新旧大纲的平稳过渡，除考试研发部门要控制好试题质量外，基础教育行政部门和教研部门也有责任，应加强宣传，做好考试大纲的解读和适应测试工作，帮助考生准确把握考试大纲修订情况，及时回应教师、学生和社会关切。

通过以上的分析还可以看出，通过实证研究和量化分析的结果了解学生对知识、技能的掌握情况，反馈教学中存在的问题具有重要意义。这不仅能为优化和改善教学工作指明努力的方向，而且可以为日后修改或筛选考试试题、建立试题库和实施标准化考试等提供参考。

分析的结果表明，命题人员在命题过程中应进一步了解少数民族学生学习汉语的实际情况，充分考虑少数民族地区汉语教学的复杂性和不平衡性，这样才能确保试题的质量和考试的信效度。

建立MHK试题质量评价体系除定量分析外，还需要进行定性分析，比如试题是否符合命题规则和考核目标。本次分析主要采用经典测量理论，这种理论有局限性，今后应结合项目反应理论来研究。

实施双语教育是国家推进民族教育的重要举措，也是提高民族教育质量的重要基础。考试是检验和评价学习成果的手段，更是指导和改进教学质量的方法。

MHK新大纲调整、更新后更加贴近少数民族实际，在今后的应用中，应充分发挥在学业评价、质量监测、教学反馈等方面的作用，为推进双语教育取得更大的实效做出突出贡献。

参考文献：

[1]祁永芳.对民族汉考及民族地区汉语教学的改进建议[J].中国民族教育，2018，（2）.

[2]任涛，扈岩，张青华，张泉利.高中学业水平考试评价标准体系研究——以北京市为例[J].中国考试，2017，（1）.