CET写作评分员对评分结果影响因素研究

鹿军红

(西安理工大学 陕西 西安 710043)

英语写作是学生的重要能力之一，是各类英语考试的重要组成部分。目前，在全国各类英语考试中，英语作文的评阅通常采用在线评分的方式。考生作文被扫描，图像传输到各改卷点的服务器，由评分员在屏幕上对作文进行打分。由于评分员宽松与严厉程度不同，对评分标准把握不同，导致评分结果产生差异。另外，欣赏习惯、语言能力以及心态情绪等主观因素也会影响阅卷员对分数的评定。一些评分员评卷经验不足，一些评分员主观随意性过大或者评卷态度不认真，都会造成准确性不高，评卷质量差。所有这些因素都会影响写作考试的成绩，从而降低语言测试的信度和效度。

本文通过对大学英语四、六级考试(CET)评分的研究，找出影响评分员改卷判断的潜在因素，从而提高阅卷员英语作文评卷质量，这对于保证考试的公正性和准确性，提高考试的信度至关重要。另外，老师也可将考试评卷情况反馈给学生，用以指导学生写作，从而提高学生的写作能力。

1．评分标准

阅卷点在正式改卷前先对阅卷员进行为期半天的培训，帮助的评分员了解评分标准以缩小与标准及样卷间的差距。评分量表分别为1-3、4-6、7-9、10-12、13-15分，共五档。评分员通过将学生作文与样卷的比对来评定考生的考试成绩。评分员评定作文的关键是要将作文进行分档，要对评分样卷(Range-finders)认真学习领会，了解掌握每个档次作文的基本特征。

在培训的过程中，通常会发现，对同一篇作文不同的老师给出了不同的分数，有时分数相差很大，专家分为9分的作文，有的老师给了12分而有的老师只打了7分，为什么出现如此大的差异？

看到一篇作文，我们通常会从这样几个方面进行考量：(1)词汇短语；(2)句子结构；(3)流畅程度；(4)语法正确；(5)思想内容。评分员采用整体式评分法(Global Scoring)对英语作文进行评阅，分数的高低源于他们的“整体印象”或“第一印象”。评卷员应该从这些方面进行综合判断，给出一个总体印象分。一些评分员对一些低级语言错误十分敏感，一见到严重的错误就给了低分，因为“这么简单的问题都搞错了”。评分员对语法和词汇方面也进行不同的处理，有些采用“错误扣分”的方法；另一些则“为好词汇加分”。总的来说，评分员采用了不同的方法评分。一些人相信他们的整体印象，有些人喜欢分析的方式，有些人严格遵守规定的评分标准，有些人则形成了自己的尺度和判断标准。经验丰富的评分员往往使用一项以上的标准作为打分依据，而新评分员往往对其中某一项给予突出的重视，对作文的水平做出片面的判断，出现打分的偏差。以上因素就是出现同一作文不同分数的原因。

2.评分判断的依据

有些阅卷员更多地关注负面证据而不是正面证据。这些评分员对语言错误非常敏感，尤其是当一些低级语言错误频繁出现时，也许这些错误非常突出，引起了他们的注意。这些评分员对语言表达非常挑剔，对错误的容忍度不高，倾向于在语言上严格要求，对于学生在语法、词汇和表达等方面十分看重。他们对学生往往持消极的看法，看到任何的错误偏离标准，就相应地降低学生的分数。他们在思维中对作文多采用减分计分法。

正面证据驱动的评分员多注意作文中的优点。他们注意寻找一些“值得奖励”的东西，比如在词汇方面，考生作文中偶尔出现一些令人印象深刻的单词，这“瞬间照亮了我的眼睛”，“不寻常”或“印象深刻”。此类评分者多使用相加计分法，更多地关注作文中积极的一面。

优秀评分员在评估作文时往往同时考虑优点和缺点，结合正面和负面证据进行打分。他们对词汇，语法，内容相关性和连贯性进行综合的评价，也同时考虑内容的充分性、新颖性和生动性。

3．相关系数(R)

相关系数R这里是指客观分与主观作文分之间相关性。由于客观成绩已经在改作文之前由机器改出，一般而言，学生的客观成绩高，作文得分也应与之相应，两者呈相关关系。由于考生的各种语言能力间存在一定的相关性,因此作文分数与客观题得分间的相关系数R可作为评阅信度的一个重要参考指标，相关系数高的阅卷员评卷的准确性就高。R值是衡量评卷质量的首要指标，因此评分员在批改作文时要尽可能提高自己的相关系数。

4.套用

有些学生死记一些句子或范文进行套用，这类考卷最容易让阅卷员误打高分。识别这类考卷的方法是看看是否与主题相关，是否是生搬硬套。学生套写作文的现象非常普遍，阅卷员要敏锐地识别此类作文。批改这类作文的要点是：特别注意学生临场所写的句子，这些话往往反映出学生的真实水平。

5.书写

见到书写工整的作文很容易让阅卷员误给高分。有些作文书写得工工整整，实际错误较多，水平并不高，阅卷员很容易被书写所迷惑。

相反，一些学生书写太过潦草，难以识别，阅卷老师遇到这种试卷，往往失去耐心，打出低分。遇到此类试卷，不要太随意，要有耐心去认真辨识，看出其真实水平，说不定还是一份好卷。

6.评卷速度(Speed)

一般阅卷点对阅卷老师有时间上的要求，如每份试卷的阅卷时间平均不得低于60秒。有的老师评卷速度过慢，给分犹豫不决，摇摆不定，要知道评得慢不一定评得准，掌握每个档次作文的基本特征才能改得既快又准。当然一扫而过的不负责任的过快阅卷，也是不可取的。

目前,对于阅卷速度的研究不多,Charney(1984)指出了一系列与评分进程有关的因素。

她认为监控与较快的评阅速度有助于提升评阅信度,整体评阅法(holistic scoring)应当快速,对文本的深入思考会降低评阅信度。

7.其他因素

评分者的身体状况和情绪状态也会对评卷的可靠性产生影响。评分工作的强度使评分员身体疲劳，大多数评分员找到了“减轻疲劳”的不同方法设法解决这个问题，例如午饭后偶尔站起来活动身体或爬在桌上小睡。评分员有时也会不可避免地情绪化，楼道里的脚步声或窗外的噪音可能使他们坐立不安。另外评分员自身的英语水平、对评分工作态度等因素也会影响评分质量。

8.小结

本文分析了评分员对英语作文评分结果的影响因素，其中一些因素是非系统的和不可控的，如评分者的情绪状态和身体状况。一些因素的是可控的，比如评分标准和评分者培训。这些可控因素被识别出来后，我们就可以采取措施解决相应问题，如修改和制定更详细的评分标准，以缩小理解上的不一致。本研究也可以指导评分员的选拔，通过对评分员的培训，淘汰不合格的评分员。

词汇、语法、内容的连贯性和准确性被认为是写作的主要组成部分，不同的评分员对其重要性进行了不同程度的排序。他们对好作文的概念存在差异，强调写作能力的不同成分可能导致形成不同的评判标准，并由此导致相同的作文不同的分数的现象。因此，阅卷员应本着为每位考生负责的态度认真评阅好每篇作文，提高阅卷的准确性，努力做到客观公正。阅卷机构也应对阅卷员进行监督指导，及时纠正阅卷中的偏差，以充分保证评卷质量，提高考试的公正性和准确性。