英语写作AES系统评分效度的实证研究

王海军

(浙江工业大学 之江学院,浙江 杭州 310024)



英语写作AES系统评分效度的实证研究

王海军

(浙江工业大学 之江学院,浙江 杭州 310024)

摘要：英语写作自动评分系统(AES)在国外的英语写作测试和教学领域应用越来越广泛,但国内对其信、效度的实证研究还十分欠缺。以句酷网为例,从人分散度、相关性和等级一致性等方面研究了AES系统的评分效度。结果表明,尽管机器评分区分度不如人工评分,但其总的评分效度尚可,其结果的稳定性可以满足国内英语写作课堂教学的需要。

关键词：英语写作自动评分系统；评分效度；句酷

作文自动评分技术(AES,Automated Essay Scoring)是计算机给作文评价和评分的技术[1],自二十世纪六十年代问世以来,已经取得了长足的进步。现阶段,国外的写作自动评分技术不仅应用于英语写作的自动评分,还在英语写作的课堂教学实践中发挥了越来越重要的作用。

机器自动评分具有节时省力效率高的特点,能使教师在很大程度上从繁重的写作作业批阅中解放出来。国外的AES技术经过多年的专家论证和实践应用已经相当成熟,其评分效度甚至高于人与人之间的评分效度。而国内的AES系统由于起步较晚,其评分效度的实证研究目前还不多见。因此,本文以句酷网为例,分别从人分散度、相关性和等级一致性等指标来检验该系统的评分效度。

一、国内外AES系统评分效度研究综述

(一)评分效度研究的进展

迄今为止,国外研发成功并投入使用的自动评分系统有十余种[2],其中最具代表性的有PEG、IEA、E-rater、IntelliMetric和Writing RoadmapTM。……