“批改网”对不同水平非英语专业学生英语写作水平的影响

张 敏

（西华师范大学 公共外语学院，四川 南充637009）

英语写作是衡量学生英语综合水平和应用能力的重要指标。但是，长期以来，传统的大学英语写作教学收效甚微，教学效果差强人意。在全国大学英语四、六级考试中，听和读的成绩近年来都有比较明显的提高，但是，写作成绩却少有改善[1]。一方面，由于近年来各高校纷纷扩招，大学英语教学通常是大班教学，学生人数众多，教师教学任务繁重，因此，很难做到仔细评阅作文。很多时候，教师的作文评阅只是流于形式：许多教师评阅时只是给个分数或等级，缺少持续性评价；由于学生英语水平参差不齐，写作水平相差较大，教师难以从语法、句法、篇章结构、内容等方面进行细致的点评；此外，教师评价多是指出作文的不足之处，很少给予学生鼓励性的评价语，甚至部分教师不能及时给予反馈。另一方面，大学生对英语写作普遍缺乏热情，认为“费时低效”，因此常常是被动接受写作任务，敷衍了事，消极怠工，最终阻碍其英语写作水平的切实提高[2]。为了缓解教师的作文批阅压力，同时培养大学生的自主学习能力，许多高校在大学英语写作教学中纷纷使用各种在线写作系统。这样的在线写作系统对于提高不同水平的非英语专业学生的写作水平究竟有多大帮助是广大教育工作者和英语学习者关注的话题。因此，探究自动写作评分系统对不同水平非英语专业学生写作水平的影响就显得非常必要。

一、自动写作评分系统简介

自动写作评分（Automated Essay Scoring）系统的研发是机辅语言测试走向智能化的体现。该系统利用专业化的计算机程序，依据有效性、公正性和可靠性对教学中的作文文本特征进行评估与记分[3]。该系统的研发始于20世纪60年代的美国，到90年代进入实际应用阶段。目前国外较著名的AES系统有Project Essay Grade(PEG)、Intelligent Essay Assessor(IEA)、Electronic Essay Rater(E-rater)、IntellMetric、Bayesian Essay Test Scoring System(BETSY)等[4]。PEG基于对一篇文章语言特征的分析来评估作文的水平，但不涉及作文内容[5]。后来的评分系统如E-rater和IntellMetric使用统计和自然语言处理的技术提取作文的语言学特征，对照人工评分的标准作文集进行打分，增加了对文本内容和结构的分析，评价更加科学。IEA利用潜在语义分析技术，考虑到词义和语境因素，更侧重于对文本内容的评价[6]。

目前国内覆盖面较广的是北京词网科技有限公司开发的“句酷批改网”和外语教学与研究出版社的“i-write”。“句酷批改网”使用与E-rater和IntellMetric相似的技术，采用基于语料库的方法建模，通过测试样本作文与语料库建模作文的差距来给作文评分[7]。2015年和2016年批改网组织了两次全国范围内的百万同题写作大赛，得到了许多高校大学生的积极响应。这说明当代大学生愿意尝试新型的教学模式，这从主观意识层面为自动写作评分系统进入高校大学英语课堂提供了保障。

关于自动写作评分系统的早期研究主要集中在评分系统自身的效度上，即系统评分与人工评分的相似度。随着系统的逐渐完善，关注系统在教学中的实际应用的研究也逐渐丰富起来。研究者发现：无论是对于中小学生还是大学生，在线自动写作评分系统都能在一定程度上促进其写作成绩的提高，在纠正语言错误方面起到积极作用[8]。但是针对批改网对非英语专业不同水平学生写作水平影响的实证研究尚不多。

二、研究过程

（一）研究问题

通过一段时间的“批改网”写作练习，本研究探讨以下两个问题：该写作模式对不同水平非英语专业学生的英语写作成绩会产生怎样的影响？从作文的字数、语法、词汇、篇章结构等衡量写作质量的要素来看，“批改网”对不同水平学习者会产生怎样的影响？

（二）研究对象

本次调查以四川省某高校一年级非英语专业121名本科生为研究对象。根据他们高考英语成绩分组，115分以下90分以上的被试为一般水平组，115分及以上的被试为较高水平组。其中，一般水平组65人，较高水平组56人。

（三）研究过程

2016年11月，教师布置名为“on Children’Independence”的作文，要求学生利用“批改网”在半个月内完成一篇120～200词之间的议论文。教师要求学生在最初三天内只是完成作文的初稿，不能进行修改，以便研究人员及时记录初次作文的相关数据。该数据即为本次实验的前测资料。在此后的几个月内，任课教师每个月在“批改网”上布置一次写作任务，要求被试借助批改网的反馈，对作文进行自我修改，直到自己对作文满意为止。2017年4月，任课教师要求学生半个月内在“批改网”上完成名为“Fighting against Drunk Driving”的作文，字数在120～200词之间，在截止日期前，学生可以不断对文章进行修改。最后，研究人员收集该作文的最后一次相关数据，作为本次实验的后测数据。通过对比首末次作文的成绩及相关数据检测批改网对不同水平大学生英语写作水平的影响。

（四）数据收集

在规定时间内绝大多数被试均按要求完成了各次写作练习。但是，17名被试没有每次都完成写作任务，为了确保本研究结果的真实性，这部分同学没有列入最后的研究对象。在收集到的数据中，有15人的作文被系统判断为“相似”或“跑题”，对于这部分作文，研究人员进行了人工评阅，得出的结论与系统一致。因此，笔者将这15篇作文判为不合格作文，从数据中剔除出去。最后，本次研究共收集到合格的作文89篇，其中一般水平组45篇，较高水平组44篇，将文本的相关信息，如作文分数、字数、平均词长、平均句长、从句总数、篇章连词、高频词汇、学术词汇等输入电脑，借助SPSS 19.0进行数据分析。

三、数据分析

（一）首末次作文分数对比

从表1可以看出，一般水平学习者和较高水平学习者都可以借助批改网的反馈，对作文进行修改，从而提高作文分数。一般水平组被试首次作文平均成绩是71.36分，末次作文平均成绩为78.64分，平均分提高了7.28分，且形成显著性差异（t=-7.058,p＜0.001）。较高水平组被试平均分由73.40分提高到了79.84分，平均分增加了6.44分，该差异呈现出极大的显著性（p＜0.001)。可见，当代非英语专业大学生已经具备一定的自主学习能力，他们可以借助批改网的修改建议进行自我修改，提高写作分数。

表1 首末次作文分数对比

（二）写作质量前后对比

评价一篇作文不能只看成绩，作文字数、词汇、句型、内容等都是评价写作水平的重要指标。

1.字数对比

字数是衡量写作水平的重要指标，想要充分地表达思想，字数是保障。2007年教育部颁布的《大学英语课程教学要求》对非英语专业本科生的英语书面表达能力要求分为三个层次，即一般要求、较高要求和更高要求。一般要求就是学生能在半小时内写出不少于120词的短文，较高要求即学生能在半小时内写出不少于160词的短文，更高要求即学生能在半小时内写出不少于200词的短文[9]。如表2所示，在本次研究中，一般水平组被试首次作文平均词数为137，末次作文平均词数为154，增加了7个单词，该差异为显著性差异（t=-2.783，p＜0.001）。较高水平组被试首次作文平均词数为145，末次作文词数为151，平均字数增加了6个单词，但该差异不具有显著性(p＞0.05)。可见，无论是一般水平的学习者还是高水平的学习者，他们经过一段时间的在线写作练习后，都可以提高文本的词数，但是，一般水平学习者提高的幅度更大。

表2 首末次作文字数对比

2.词汇使用对比

写文章犹如砌房子，词汇则如同砖头。只有选择好的砖头才可以砌出漂亮、坚固的楼房。词汇是写作的基础[10]，词汇的选择对文章质量有着重大影响。本研究考察了被试作文中的高频词汇和学术词汇。高频词汇为常用词汇，学术词汇则多为低频词汇。顾名思义，高频词汇使用范围更广，频率更高、更常见，而学术词汇则更长更难，使用频率较低。如表3所示，在本次研究中，两组被试末次作文的高频词汇使用量都有所下降，且呈现出显著性差异（p＜0.01)，在学术词汇的使用上，两组被试在修改后均有所增加，并且呈现出显著性差异（p＜0.01）。但是，在平均词长上，一般水平组被试的末次作文有所下降，而较高水平组被试的末次作文却有所增加。但是两者均未构成显著性差异（p＞0.05）。平均词长虽然不是衡量作文质量的重要指标，但是它可以在一定程度上反映出学习者的用词难度、复杂度。一般认为词汇越长难度越大[7]。

表3 首末次作文词汇使用对比

笔者认为出现该现象的原因在于批改网对于词汇的选择给出了详细的建议，被试根据修改意见，意识到学术词汇使用的重要性，因此尽量选用了较难的、不常见的新单词，从而增加文章用词的复杂度和丰富度。在词汇的选择上，两组被试都取得了明显的进步，这再次证明当代大学生具有较强的自主学习能力。

篇章连词的正确使用可以极大地增强文章的连贯性和可读性。因此，篇章连词是衡量写作质量的一个重要指标。但是许多学习者在写作过程中，往往会忽略连词的使用。本次研究中一般水平组的末次作文中篇章连词的使用比首次作文有所下降，但未形成显著性差异（p＞0.05），而较高水平组末次作文篇章连词的使用虽然有所增加，但没有形成显著性差异（p＞0.05），如表4所示。这充分说明被试在作文修改中对篇章连词的使用仍然没有给予应有的重视，而是把修改的重点放在了词汇层面。这可能是由于被试长期的学习习惯所致：偏重对单词、语法的学习，而缺乏对文章整体的把握。当然，这与“批改网”侧重对词汇层面的反馈不无关系。有研究者曾指出：“批改网”对文章提出的修改建议多是词汇层面，而对文章篇章结构、文体修辞等方面的评价不足[11]。由于批改网在这方面给出的反馈不够，而一般水平组由于自身英语水平有限，所以未能很好地从文章整体把握上增加连词的使用，而较高水平组虽然有所增加，但是该方面的能力还有待提高。因此，教师在借助批改网等在线写作系统进行写作练习时，还需要从文章整体的把握上加强对学生的指导。

表4 篇章连词使用对比

3.从句的使用对比

从句的使用情况是衡量写作水平的一个重要指标。从句的适量使用可以在一定程度上增强文章的连贯性和可读性，避免文章过于零散。英语文章比中文紧凑，因此，从句的使用情况与使用者的英语水平有很大的关联。从表5可以看出，一般水平组末次作文的从句总数稍有增加，但并未呈现出显著性差异（p＞0.05）。可见，根据在线反馈，一般水平组开始有意识地增加从句的使用，但是鉴于现有的英语水平，其提高的幅度不大。另一方面，较高水平组末次作文的从句总数却有所下降。针对这一现象，笔者与部分被试进行访谈，发现部分较高水平组学习者对于借助批改网进行写作练习虽然一开始是积极肯定的态度，但是随着练习次数的增加，逐渐持否定态度，他们认为“词数越多，批改网给出的分数就越高，这与四六级作文评分不一样”。所以，经过多次在线写作练习后，他们对该写作模式逐渐失去了兴趣，消极对待写作任务。由此可见，较高水平组英语学习者具有较强的批判思维能力，在选择学习资料方面，他们更具有独立意识，这也可看做是他们对于英语学习更自信的表现。因此，在批改网的使用过程中，教师应该加强对学生学习方法的指导，充分研究学生的心理倾向[12]，及时了解他们在使用过程中遇到的困难，帮助他们合理利用教学辅助系统取得更大的进步。

表5 首末次作文从句使用对比

4.句长及词数对比

平均句长虽然不是衡量写作水平的重要指标，但是，它可以在一定程度上反映出文章句型的变化及难易程度。在本次研究中，一般水平组末次文作文的平均句长有所下降，最长句词数略有增加（p＞0.05），最短句词数有所下降，但都没有形成显著性差异（p＞0.05），较高水平组的末次作文平均句长、最长句词数及最短句词数均有所下降，未形成显著性差异（p＞0.05），如表6所示。在访谈中，被试反映批改网虽然给出的反馈非常丰富，但多是词语选择、同义词区分、词法搭配方面的内容，过多的词汇信息反而会让他们觉得困惑。而在语法、句法、内容等方面，批改网只是给出一个整体的评价，并未详细地指出具体的错误和修改方法。或许正是由于缺乏句法方面的反馈，所以导致两组被试在句法层面表现欠佳。当然，这与被试的写作态度有一定的关联。如上所述，到写作练习后期，许多学生对批改网这种写作方式失去了兴趣，故而导致其消极怠工，影响了写作质量的提高。

表6 首末次作文平均句长及词数对比

四、结语

在信息技术迅速发展和普及的今天，外语教学现代化已经成为发展趋势，在线写作系统在各高校大学英语教学中得到广泛使用。虽然不同水平的非英语专业学生可以根据在线反馈进行自我修改，提高写作成绩，在一定程度上提升写作质量，但是，鉴于学生的英语水平和长期以来养成的学习习惯，在在线写作系统的使用过程中，教师的指导是非常必要的。从学习方法到学生的薄弱环节，如句法、篇章掌握等，教师都应该加大指导力度。任何技术都只是教学的辅助手段，切记不能完全依赖在线写作系统而忽略了对学生应有的指导，只有人机结合才能事半功倍。

[1]唐锦兰,吴一安.写作自动评价系统在大学英语教学中的应用研究[J].外语与外语教学,2012(4):53-59.

[2]秦朝霞.国内大学英语写作研究现状及发展趋势分析[J].现代外语,2009(2):195-204.

[3]CHUNG G K,BAKER E L.Issues in the reliability and validity of automated scoring of constructed responses[C]//SHERMIS M D,BURSTEIN J.Automatic essay scoring:a cross-disciplinary perspective.Mahwah,NJ:Lawrence Erlbaum Associates,2003:23-40.

[4]陈潇潇,葛诗利.自动作文评分研究综述[J].解放军外国语学院学报,2008(5):78-83.

[5]PAGE E B.Project essay grade:PEG[C]//SHERMIS M D,BURSTEIN J.Automatic essay scoring:a cross-disciplinary perspective.Mahwah,NJ:Lawrence Erlbaum Associates,2003:43-54.

[6]LANDAUER T K,LAHAM D,FOLTI P W.Automated scoring and annotation of essays with the Intelligent Essay Assessor[C]//SHERMIS M D,BURSTEIN J.Automatic essay scoring:a cross-disciplinary perspective.Mahwah,NJ:Lawrence Erlbaum Associates,2003:87-112.

[7]胡学文.在线作文自我修改对大学生英语写作结果的影响[J].外语电化教学,2015(3):45-49.

[8]吴一安,唐锦兰.融入自动评价系统的英语写作实验教学对高校英语教师的影响研究[J].外语电化教学,2012(4):3-10.

[9]教育部高等教育司.大学英语课程教学要求[M].上海：上海外语教育出版社，2007：3-4.

[10]段廷婷,杨敏.英语写作的有效性教学策略实践研究[J].重庆文理学院学报(社会科学版),2015(3):140-143.

[11]何旭良.句酷批改网英语作文评分的信度和效度研究[J].现代教育技术,2013(5):64-67.

[12]郭艳红.教育叙事研究在大学英语后续课程中的应用——以英美报刊选读课程为例[J].重庆高教研究,2013(1):63-67.