基于自动评价系统的写作者声音构建研究

刘秋成

(衡阳师范学院 外国语学院， 湖南 衡阳 421002)

在二语写作中，声音是身份研究中长期受到关注的一个方面。然而声音概念大多出现在文学或表达性写作的讨论中，其具有真实性和独特性等特点[1]。随着当代研究将社会文化视角引入话语权，研究者又将其重新定义为自我表征，并在英语写作中凸显其重要性。在写作者声音构建的评价研究中，研究者大多采用的是教师个人评价或同伴互评。随着自然语言处理技术、人工智能及语料库技术的发展，自动评价(Automated Essay Evaluation) 系统逐渐应用于二语写作教学，为学习者提供基于网络的写作环境、实时评分和诊断性反馈[2]。目前基于自动评价系统的写作研究主要集中在提高英语写作能力的有效性[3-4]、写作反馈教学模式的构建以及对教师和教学产生影响的探讨[5-6]；对学生作文修改行为[2][7]和写作行为的影响[8-9]；以及有效促进语言习得等方面[10]。关于写作者在声音构建过程中是否会受到自动评价系统这种不同于传统书面写作及反馈形式影响的动态探讨仍然鲜见。本案例研究对非英语专业大学生在句酷批改网(以下简称“批改网”)环境下的声音构建行为进行分析，探讨自动评价系统对声音构建过程的影响，以期为二语写作教学及其评价提供有益启示。

1 二语写作中的声音构建

回顾相关文献，学术界对本选题的研究主要倾向于描述声音的两个主要取向，包括与个人风格相关的个性化/个人化、强调与社会文化建构相关的社会性。前者认为文本中鲜明的个人声音是写好文章最基本的要素，每个写作者都有自己独特的声音，而这独特的个性化声音可以通过一系列表达性写作训练而形成[11]；而后者则认为个性化声音的构建离不开社会文化的建构，作者在不同的写作情境中会选择构建不同的声音[12]。此种观点在学术界产生了深远影响，被大量学者借鉴并进行了不同角度的研究。正如Sperling和Appleman指出：“巴赫金的对话理论强调单词和话语既是先前文化历史的结果，也是个人决定采用和融合的结果。”[13]Prior借鉴巴赫金及其他研究者的观点，认为个人和社会声音不应被视为离散的取向，而应被视为相互交互，不可分割[14]。其观点再次强调了声音的个体性、社会性和对话性本质。

Matsuda从一个类似的理论角度提出了一个重新定位的声音定义，即声音是人们有意识或无意识地运用社会中存在的却又永远处于变化之中的语言或非语言因素达到的一种综合效果[14]。这一定义强调了读者对声音构建的影响，同时也指出了语言因素及非语言因素对声音构建的影响。其中语言因素主要涉及学生写作能力的语言方面。

当声音被认为是一种效果时，读者必然是其构建的中心。研究已经证实，许多读者在阅读文本时都会主动构建声音。例如，在阅读匿名文本时，读者可能会对作者在该领域的经历或地位、学科背景、主题知识、写作方法、可信度、性别、语言背景、种族或教育水平等特征形成印象[16-17]。 而这种印象的形成源于一系列资源，从词汇和语法到文本的语义、内容、结构等视觉和感觉方面。正如Rubin所说，“文体选择‘泄露’了作者社会身份的线索。”[18]纵观相关文献，研究者对声音作为自我表征的研究主要集中在文本分析层面，但也有少数研究更直接地探讨了读者反馈形式对声音构建过程的影响。例如，Davila在与12位写作导师分享匿名评审本科生论文的经历中发现，导师对句子和文本层面“标准性”的认知在构建学生作者的种族认同中起着关键作用[16]；Matsuda和Tardy在一个模拟的盲审互评任务中发现，标记性在声音构建中起着至关重要的作用[17]。然而，自动评价系统作为一种虚拟的读者，一个没有情感色彩的机器，它对写作者声音构建的过程会有什么影响还鲜有研究。基于Matsuda的声音定义，拟把自动评价系统中的格式排版、评分、评语、反馈时间和系统对声音的识别度这五个不受学生语言能力影响的方面定位为影响声音构建的非语言因素，把词汇拼写、词性、词汇搭配、语法和内容定位为影响声音构建的语言因素。具体研究问题如下：(1)自动评价系统是否会影响学生写作声音构建的态度？(2)自动评价系统在非语言因素方面是否影响学生写作声音构建？(3)自动评价系统在语言因素方面是否促进学生写作声音构建？

2 研究设计

2.1 研究对象

本研究选取湖南省某高校非英语专业二年级的两个班学生，共136人，其中男生46人，女生 90人。至调查时为止，所有学生均已系统学习英语写作一年时间。写作自动评价系统(批改网)被作为教学辅助工具运用在英语写作课中。

2.2 数据的收集与分析

本研究主要采用以下两种形式来收据数据：

第一，调查问卷。调查问卷是教师了解学生信息(如：学习信念、态度、动机、学习效果等)的有效途径。本研究的调查问卷为学生问卷，主要考察自动评价系统对大学生英语写作中声音构建的影响。问卷形式以选择题为主,采用莱克特量表(Likert-scale)将问卷中的问题设置为5个选项，各个选项对应的分数依次从高到低为：5分、4分、3分、2分和1分。问卷调查内容包含3个部分：自动评价系统对学生声音构建态度的影响(第1-2题)，自动评价系统在非语言因素(排版、反馈时间、评语、评分和对声音识别度)对学生英语写作声音构建的影响(第3-10题)，自动评价系统在语言因素层面(如词汇、语法、结构、内容方面)对学生写作声音构建的影响(第11-18题)。该问卷用以了解自动评价系统对学生声音构建的态度、声音构建的语言因素/非语言因素的影响情况。

在正式发放问卷前，先对设计好的问卷进行小范围的前导性测试，根据试测中学生的反馈情况，对问卷进行修改和完善。最后将修改后的问卷发放给学生(共136人)，并用 SPSS18.0 对所发放的136 份调查问卷进行信度和效度检测，得出学生问卷信度为 0.920，效度为 0.713。

第二，访谈。受访学生共6名,全部来自参加问卷调查的学生。其中男生2名，女生4名。访谈采取半开放的形式,请学生从系统反馈与教师反馈的差异、系统对写作声音构建能力发展的最大帮助及系统的局限性三方面解释系统对他们英语写作声音构建的影响。研究者对访谈内容录音并转写。并进行了主题编码和进一步的定性分析。为保护受访者隐私，本研究将受访者进行了编号。

3 研究结果与讨论

3.1 自动评价系统对学生声音构建的态度影响

问卷调查第一部分了解自动评价系统对学生写作声音构建的态度影响，主要涵盖两个问题：一是写作时是否会仔细思考如何构建声音；二是作文提交前是否会认真检查并修改个人声音的表述。调查结果如表1。由表1可以看出，94.93%的学生在写作中会仔细思考个人声音的构建，89.12%的学生在写作提交过程中会对个人声音构建表述进行认真修改。从这调查结果可知，大部分同学在写作中会逐渐认识到写作者声音构建的重要性。

表1 学生声音构建的态度

这一结果与访谈结果一致，六位受访者均指出声音构建是写作过程中最重要的一部分。如受访者6指出：“写作中如果不注意独特的自我声音构建，就是出现写作内容人云亦云、大同小异、毫无特点。自己都没有情感，如何去打动读者呢？”

3.2 自动评价系统在非语言因素层面对写作者声音构建的影响

由问卷中学生提及的系统对声音构建中非语言因素影响的频数统计(见表2)显示，学生认为自动评价系统在非语言因素方面对写作者声音构建的影响大致可分为三类：第一类影响较强的因素，包括评分(43.48%)和系统对声音的识别度(42.03%)、它们的频数明显高于其他因素。此外，格式排版(37.68%)和评语(31.88%)明显高于反馈时间(28.26%)。这一结果与开放式数据分析结果完全一致，同时也在质性访谈数据中得到了再次的交叉研究。

比如，所有受访者都明确指出系统评分和系统对声音的识别度这两个方面对声音构建的影响较大，几乎所有的受访者均指出：“为了得高分，会尽量直白地写，唯恐系统识别不了所写的主题，给判的分数很低。”受访者1指出：“我感觉判分规则有时候很别扭，比如字数限制、词汇量、写作规则、标点符号等，具体不知道是如何评分的。没有清晰的评分条则可以参看。”受访者3指出：“为了系统判高分，有时候我会删除一些想些的内容；有时候又会堆砌一些不太想写的句子。”再则受访者也提及格式排版和评语这两个方面带来的困惑。受访者(2、4、6)指出：“评分中会把格式排版包括进去，感觉这方面特别困扰，比如标点符号，空格之类的，手机操作有时候不是太好调整，很影响心情。”受访者5指出：“评语中提示有错误但又没有具体指出哪里出错以及错误如何修改，这时候就不想认真去思考如何去改，因为不知道到底改对了没，还是老师面批效果好。”然而，受访者甚少提及反馈时间的影响。

表2 自动评价系统在非语言因素层面对写作者声音构建的影响

3.3 自动评价系统对写作者声音构建的影响

通过对问卷中学生提及的语言因素对写作者声音构建影响的频数及比例统计(见表3)可知，学生认为自动评价系统在语言因素方面对其写作声音构建影响的维度大致分为三个层面：第一，对声音构建较强的语言因素主要体现在词汇拼写、词汇词性和语法两个维度；第二，对声音构建影响一般的语言因素主要体现在词汇搭配；第三，对声音构建影响最弱的维度是内容和结构。这些量化结果也在质性访谈数据中得到了印证。比如，受访者均认识到自动评价系统在词汇拼写、词汇词性、语法方面对写作声音构建帮助很大。受访者3指出：“我特别喜欢批改网词汇点评部分，能从推荐表达、易混词汇、和近义词表达等方面丰富自己的词汇量。”值得注意的是，六位受访者都提到了自动评价系统对内容和结构的帮助不大。受访者2指出：“我觉得批改网更加适合改一下单词和润色作文，但整体把握不好，就是它总是按句分开单独来讲，内容是整个文章反映出来的。我感觉对内容和结构方面帮助不大。”

表3 自动评价系统在语言因素层面对写作者声音构建的影响

4 结论

通过调查问卷和访谈，考察了自动评价系统对学生写作中写作者声音构建的影响。研究结果发现：第一，自动评价系统基本不会影响大学生声音构建的态度本质，但会影响其表现形式。因为很多同学认为“冷冰冰”的系统无法像教师一样洞察字里行间的情感色彩，他们就趋向于用直接或直白的形式表达自我声音。第二，自动评价系统在非语言因素方面对声音构建产生了一定的影响，尤其体现在评分、系统对声音的识别度方面。其次是格式排版和评语有时候也会对学生修改和写作声音构建产生一定的困惑；第三，自动评价系统在语言因素层面尤其词汇(拼写和词性)和语法方面能够促进学生进行声音构建，但在内容和结构方面的作用不明显。

上述研究结果在一定程度上为自动评分系统对英语写作中的声音构建提供了一些启示。比如系统评价与教师反馈结合。一方面因为系统仅从语言的表层层面帮助学生进行声音构建，而在内容主题方面有所欠缺，因此，需要结合教师反馈方可避免学生只注重形式而忽略声音构建。另一方面,问卷调查及访谈发现,学生认为系统评价存在本身固有的缺陷，不能像老师那样洞察字里行间的情感色彩，对写作进行全面评价。因此，系统反馈和教师反馈应该相互补充。教师在利用系统反馈辅助教学过程中，不能全部依赖系统评价，尤其在写作内容、结构等方面应给予学生更加个性化和细致的指导,以使系统和教师发挥各自的优势,最大限度地促进学生英语写作声音构建能力的发展。

本研究的不足之处在于：研究时间较短，研究对象范围有限。基于上述启示,在后续研究中,研究者将通过更长的时间跨度和更广泛的实验对象组成,来剖析自动评价系统与英语写作者声音构建之间的相互关系，分析不同地区、不同专业、不同年级自动评价系统对声音构建的影响是否存在差异。根据本次研究结果，将进一步思考在英语写作教学中教师该如何在借助自动评价系统更加高效地、更加有针对性地对学生写作中的声音构建进行指导。