英汉互译同伴互评反馈模式测量评价表的编制开发

赵海娟

(天津外国语大学　滨海外事学院， 天津　300270)



英汉互译同伴互评反馈模式测量评价表的编制开发

赵海娟

(天津外国语大学滨海外事学院， 天津300270)

摘要:作为一种突出学生主体地位的教学新模式，同伴互评在英语写作教学中得到广泛应用，但在翻译教学中相关研究却刚刚起步。编制开发英汉互译同伴互评反馈模式测量评价表，并依据量表进行教学实验，以此促进同伴互评教学模式在英语专业翻译教学中的应用，给学习者提供科学规范、简便易施的测量工具。

关键词:英汉互译； 同伴互评； 测量评价表； 信度； 效度

受传统教学理念等因素影响，长期以来我国高校翻译教学大多以教师讲授为主导，评估方式以终结性测试为主体。在教学资源有限的条件下，这种教学方式耗时耗力，难以满足学生潜能培养要求，只关注结果的静态评估方式也越来越难以为继。在这种情况下，引入新的评估理念，关注学生的潜能培养，将基于动态评估等理论的同伴互评应用于英语翻译教学中显得十分重要。

一、研究背景

同伴互评(peer review)是一种新型教学与评估方式，是多种教学理论相结合的产物。同伴互评的直接理论渊源是动态评估理论(dynamic assessment)，该理论以社会文化理论为基础，侧重个体认知培训和潜能开发，主张评估与教学相结合，通过评价者和学习者的互动，探索学习者的最近发展区(zone of proximal development)，使评估本身最大程度地接近个体认知发展过程(Lidz, 2003)。同伴互评的另一理论基础是过程教学法(process approach)，这是一种重视笔语交际过程、而非一次成稿的教学方法，它把过程分为构思(planning)、初稿(first draft)、同级互评(peer reviewing)、二稿(second draft)、教师批阅(commenting)、定稿(final draft)等多个阶段。过程教学法将我们的研究重点引向触摸不到的过程，正如欧洲翻译研究学会主席Gile指出，翻译是译者不断修改并逐步提高译文质量的过程，教学者和学习者都应当关注翻译过程，而不是仅注重翻译结果本身。此外，合作学习理论也是同伴互评的重要理论来源，该理论主张将不同能力和特点的学生划分为若干小组，通过开展多种学习活动，促进学生对所学科目的理解。同伴互评即是一种合作学习机制，通过两个或以上的学习者组成小组，同伴以书面或口头方式评价、批改彼此的稿件，相互指出缺点不足，为修改稿件提供反馈意见(Liu和Hansen，2002:89)。近20年来，同伴互评被越来越多地运用到第二语言尤其是英语教学中。

国外大量教学研究表明英语学习者对同伴互评认可度越来越高，许多教师和学者试图把同伴互评作为教师评阅的补充方式(Berg，1999)，认为同伴互评具备很多优点：能够减少学习者焦虑，激发学习兴趣，提高信息加工质量，促进学习者社会认知、交互等能力发展，对学习者学习行为有良好影响(Rollinson，2005；Lundstroms、Baker，2009；Storch，2011)；节省教师耗费在评阅学生文本语言运用错误上的大量时间和精力，使教师评阅时将精力主要集中于文本内容表达方面的缺点和不足上(Tsui、 Ng，2000)；提供更多评价视角，增加学生自信心，培养集体感(Ferris，2003)，匿名同伴互评可增强反馈效果，提高同伴合作学习兴趣(Min，2006；Ware、O’Dowd，2008)；对参与者进行培训，能有效提高同伴互评反馈质量(Rahimi，2013)。现在，加州大学洛杉矶分校互评系统、匹兹堡大学互评系统、Turnin互评系统、斯坦福大学慕课教学系统(Balfur，2013)等多个网络平台已有效开展写作同伴互评教学应用。

我国对于同伴互评的研究还相对较少，基于CNKI数据库，以“同伴互评”、“同侪互评”、“同伴反馈”、“听说”、“阅读”、“写作”、“翻译”等为关键词检索，1990-2014年间共有英语同伴互评相关文献185篇(核心期刊33篇)，分别涉及听力(2篇)、口语(15篇)、阅读(4篇)、写作(156篇)、翻译(8篇)等领域。从国内英语课堂教学实践来看，多数研究集中于英语写作教学方面，研究内容主要涉及学生对同伴互评的态度(杨苗，2006)、同伴互评的实施过程(许悦婷、刘骏，2010；张艳红，2010)、同伴互评的可行性及有效性(邵名莉，2009；邓鹂鸣，2010；蔡基刚，2011)。

与写作教学相比，同伴互评在翻译教学中应用相对较少，仅有为数不多的研究者对同伴互评在翻译教学中的应用效果给予了关注(连淑能，2007；苗菊，2007；朱玉彬，2010；李小撒、柯平，2013)。教学实践表明，科学规范的测量工具对于同伴互评反馈活动的展开具有重要的现实意义(白丽茹，2012)。目前，我国对于英语翻译教学中同伴互评反馈活动测量工具的研究十分罕见。从该角度来讲，测量工具的缺乏是导致同伴互评在翻译教学中应用较少的一个重要客观原因。基于此，本文编制开发了英汉互译同伴互评反馈模式测量评价表，并通过系列教学实验证明了量表的应用价值，以期为同伴互评在翻译教学中的广泛应用创造条件。

二、测量评价表编制开发

(一)测量评价表设计

1.设计标准

目前，翻译界对翻译标准大致有如下共识：一类标准过于抽象(泰特勒、严复、奈达、李运兴、王芳、吕俊)，长于高度的理论概括，常能高屋建瓴，一语中的，但往往弱于条分缕析的量化陈述，流于模糊抽象的定性概括，在具体论证上显得草率(辜正坤，2001)；另一类标准过于量化(卡特福德、范守义、吴新祥、李宏安、穆雷)，客观性与科学性虽强，但实际操作起来，工作量太大。

翻译教学中同伴互评反馈活动的主体是学生，测量工具的设计必须要规避过于抽象和过于量化带来的操作性不强的缺陷，切实为译文评价工作和学生学习实践提供科学实用的标准系统。翻译质量评价一般从“信、达、雅”三个方面进行考察。译文的最高标准应是“得体”(李晓敏、杨自俭，2003)，得体之下，分为四个方面：思想内容、语言形式、文体风格以及文本综合效益。“思想内容”是否忠实是“信”的范畴；“语言形式”是否通顺是“达”的范畴；而“文体风格”以及“文本综合效益”所体现出来的美感、神似则主要属于“雅”的范畴。依此四方面加以细化形成译文测量评价表，可实现对“信达雅”理论标准的具体化，既不过于抽象不过于量化，又便于实际操作。

2.量表编制

在结合英语专业翻译教学实践基础上，同伴互评反馈模式测量评价表的编制遵从了四方面要求：(1)心理测量学量表编制理念及要求；(2)《高校英语专业英语教学大纲》中对学生翻译水平的要求；(3)英汉翻译测试及评分方法(Nida、Taber，1969；刘宓庆，1999；穆雷，2006)；(4)翻译行业标准及市场需求。先后形成初稿和正式稿两个版本。

测量评价表初稿(表略)含18个描述项，由四个维度组成：(1)思想内容传递，主要评价翻译文本内容是否忠实并得体地传递源语言内容；(2)语言形式表达，主要评价翻译文本是否顺畅地道，符合译入语语言表达习惯及规范；(3)文体风格再现，主要评价翻译文本是否准确得体地再现原作文风格调及精神内涵；(4)文本综合效益，主要评价翻译文本是否符合译入语文本格式规范，具有较高的文本综合收益。此外，量表最后还包括总体评价栏，评阅者需写出对文本的整体评价。

测量评价表正式稿(见表1)精简为16个描述项，总计100分，四个组成维度描述项与分值为：(1)思想内容传递维度，含5个描述项，分值10-5分，共计38分；(2)语言形式表达维度，含5个描述项，分值8-4分，共计30分；(3)文体风格再现维度，含4个描述项，分值8-4分，共计24分；(4)文本综合效益维度，含2个描述项，分值5-3分，共计8分。

依照评价表中描述项对学习者的翻译文本进行分项打分，各项成绩相加即为该维度的得分，各维度得分相加即为文本最终成绩。第一、二维度分值较高的原因在于，对限时状态中的学习者来说，“神似”、“化境”(“雅”的标准)似乎难以实现，因此，在评价学习者的翻译文本时，主要以“忠实”(“信”的标准)、“顺畅”(“达”的标准)作为评价标准。

3.专家论证

以测量评价表(初稿)为主要内容在从事多年英语专业翻译教学实践的教师中进行问卷调查，并请具有丰富教学经验的教授和翻译评价专家对其进行论证。根据问卷调查结果和专家评审反馈意见，删减、更换、修改了描述不准确的项目，对修正后的描述项进行重新编排。根据调查结果和专家打分情况，采用层次分析法(AHP)计算各维度以及不同测量项目的权重，并赋予相应分值。

表1　英汉互译同伴互评反馈模式测量评价表

(二)教学实验设计

1.测试对象

测试对象为天津某高校英语翻译专业二年级学生，分为两组：一组为实验组，包括4个班级，共137名学生，其中男生19名，女生118名，平均年龄21岁；另一组为控制组，包括2个班级，共47人。学生已接受初步的汉英互译理论与实践知识学习，但未曾接触过同伴互评反馈活动。实验前，对6个班进行英汉互译能力摸底测试，结果显示各班学生英汉互译水平不存在显著差异。

2.实验安排

开展系列教学实验，包括实验前测及后测、测前与测后问卷调查、同伴互评培训、教学干预以及回顾式访谈等。其中，教学干预包括两个学期，上学期为英汉翻译，下学期为汉英翻译。课程由同一教师讲授，教学内容相同，授课时长一致，教学方式以同伴互评为主教师评阅为辅。

教学文本包括英译汉、汉译英两类，题目难度相当。其中，英译汉材料包括Happiness is U-shaped(快乐幸福是U字形)等材料，约400个单词(参考译文约800字)，体裁为社会新闻报道等；汉译英材料包括一个苹果(An Apple)等材料，约800字(参考译文约400个单词)，体裁为小说等。

翻译文本要求:电脑打印，只写学号，隐去班级姓名；第1稿交4份，其中3份由3名学生匿名评阅，1份由教师评阅；第2稿交1份，由教师评阅；文本第1稿与第2稿间隔3周。

计分方式:3份测量评价表取平均分为被试文本总成绩。

3.数据收集处理

相关数据包括学生英汉或汉英翻译文本以及同伴互评反馈材料(包括同伴批改后文本、量表)、调查问卷、学生访谈材料等，数据收集由任课教师在不同的授课阶段在4个班级中进行。采用SPSS统计软件和AMOS软件对收集的相关数据进行分析处理，包括描述性统计分析、配对样本T检验、独立样本T检验、内部一致性检验、信效度检验、因子分析等。

三、测量评价表应用效果检验

(一)信度检验

信度是指对同一事物进行测量时所得结果的一致性程度，是对测量工具可靠性程度的衡量。常用的信度分析包括内在信度检验和外在信度检验两种。内在信度衡量的是测量工具中一组问题(描述项)的内在一致性程度，最常用的指标为克伦巴赫α系数(Cronbach’s alpha)和综合信度CR值。采用SPSS计算α系数，其可接受水平为0.70。采用AMOS计算CR值，其可接受水平也为0.70。分析结果见表2。

表2　测量评价表内在一致性信度检验

信度检验结果显示：整体量表以及思想内容、语言形式、文体风格、综合效益四个维度的克伦巴赫α系数和综合信度CR值都超过了0.70的标准要求，其中，第四列数据显示各分维度删除后会使整体α系数降低，表明量表各分维度设计合理。总体来看，文章设计的量表具有很高的内在一致性信度。

外在信度衡量的是测量工具在不同时间对同一对象进行测量时的一致性程度，最常用的指标是重测信度。采用重测数据(间隔3周)计算Pearson相关系数为0.892，表明重测信度很高。

(二)效度检验

效度是指测量工具能够测量出所要测量特性的程度，是对测量工具准确性、有效性程度的衡量，主要包括内容效度、效标效度和建构效度等。现实中主要进行建构效度分析。建构效度分为收敛效度和判别效度。

1.收敛效度检验

收敛效度是指测量同一维度(潜变量)的不同描述项之间的相关度。第一步是考察描述项在每个维度上的标准化载荷，载荷系数应大于0.707，表明描述项与其维度变量之间的共同方差大于描述项与误差方差之间的共同方差。第二步是考察维度变量的平均提取方差值(Average variance extracted)，AVE值应大于0.50，表明可提取解释50%以上的方差(Fomell、 Larcker，1981)。分析结果见表3。

表3　测量评价表收敛效度检验

分析结果显示，量表各项目标准化载荷系数处于0.819～0.937之间，均大于0.707的标准要求，各维度AVE值处于0.739～0.811之间，超过了0.50的临界值要求，表明量表具有很好的收敛效度。

2.判别效度检验

判别效度是指不同维度中的描述项之间相关度低，最常用的检验方法是因子分析。第一步进行探索性因子分析，进行KMO抽样适当性检验和Bartlett球形检验。第二步萃取公共因子，采用主成分法，以累计贡献度大于85%萃取。萃取公共因子后，所有项目(测量变量)必须分配至各因子中且没有跨因子的测量变量(Anderson、 Gerbing，1988)。第三步计算旋转后因子载荷矩阵，进行方差最大化Varimax正交旋转。分析结果见表4和表5。

表4　KMO抽样适当性检验和Bartlett球形检验

表5　因子载荷与共同度

(三)教学效果检验

从实验班教学实践来看，学生普遍对同伴互评持欢迎态度，对测量评价表表示认可。88.9%的学生表示同伴互评有助于提高个人翻译能力，参与者得到大量锻炼，受益匪浅；20份访谈记录表明，参与者对这种教学方式感到新奇，心理接受程度高。87%的学生认为测量评价表简洁实用，根据统计，依据测量评价表给出的同伴互评反馈直接采纳率接近73%，与教师反馈采纳率基本持平(图1)。

图1同伴反馈与教师反馈采纳情况分布图

为比较同伴互评实际教学效果，对实验组与控制组学年成绩进行独立样本T检验(表6、7)。

表6　独立样本T检验

表7　实验组与控制组描述统计量

从表6来看，均值方程校正T检验t=-3.477，Sig.=0.001<0.05，表明应拒绝原假设，认为两总体的均值存在显著差异。表7显示，实验组的平均成绩比控制组提高了6.4分，并且成绩标准差较小，仅约控制组的一半，表明同伴互评加教师评阅组合教学能有效提高学生成绩，且成绩相对稳定，波动性小。测量评价表作为教学工具，能够切实体现动态评估理论关于突出学生主体地位的指导理念，促进同伴互评教学效果的有效发挥，帮助学生提升翻译能力。

四、结论

教学实验检测数据表明，本文编制的“英汉互译同伴互评反馈模式测量评价表”具有良好的信度与效度，各维度与描述项之间具有很好的独立性、聚合性，达到了理想的心理测量学要求，具备应用条件。教学实验效果表明，依据测量评价表开展同伴互评翻译教学具有重要的实践意义，诸如减少学习者焦虑、提高信息加工质量、节省教师精力便于处理文本深层次问题等诸多优点均明显地显现出来，更重要的是，学习者个人能力与学习行为切实提升或发生转变，具体表现在三个方面：一是交互与思辨能力提升，对同伴互评参与度广，互动交流充分而全面，提高了多角度认知能力，在分析、综合、批评和论辩中构建对知识的理解，契合了合作学习理论之精髓；二是学习行为发生转变，由被动学习向主动学习转变，由“一次成形”(one and done mentality)学习向持续学习转变，由注重译文成品翻译向重视学习者自我创新思考转变，体现了过程教学法的真谛；三是实际问题破解能力提升，利用图书、网络等多种手段解决现实问题，在真实的翻译情境中锤炼翻译技巧，不断完善，超越最近发展区，符合动态评估理论的要义。因此，测量评价表作为专业英语翻译教学同伴互评反馈活动的测量评价工具，具有推广价值。

综上所述，在英汉互译同伴互评教学活动中，参照“测量评价表”进行评价不仅可以使同伴的评价活动有理有据、规范统一，而且被评阅者可以根据“测量评价表”详细了解翻译文本每部分的得失情况，知道优势与不足进而找出补救办法、提升翻译水平。

参考文献:

白丽茹.2012.大学英语写作中同伴互评反馈模式测量评价表的编制[J].现代外语(2)：184-192.

蔡基刚.2011.中国大学生英语写作在线同伴反馈和教师反馈对比研究[J].外语界(2)：65-72.

邓鹂鸣,岑粤.2010.同伴互评反馈机制对中国学生二语写作能力发展的功效研究[J].外语教学(1)：59-62.

辜正坤．2001．当代翻译学建构理路略论——《文学翻译学》序[J].中国翻译(1)：9-13．

李小撒，柯平．2013．过程教学法在翻译教学中的应用——以同伴互评和评注式翻译为例[J]．外语教学(5)：106-109．

李晓敏，杨自俭．2003．译文评价标准新探索[J]．上海科技翻译(3)：17-20．

连淑能．2007．翻译课教学法探索——《英译汉教程》教学方法提示[J]．外语与外语教学(4)：29-34．

刘宓庆.1999.当代翻译理论[M].北京:中国对外翻译出版公司.

苗菊．2007．翻译能力研究 构建翻译教学的基础[J]．外语与外语教学(4)：47-50．

穆雷．2006．翻译测试及其评分问题[J]．外语教学与研究(6)：466-471．

邵名莉．2009．同伴评价在英语专业写作教学中的运用研究[J]．外语教学理论与实践(2)：47-53．

许悦婷，刘骏．2010．基于匿名书面反馈的二语写作反馈研究[J]．外语教学理论与实践(3)：44-49．

杨苗．2006．中国英语写作课教师反馈和同侪反馈对比研究[J]．现代外语(3)：293-301．

张艳红．2010．大学英语写作教学的动态评价体系建构[J]．解放军外国语学院学报(1)：46-50．

朱玉彬，许钧．2010．关注过程:现代翻译教学的自然转向——以过程为取向的翻译教学的理论探讨及其教学法意义[J]．外语教学理论与实践(1)：84-88．

ANDERSON J C, GERBING D W．1988．Structural Equation Modeling in Practice: A Review and Reccomended Two-Step Approach[J]．Psychological Bulletin, 103(3):411-423．

BALFUR S P.2013.Assessing Writing in Moocs: Automated Essay Scoring and Calibrated Peer Review[J]. Research and Practice in Assessment (8):40-48.

BERG E C．1999．The Effects of Trained Peer Response on ESL Students Revision Types and Writing Quality[J]． Journal of Second Language Writing, 8(3): 215-241.

FERRIS D R．2003．Response to Student Writing: Implications for Second Language Students[M]．Mahwah, NJ: Lawrence Erlbaum Associates．

FOMELL C, LARCKER D F．1981．Evaluating Structural Equation Models with Unobservable Variables and Measurement Error[J]．Journal of Marketing Research,18(2):39-50．

LIDZ C．2003．Dynamic Assessment (Learning Potential Testing, Testing the Limits)[C]∥FERNNDEZ-BALLESTEROS R(eds．)．Encyclopedia of Psychological Assessment．London: SAGE.

LIU JUN，HANSEN J G．2002．Peer Response in Second Language Writing Classrooms[M]．Ann Arbor:The University of Michigan Press.

LUNDSTROMS K， BAKER W．2009．To Give is Better Than to Receive: The Benefits of Peer Review to the Reviewers Own Writing[J].Journal of Second Language Writing (18): 30-43.

MIN H T．2006．The Effects of Trained Peer Review on EFL Students Revision Types and Writing Quality[J]．Journal of Second Language Writing (2): 118-141.

NIDA E A，TABER C．1969．The Theory and Practice of Translation[M]．Leiden：E．J．Brill．

RAHIMI M．2013．Is Training Student Reviewers Worth its While? A Study of How Training Influences the Quality of Students’ Feedback and Writing[J]．Language Teaching Research (1):67-89．

ROLLINSON P．2005．Using Peer Feedback in the ESL Writing Class[J]．ELT Journal (59): 23-30．

STORCH N．2011．Collaborative Writing in L2 Contexts: Processes, Outcomes and Future Directions[J]．Annual Review of Applied Linguistics (31): 275-288．

TSUI A，NG M．2000．Do Secondary L2 Writers Benefit from Peer Comments[J]．Journal of Second Language Writing (1): 217-233．

WARE P D，DOWD R O．2008．Peer Feedback on Language Form in Telecollaboration[J]．Language Learning and Technology (1): 43-63．

[责任编辑：许莲华]

Developing the Assessment Table for Peer Review in E-C/C-E Translation

ZHAO Haijuan

(BinhaiForeignAffairsCollege,TianjinForeignLanguageUniversity,Tianjin300270,China)

Abstract：Peer review, a student-oriented new teaching mode, has been widely used in English writing course, but the study of it in translation teaching has just started. The assessment table for E-C/C-E translation was developed to provide a scientific and easily handled assessment tool for the English majors to conduct peer review in translation tasks. Based on the assessment test, serial empirical researches were made to explore the implementation of peer review in the English translation teaching activities. It was found that the reliability and validity of the English translation assessment table were fairly acceptable which met the requirements for test compiling in psychological measurement; the assessment table exhibited better consistency, stability, convergent and discriminant validity, which was of better value for popularization.

Key words：E-C/C-E translation; peer review; assessment table; reliability; validity

收稿日期：2015-10-20

作者简介：赵海娟(1981-)，女，山东临朐人，硕士，天津外国语大学滨海外事学院讲师，研究方向为翻译理论与实践、英语教学。

中图分类号:G642.41

文献标识码:A

文章编号:1672-0962(2016)01-0066-07