英语专业八级考试之短文改错的考点效度分析

邹

（广西师范大学，广西 桂林 541006）

英语专业八级考试之短文改错的考点效度分析

（广西师范大学，广西 桂林 541006）

本文采用了层次分析法、焦点因素和考点覆盖分析表等方法，分析了 2004年英语专业八级考试大纲改革后的2005年到2011年共七年的短文改错试题的效度。分析得出，这七年的专八短文改错试题所处的层次较高，焦点因素以语法和意义为主，考点分布较为合理，是具有较高且较为稳定效度的试题，达到了检测学生能自由灵活运用语言知识的能力，尤其是在实际语境及语用中学生能发现错误并加以改正的目的。

英语专业八级考试；短文改错；效度

1 .引言

全国高校英语专业八级考试（TEM8），也称“专八”，向来被认为是考察全国综合性大学英语专业学生的英语语言综合运用能力最高等级的考试。这是“一种测试应试者单项和综合语言能力的尺度参照性水平考试”。（《高校英语专业八级考试大纲（2004年新版）》，下文简称“专八考纲”）专八考纲中明确了TEM8的目的是“检查（《高等学校英语专业高年级英语教学大纲》）的执行情况，特别是大纲所规定的八级水平所要达到的综合语言技能和交际能力，藉以促进大纲的进一步贯彻，提高教学质量。”

TEM8自1991年起由中国大陆教育部实行以来，短文改错是历年专八中的必考题型。专八考纲对这一部分试题的要求是学生“能运用语法、词汇、修辞等语言知识识别所给短文内的语病并提出改正方法。”该试题的测试目实为检测学生能自由灵活运用语言知识的能力，尤其是在实际语境及语用中学生能发现错误并加以改正。

此类试题的考点效度虽也受到人们的关注，但对此研究的人却不多，实证研究更是少之又少。尤其是针对专八考试中短文改错试题的考点效度的研究更是凤毛翎角。在此文中，笔者采用李筱菊提出的层次分析法、焦点因素和考点项目表对TEM8考纲改革后2005年到2011年共七年的TEM8短文改错试题进行考点效度的分析。

2 .短文改错试题的理论依据

短文改错属于综合考点单技能试题，也成C类试题。C类试题是奥勒（Oller）为代表的UCH论者首创的，他们提出的单一能力假说（UCH或UTH）是此类试题的理论依据，根据他们的观点，人运用语言并不是针对某些项目专用某种能力，语言运用的过程是多种语言技能一起协调协作的结果。针对短文改错试题来说，即学生要发现文章纰漏的内容并给予更正，不仅涉及到学生对单一语法和词汇知识的掌握情况，还与其对语篇结构的把握能力以及对语言知识的积极运用汲汲相关。

按Canale和Swain（1980）提出的语言交际能力理论框架来分析短文改错考查的不仅是语法能力，而且至少还考查了社会语言能力和话语表达能力。李威等（1993）进行的实验用因素分析方法证明短文改错不只考查了英语知识层次的内容，也考了英语阅读能力。他们的实验结论与上述观点是一致的。所以，就整体而言，短文改错是一种考查语篇水平上语言能力的综合性试题类型。（杨钟琳，1994）

刘建达和杨满珍（2001）使用了定量和定性研究方法得出结论，成段改错测试的能力已超出语法知识的范围；成段改错可以测试到考生在词、短语、句子、及语篇各个层次上的知识。

同属于 C类试题的还有完形填空试题，他们都是以单一能力假说作为理论基础。两者有共同点亦有不同之处。共同点在于两者的理论依据一致，均可使用层次分析法验证考点效度，命题要求部分相同；不同点则在于“成段改错基本上是以语码（形式）为核心的试题，而完形填空应该以信息（意义）为核心。也就是说，完形填空试题测试的主要是对意义的理解，而成段改错测试的是意义的准确表达，包括准确性和得体性（李筱菊1997：324）”。

3 .试题分析

本文对2004年改革后（即2005年至今）的七份TEM8试卷进行效度分析主要采用李筱菊提出的层次分析法和考点覆盖分析表来作为切入点。

3.1 层次分析法

层次分析法原用于分析完形填空的考点效度，以得知完形填空试题的质量。因为完形填空和成段改错同属于 C类试题，持有相同的理论依据，且两者存在许多相同之处，故层次分析法亦可用于TEM8短文改错试题的考点效度分析。此方法就是将2005—2011年TEM8历年考试真题的错误按语篇D、句子S、词组P、单词W四个层次分成四类并统计其考点错误频数制作成表（见表 1）。这四个层次的划分依据即为，找出此错误并能正确改正需要受试者考虑多广的上下文才能做出决定，换言之，对错误点进行增删改补的行为受什么层次语境的制约。语篇层次的划分标准是由句际间的意思决定此题目的改法，且本文中采用“句子”狭义的概念，以句末标点结束为一个句子；句子层次是在一个句子的范围之内就可以决定错误点所在；词组层次则是以固定搭配或者词组间常见的组合为依据进行改错；单词层次考单词的拼写、词法变位、构词法、词性、词义、词汇辨析等。

因为考点层次和考点因素的侧重有关系，笔者还从考点因素角度将每道题其归类为三个范畴，即语法因素G、惯用搭配因素C以及意义因素M，题目侧重于考哪个因素，该因素则为此题的焦点因素。

表1 TEM8考点层次和焦点因素分析表

从该表的纵向来看，一方面，在每一年的短文改错试题中，即使焦点因素是语法的频率很高，此题依然可以实现较高的考点层次，也就是说，题目的焦点因素为 M，但解决此题仍需要在理解整个句子甚至两三个句子的意思才能改对。这也体现了 TEM8考试短文改错的测试目的，即考察学生的语法和词汇知识在语境中的综合运用能力。10年的真题就是典型的例子，该年短文改错中以语法为焦点的题目占到了70%，但处在语篇和句子层次中的题目能占到90%，出题者确实在提高题目的考点层次上下足了功夫。这种情况的出现说明了虽然成段改错试题是以语码（形式）为核心的试题，但这并不妨碍其具有良好的效度。另一方面，2005—11年TEM8短文改错试题普遍以语篇和句子层次的题目为主导，这类题平均占题目总量的70%。从这点看，TEM8的短文改错更侧重评估学生的综合语言能力，这和它的测试目的是一致的，同时也突出了这一高级别考试的特点。此外，题目层次越高，直接决定了整道的试题效度越高。所以，有理由相信，TEM8短文改错试题具有很好的效度。

从该表的横向来看，一方面，2004年TEM8改革后到2011年间，处于语篇和句子层次的题目的总量趋于一个稳定的状态，即此试题的效度也保持在一定的高度。语篇层次的题目每年为1道左右，句子层次的题目则保持在6道左右。在总题目量和文章字数不增加的情况下，TEM8短文改错试题的难度基本保持不变，没有出现“大难大易”现象，这防止了不公平现象的发生，也有利于维持 TEM8的权威性。另一方面，以语法为考点因素的题目仍在总题量中占一定的数量，而且也持一个稳定的状态，一直保持在平均每年有4道。这不仅是因为成段改错试题是以语码（形式）为核心的试题，所以决定了侧重考准确性的试题的存在，而且笔者认为，因为 TEM8中无单项语法题，在短文改错试题中保留一定数量对语法知识考察的题目对整套 TEM8试题来说是一种平衡，是科学合理的。

3.2 考点覆盖分析表

考点覆盖分析表可以用于分析此部分试题的考点覆盖是否合理，把历年考试放在一起，还可以看出数年来考点的分布情况，找到每年的必考考点和高频考点，就可以知道TEM8短文改错试题的侧重考点。李筱菊（1996）曾用该考点覆盖分析表分析1985年和1988年高等学校招生英语考试（MET：Matriculation English Test）中语法填空和完形填空这两道考语法的大题的考点分布情况。鉴于该表的语法覆盖面较全，但不是针对短文改错设计的，笔者将此表略加改动，改良后制作成TEM8短文改错的考点覆盖分析表（见附录）。

在新表中可看出 TEM8短文改错试题的两个特点。第一，涉及到一些低层次考点的语法点在 TEM8短文改错试题中出现的频率很低，甚至为零，如名词的单复数、时态、疑问句型和主谓一致等等。在 TEM8需要涵盖全面的英语综合能力这一考试中，这些考点的低频率和不存在是符合要求的，且也为了保证这种级别的考试的高效度。第二，一些每年必考考点和高频考点也体现了题目高层次这一要求。连词及连接语、固定搭配、词汇及其他、介词和冠词等都是历年TEM8中高频考点，这些错误类型“和ST6（英语专业3～4年级学习者语料库）中学生的写作中所犯的错误类型显著相关”（刘会镯，2010），这也就说明了这些错误类型都是英语专业高年级学生在写作中常犯的典型错误类型。因此，“从内容覆盖面方面来说，TEM8短文改错的内容效度相对较高”（刘会镯，2010）。

但是从综合各年的情况来看，此部分试题的考点分布仍有不合理之处：有些年份的考题在同一个考点的考察上过于密集。如2008年的短文改错中，第1、7、8、9题考察的都是短语的固定搭配，而且这四题中就有三道都是有关介词的选择，这也是为什么在 TEM8考点层次和焦点因素分析表（即表1）中2008年短语层次和搭配为焦点因素的个数突兀于历年的数据；再如2011年试题中，第2、5、6、7题考察的都是词义辨析，除了第2题是名词的辨析外，其他三道都是形容词的辨析。这样在同一年份的同一考题中如此密集的集中在一个考点上，会造成一定程度的偏颇，不利于保证效度的稳定。

附录

[1] 高等英语专业八级考试大纲修订小组编. 高等英语专业八级考试大纲（2004年新版）[Z]. 上海：上海外语教育出版社，2004.

[2] 韩景峰. 专八成段改错的效度分析[J]. 忻州师范学院学报，2007，（6）.

[3] 李彬彬. TEM8之校对与改错成绩分析及其解题策略[J]. 怀化学院学报，2007，（8）.

[4] 李莜菊. 语言测试科学与艺术[M]. 长沙：湖南教育出版社，1997.

[5] 李玉英. 浅谈TEM8中Proofreading考项的反思性教学[J]. 江西师范大学学报，2007，（4）.

[6] 刘会镯. 基于语料库的TEM8短文改错内容效度分析[D]. 武汉科技大学，2010.

[7] 刘建达，杨满珍. What Does Proofreading Test？[J].现代外语，2001，（2）.

[8] 娄喜祥. 英语专业八级新旧版短文改错题信度与效度研究[J].牡丹江师范学院学报，2007，（3）.

G424.74

A

1008-7427（2012）09-0143-02

2012-06-01