国际视野下大学生学习结果评估工具的分析与比较

2016-03-20 06:05
大学 2016年10期
关键词:工具技能评估

近年来,随着高等教育规模的扩张和资源的紧缩,公众、管理者和消费者对高等教育教学质量的问责之声不断高涨,各国高等教育机构都承受着与日俱增的问责压力。当前,一种普遍认可的观念认为,促进学生的学习被视为教育的最终目的,学生学习结果相应地被视为衡量教育教学质量的关键。在这样的背景下,学生学习结果评估工具不断涌现、测试和实施。这些评估工具无疑都宣称自身是恰当的、卓越的,可以为政府和公众提供科学可靠的信息。但我们又深知,任何评估都是一种价值选择的过程,都基于一定的立场,有一定的优势和不足,为了选择、修正评估工具,推进学生学习结果评估的科学性,我们有必要对这些评估工具进行深入的研究,这就是本研究的目的所在。

一、学生学习结果评估概述

学生学习结果评估是高等教育质量评估的核心内容之一。明确学生学习结果的内涵,了解评估工具的用途,有助于对各种评估工具进行分析和比较。

(一)什么是学生学习结果评估

了解学生学习结果评估首先要界定什么是学生学习结果。学生学习结果的内涵,虽然学者对他们的界定不尽相同,但大致都认为,学生学习结果是学生因高等教育活动和经验而获得的个人转变和收益,具体来说,包括以下几方面的内涵:第一,学生学习结果是学生参与学习活动后所表现出的状况,反映的是学生学习的增值情况而非自然成长的结果;第二,学生学习结果的内涵多样,包括认知、情感、行为等各方面的因学习而获得的积极表现;第三,学生学习结果应是具体的、可测量的目标和结果。“学生学习结果评估”也是一个有争议的概念,但仍存在大体一致的观点,即学生学习结果评估是指对学生在接受高等教育之后,在知识、技能、情感、态度和价值观等方面所产生的变化进行的评估。其内涵主要有以下几个方面:第一,学生学习结果评估关注的是学生的增值发展;第二,学生学习结果评估将测量作为获取学习结果信息的方法;第三,学生学习结果评估强调评估过程和评估的持续性;第四,学生学习结果评估的最终目的是促进学生的学习和发展。

(二)学生学习评估工具简析

学生学习评估工具是高等教育质量评估的手段,用来调查和测验学生的学习收获,调查和测验的结果通常被当作直接或间接的证据,用来反映学生的学习结果。粗略估计,目前世界上至少有14种较为成熟的学生学习结果评估工具,在这些评估工具中,比较有影响且相对主流的评估工具有以下8种:

美国的“全国学生投入调查”(National Survey of Student Engagement,简称NSSE)、“大学生学术能力评估”(Collegiate Assessment of Academic Pro fi ciency,简称CAAP)、“大学生学习评估”(Collegiate Learning Assessment,简称CLA),澳大利亚的“课程经验问卷调查”(Course Experience Questionnaire,简称CEQ)、“毕业生技能评估”(Graduate Skills Assessment,简称GSA)“毕业生去向调查”(Graduate Destination Survey,简称GDS),以及巴西的“全国课程考试”(Exame Nacional de Cursos,简称ENC)、“全国学生技能考试”(Exame Nacional de Desempenho dos Estudantes,简称ENADE)。虽然每一种学生学习评估工具都会有其合理与可取之处,但主流、影响相对大的工具无疑有更突出的优势。基于此,本文以上述的8种评估工具为对象,进行深入的多维比较。

二、学生学习结果评估工具的多维比较

比较分析需要有适切的维度,否则就很难深入。本文拟从评估主体、评估客体、评估模式、评估内容、评估方式以及评估结果的公开性等6个维度进行分析和比较,以更好地了解各种学生学习结果评估工具的共性和个性。

(一)评估主体

在评估主体上,这8种评估工具都是由高校外部的组织机构开发的,如政府团体、大学联合会、私人的测试公司以及一些非营利机构等(表2-1)。测试的整个过程由外部的组织机构和人员来实施和操控,他们会向被评估高校提供测评报告。美国的CAAP和巴西的ENC、ENADE都是由私立的评估机构来操作的。其中美国的CAAP是一个不以营利为目的的组织,且以一流的评估质量为目标,为高校提供相关的服务。巴西的ENC、ENADE也是由私立的评估机构加以开发和设计的,但不同的是,这两种评估工具由政府对其进行拨款,参与评估的各个大学不需要付任何的费用。[1]从这3种评估工具中可以看出一些私立的评估机构正在通过研发各种评估工具开拓学生学习结果评估的服务市场。[2]

美国的NSSE是由印第安纳高等教育研究和规划中心负责的,它是一个独立于政府和参与调查高校以外的非官方性质的跨校调查。[3]需要指出的是,一些全国性评估工具的测试和开发会邀请一些高校内学术领域的代表参与其中,为的是保证评估的可信度和可靠性。如美国的CLA和澳大利亚的CEQ,其中CLA是由教育援助理事会负责设计和开发的,但其具体的设计和开发是由评估领域的专家以及国家认可的心理测验进行的。CEQ问卷由澳大利亚毕业生职业委员会负责设计和开发,但具体的组织实施由澳大利亚大学副校长委员会负责。

(二)评估客体

在评估客体上,从表2-1中可以看出,美国的NSSE、CLA、澳大利亚的GSA以及巴西的ENADE,都把新生和即将毕业的学生作为评估的客体,这些评估工具注重学生学习增值的发展,测量的过程中把大学一年级的学生和大四学生作为样本,关注学生在入学前后的变化和发展,反映学生在大学期间在知识、能力等方面所取得的收获。从表2-1中还可以看出,这些评估工具很少将毕业后的学生作为评估对象,因为对毕业后的学生进行测量难度系数较大,但如果通过网络这种间接的方式进行问卷调查也可以行得通。例如:澳大利亚的CEQ和GDS、美国的CAAP、巴西的ENC。

此外,为了调动评估客体参与评估的积极性,各国都做出了一些尝试,例如,巴西的ENC把参加评估的测试成绩作为高校毕业生顺利毕业的基本要求,用这种方式来鼓励学生参加测试。美国高校为了调动学生参与评估的积极性,对参加测试的学生颁发奖励和证书或者赠送礼物,来保证评估的顺利实施。澳大利亚的政府团体则将学生参与测试的情况与未来就业相联系,把学生参与测试的成绩作为国家性的额外职业资格证明,这个证明可增强毕业生求职和深造的竞争力。

表2-1 学生学习结果评估主体与客体

(三)评估模式

国外学生学习结果评估主要可分为以下两种模式:调查型和测验型。其中第一种模式采用的是间接评估,向学生发放调查问卷,间接的了解学生的非认知学生结果。第二种模式为直接评估,向学生发放标准化的试卷,通过试题测量学生的认知学习结果。

从表2-2可以看出,美国的NSSE、澳大利亚的CEQ和GDS,这三种评估工具都采用调查型的评估模式。美国的NSSE和澳大利亚的CEQ是典型的代表,它们不仅关注学生的一般知识和技能的发展,而且更加关注学生非认知结果的发展,如学生学习的满意度、学生的体验、课外活动的状况以及学生自信心等方面。而美国的CLA和CAAP、澳大利亚的GSA、巴西的ENC和ENADE这5种评估工具都采用的是测验型的评估模式。这几种评估工具都是通过标准化的测试来评估学生的学习结果,衡量高等教育对学生发展的影响。测试的内容大体上包括以下两方面:一般性的知识和技能、特殊领域的知识和技能。

不同之处在于这5种评估工具的测试时间和次数不同,美国的NSSE和CLA和澳大利亚的CEQ和GDS以及巴西的ENC测试的次数皆为一年一次;澳大利亚的GSA测试次数为每年两次,一次入学考试和一次结业考试,测试的效度比较高;巴西的ENADE测试的次数为三年一次,时间间隔较长;最为特殊的是美国的CAAP,测试的时间完全由学校来决定,没有全国性的统一的测试日期,这种测试比较灵活但缺乏操控性。

表2-2 学生学习结果评估模式

(四)评估内容

由文本分析可知,这8种评估工具的内容大体可分为两类:对学生认知结果的评估和非认知结果的评估。其中,认知结果评估是对学生一般知识和技能的评估以及特殊领域知识和技能的评估。一般知识和技能是学生必须掌握的基本知识和技能,而且可以在其他学科和情境当中运用。[4]特殊领域的知识和技能指的是在自然科学或人文科学等较为广泛的学科领域中所使用的思维模式。[5]非认知结果评估是对学生的满意度、态度和价值观进行的评估。从表2-3中可以看出以下几点:

第一,大多数评估工具都指向对学生认知结果的评估,关注学生的通用知识和技能,如信息加工技能、批判性思维技能、分析推理技能、沟通交流技能等等,认知结果的评估是从大学生通识能力的角度来理解学生学习结果的概念。如美国的CLA和CAAP,澳大利亚的GSA、CEQ和GDS,以及巴西的ENADC。这几种评估工具都注重培养学生基本的、通识的能力,不论学生今后从事于何种学科门类和专业知识的学习,这些能力都是非常重要的。[6]

第二,各国的评估实践都非常注重学生非认知能力的发展,大学是培养人的机构,它不仅仅要帮助学生掌握一般的知识和技能,还要关注学生的态度和价值观,这些非认知性的能力也同样重要。如美国的NSSE,它侧重于关注学生的学习投入以及对学习时间的分配和有效利用,通过测量学生的学习投入来反映学习成效以及教育质量的结果。澳大利亚的三种评估工具都有对学生非认知结果的评估,侧重于衡量学生的人际理解能力、团队合作能力以及学生的满意度等。

第三,大多数评估工具都非常关注学生的批判性思维技能,测量学生的批判性思维技能可以从侧面折射出大学在教育过程中提供给学生的通用的、跨学科的技能,这些技能通常是学生在工作中、学术研究中、日常生活中获得成功所必备的。

表2-3 学生学习结果评估内容

(五)评估方式

以上8种评估工具的评估方式可分为横截面评估、纵向评估、单一测试三种。横截面评估是指对新生和即将毕业的学生同时进行测试,将入学的新生视为控制组,新生的当前状况被近似地等同于现有毕业生的当时入学状况,测试前后的样本是不同的;纵向评估是指被测试的学生群体在入学时参加一次测试,经过一段时间的学习之后,同一组学生再次接受测试,测试前后的样本是相同的;单一测试指在一段学习结束之后所进行的评估,每年测试一次。

横截面评估最具代表性的是美国的NSSE、澳大利亚的GSA和巴西的ENADE,其中美国的NSSE对四年制大学院校的一年级与四年级的学生进行测试,通过调查比较一年级和四年级学生在学习经验和效果上的差异性,进而具体地呈现出学生的整体学习经验和效果;澳大利亚的GSA和巴西的ENADE都是通过横截面评估的方式对一年级和四年级的学生进行测试,通过分析两次测试的落差,判断学生在接受高等教育之后,在知识、技能、价值观等非认知性学习结果上的提高程度;这种评估方式把新生的当前状况近似地等同于老生入学时的状况,很多人认为这种评估方式是存在缺陷的,因为受时间和环境的影响,学生在这期间心理和学习上的变化没有被考虑进来,不能把新生的状况等同于老生。而纵向评估则弥补了这一缺陷。

纵向评估最具代表性的是美国的CLA和CAAP,这两种评估工具施测前后的样本是相同的,这种测试方式保证了对入学时的各种输入变量的良好控制,弥补了横截面评估的缺陷。横截面评估和纵向评估的共同之处在于二者都关注学生学习的增值。

澳大利亚的CEQ、GDS以及巴西的ENC都是单一测试,CEQ和GDS测试的对象都是已经完成任何一种高等教育学历要求的应届毕业生,每年测试一次;ENC评估的对象是即将毕业的学生。单一测试的结果在于衡量特定领域中的教学质量,但由于这种测试没有比较的基准,评估的效度易受到质疑。

(六)评估结果的公开性

在评估结果的公开性上,各种评估工具存在一定的差异。从表2-4中可以看出,除了美国的CAAP,其他评估工具的评估结果都是有选择性地对外公开。CAAP的评估结果只对学校进行报告,评估的目的是通过分析评估结果报告的数据,找出大学和学院的缺陷和不足,促进其进行自我反思和自我完善,促进大学和学院的可持续发展。[11]

其他评估工具的结果都是通过某种形式公之与众,回应公众、消费者和高等教育的管理部门的问责之声,为他们提供充分的问责数据和证据。例如,澳大利亚政府每隔两到三年都会对全国所有大学进行CEQ调查,并根据评估结果对各个大学的教学质量进行排名,并根据各高校的排名结果向大学进行拨款。[12]此外,NSSE针对收集的评价信息建立了1999—2009年数据库,为美国高等教育学习结果评价提供了大量的一手数据,还建立了专门的网站为参与调查人员、高校、研究人员和评价机构等提供评价结果。[13]

评估结果的公开在一定程度上可以增强公众对学生学习结果的关注意识,主要体现在,针对学生的入学,学生和家长可以根据评估的结果,做出更加明确的入学选择。此外,雇主可利用学生学习评估结果来进行用人的决策。

表2-4 评估结果的公开性

三、结论与讨论

通过分析美国、澳大利亚和巴西的8种评估工具我们可以得出如下结论:在评估主体上,评估工具都是由大学之外的组织机构开发的,虽然有学术领域的专家参与其中,但学校对评估工具开发的自主权仍然较低;在评估客体上,大多数评估工具都把新生和即将毕业的学生作为评估对象,目的是衡量学生学习的增值;在评估模式上比较单一,缺乏多样化的评估;在评估内容上更加重视学生的认知结果,但对非认知结果评估的重视程度也在不断的增加;在评估结果的公开性上,除了美国的CAAP,其他评估工具的评估结果都是有选择地对外公开。具体如下:

第一,在评估主体上,我们发现评估工具大多都是由大学之外的机构设计和组织开发的,由外部机构而非高校推动,这是可以理解的,毕竟,社会远比高校更希望获得教育投入的产出,进而问责高校,但这种外部主体设计评估的模式,引起了一些大学和学生的反对。他们认为这些评估内容的设计与本校的专业、课程存在一定的差异,评估内容不符合本校的实际情况,因此测试的结果不能直接用于改进本校的学习和教学质量。[14]针对这一问题,一些评估机构开始实行顾客化定制服务,根据各个高校的需求对测试题有选择性的进行改编,为高校量身定制适合本校的测试项目。为提升高校的主动性,削减其抵制心态,一些机构不仅与高校合作修改或开发评估工具,还更多地促使高校自主评估,以增强高校在评估中的自主权。

第二,在评估客体上,大多数评估工具都把大学新生和即将毕业的学生作为评估的对象,通过横截面评估或纵向评估的方式测量新老学生在接受高等教育前后的变化,运用增值评价的方法和理念对其数据进行对比分析。由此可见,高等教育质量评估的未来动向将聚焦在开展高等教育学习结果的增值评价方面。[16]此外,虽然各国都在采取措施调动学生参与评估的积极性,但这些评估工具都是站在高校的立场上进行的,忽视学生的自身利益诉求,导致学生对参与评估持消极态度,影响测试结果的信度和效度。在评估客体上还应考虑到评估客体的多元化,增加对毕业生用人单位或雇主的调查,这将有利于高校更好地了解高等教育的真实状况。

第三,在评估模式上,高校都是以其中的一种模式为主进行评估,而缺乏多样化的评估。任何一种评估模式都有自己的缺陷和不足,高校可以根据评估内容的不同来选择不同的评估模式,在评估工具上,选择匹配高校评估内容的工具,增强评估结果的信度和效度。此外,不同类型、层次的高校可根据自身的特点有针对性的选择评估模式,采取调查型或测验型,或将这两种模式结合起来,增加评估的全面性和有效性,这也将是各国高等教育质量评估的探索热点。

第四,在评估内容上,各种评估工具都侧重于衡量学生的认知学习结果,如批判性思维能力、分析推理能力、沟通交流能力以及解决问题的能力等。但是,大学是培养人的机构,不仅要帮助学生掌握基本的知识和技能,还要关注学生的态度、价值观、自信心以及对生活和学习的满意度等,这些非认知学习能力可以帮助学生提升自身的综合素质和能力,通过接受高等教育来完善自己的人格,增强自信心和就业能力。因此,在评估内容上应注重评估的全面性。

第五,在评估结果的公开性上,评估结果被选择性的公开,不同国家全部或部分向社会公开。例如:巴西各高等院校的评估结果以及教学质量的信息,通过媒体和官方网站向公众和社会公开,且可以免费上网查询,公众和社会各界可以及时地了解高校评估工作的进展及成效。此外,美国和澳大利亚虽然在评估方式和内容上存在差异,但这两所高校都将评估结果和质量信息有选择地向社会公开,公众和利益相关者可以在网站上查询所需的信息。可见,健全评估结果信息发布平台,保障公众和社会的知情权,是各国开展高等教育学习结果评估的应然之举。

注释:

[1][14]吕林海. 国际视野下的本科生学习结果评估——对“评估什么”和“如何评估”的分析与思考[J].比较教育研究,2012,(1).

[2]黄海涛. 美国高校“学生学习成果评估”的特点与启示[J].教育研究,2014,(4).

[3][15]白逸仙. 走向“以学生为中心”的评估模式——以中国《本科教学质量报告》与美国NSSE为比较[J].中国高教研究,2014,(11).

[4]E.T.Pascarella,P.T.Terenzini. How College Affects Students: A Third Decade of Research. San Francisco:Jossey-Bass Publisher,2005:37-45,78-110.

[5]R.J.Shavelson & L.Huang. Responding Responsibly to the Frenzy to Assess Learning in Higher Education.Change,2003,35,(1):24-35.

[6]周廷勇,杜瑞军,张歇雨. 美国大学生学习成果标准化评估工具的分析研究[J].复旦教育论坛,2014,12,(5).

[7]The Collegiate Assessment of Academic Pro fi ciency [EB/OL] .http://act.org/caap/pd.2007-09-10.

[8]Graduate Skills Assessment Test[EB/OL] . http://www.uow.edu.au/student/examinations/UOW008303.html.2000-10-24.

[9]Course Evaluation Questionnaire[EB/OL] . http://www.mun.ca/ceq/contact.php.2000-07-14.

[10]Deborah Nusche Assessment of Learning Outcomes in Higher Education:A Comparative Review of Selected Practice[C]. OECD Education Working Conference,Pairs,2008-02-20:7-8.

[11]程海霞. 基于高等教育学习结果的评估探析——以美国为例[J].大学(学术版), 2010,(6).

[12]吕林海,陈申. 大学教学的内部支持性机构及其经验借鉴研究[J].比较教育研究, 2010,(8).

[13][16]景安磊. 国际高等教育学习结果评价发展背景、现状和启示[J].中国考试, 2015,(6).

猜你喜欢
工具技能评估
第四代评估理论对我国学科评估的启示
波比的工具
波比的工具
准备工具:步骤:
劳动技能up up!
秣马厉兵强技能
“巧用”工具
拼技能,享丰收
画唇技能轻松
评估依据