英国高等教育科研卓越评估体系

管海燕

摘 要：自20世纪80年代以来，英国通过周期性的科研评估活动（RAE）调整对高等教育领域的经费投入。而最新一轮以“科研卓越”为导向的科研评估体系（REF）将对RAE评估制度中评估成本过高及评估效率低等问题，在公正、平等和透明三大原则的指导下，通过整合评估单元、优化评估机制与方法等措施进行改革。REF以科研质量为中心的评估理念及在广泛征求意见和试点实验基础上的科学决策机制对我国完善以创新和质量为导向的科研评价机制具有借鉴意义。

关键词：英国；高等教育； 科研卓越评估体系； REF

20世纪80年代，在全球经济普遍衰退的形势下，英国政府部门一方面实行财政紧缩政策，严格控制公共财政支出，另一方面将市场机制和管理主义的思想引入政府公共部门的改革中，以减少资源的浪费，提高经费的使用效率。因此，运用市场规则的绩效评价方式开始成为英国政府公共部门包括高等教育在内的重要管理模式之一。

1986年，在高等教育严重经费缩减而学生人数不断攀升的情况下，英国教育部门首次进行高等教育领域内的科研质量评估（Research Assessment Exercise，RAE），并将评估结果作为拨款机构科研拨款的重要依据。英国政府部门希望通过实施周期性的科研评估，鼓励高校积极提高科研质量，改善科研管理机制，从而提高科研经费的使用效率，维护国家研究性大学的国际竞争力。因此，在1989年、1992年、1996年、2001年和2008年先后开展了5轮RAE科研评估活动。虽然每次评估活动都对评估方法和标准进行修改，但科研评估成本负担过重及评估效率低等问题仍难以解决。而新一轮的以“科研卓越”为取向的2014科研评估活动（Research Excellence Framework，REF）将对以往的评估方法和理念做出重大调整，以提高科研评估活动的效率。

一、确立过程

REF科研卓越评估体系采用专家评议的方式，以有效评估英国高校所有学科的科研质量为主要目的，将取代2008年的科研评估框架（RAE），成为衡量高校科研水平的重要方法[1]。经过多次咨询讨论会议和试点实验，英国高等教育科研卓越评估体系的主要指标和评估机制基本确立，各高校于2013年1月至11月按照相应标准提交评估材料，而评估结果及相关信息将在2014年12月及2015年春季陆续公布，此次评估结果将作为2015-2016学年英国高等教育拨款机构进行科研拨款的主要标准。[2]

2006年6月，针对RAE科研评估中的评估效率及评估体制等问题，英国教育与技能部就改革RAE科研评估召开咨询讨论会。2007年3月，英格兰高等教育基金委员会（HEFCE）提出初步改革方案《未来科研评估与拨款的框架》（Future framework for research assessment and funding）[3]。 11月，英格兰高等教育基金委员会在方案中提出所有学科将采用统一的定量评价方式代替以往将理科和其他学科分开评价的模式，并将进行“文献计量指标”（bibliometric quality indicators）的试点实验[4]。22所高校共35个评估单元（Units of Assessment）参与试点实验，实验中将组织评审专家对各高校在2001年至2006年期间发表在科学网（Web of Science）和斯高帕斯数据库（Scopus）上的各类文献的引用量进行标准化的定量分析，以确定REF评估体系中文献计量指标的具体操作模型[5]。根据各高校科研成果总数和不同类型科研成果的百分比，实验得出表1中的统计结果[6]。但是这一结果并不能完全反映试点高校的科研质量[7]。因此，在2009年9月，英国高等教育基金委员会组织的第二轮咨询会议的报告指出，文献引用计量指标尚不完善，无法作为单独的指标用在计算公式中，但在为专家评议提供信息服务方面仍有重要作用[8]。因此，REF2104科研评估将采用以专家评议为主，文献计量分析为辅的评估模型。

英国高等教育基金委员会将科研产出（outputs）、科研影响（impacts）、科研环境（environment）作为REF科研评估中三个独立的指标。2010年，REF评估团队就科研影响这一指标的计量方法和权重系数等问题进行试点实验。在2011年发布的《关于科研卓越框架设计的初步决定》（Initial Decisions on the Design of the REF）和《关于评价科研影响的决定》（Decisions on Assessing Research Impact）中指出对科研影响的评估将采用专家评审高校提交的案例研究的方式进行，而科研产出、科研影响和科研环境的权重系数分别为65%、20%、15%[9]。虽然目前评估结果尚未完全发布，但是REF科研评估活动中的评估指标及计算模型等问题都值得关注与思考。

二、主要内容

REF2014科研评估活动由英格兰高等教育基金委员会（HEFCE）、苏格兰拨款委员会（SFC）、威尔士高等教育基金委员会（HEFCW）和北爱尔兰教育与就业技能部（DEL）四个机构组成的REF评估团队负责实施，REF指导小组负责监督[10]。REF科研评估活动遵循公正、平等和透明三大原则，并在RAE科研评估活动的基础上进一步优化和发展[11]。RAE科研评估活动中出现的评估成本过高等问题，在REF2014科研评估活动中将通过整合评估单元、优化评估指标等方式进行改革。

（一）整合评估单元

REF2014科研评估将2008RAE科研评估活动中的评估单元（UOA）和子学科小组（sub-panel）由67个减少为36个，学科大组（main panel）由15个减少为4个[12]。高校将按照36个子学科小组的分类选择提交评估材料，由每个子学科小组的专家在A、B、C、D四个学科大组的指导下进行评审[13]。其中：A组主要包括医学、农学和食品科学；B组主要为理学和工程学科；C组主要为社会科学学科；D组为人文、艺术、传播和宗教相关学科[14]。在四个学科大组下又设置36个评估单元。表2所示为REF2014科研评估活动中的学科分类[15]。与2008RAE科研评估相比，REF2014科研评估中各高校提交的科研成果总数有所减少，各个学科大组下的科研成果数量也有所下降（具体数据参见表3）。[16][17]

（二）优化评估指标及方法

在评估方法上，REF科研评估由子学科组采用专家评审的方式对高校提交的材料进行评价，并向相应的学科大组提供被评价高校的质量等级的意见。与之前RAE科研评估活动的不同之处在于，REF科研评估不再将“声誉指标”（Esteem Indicators）作为一项单独的评估标准[18]。在2010年的试点实验中，英国高等教育基金委员会引入“科研影响”（impact）这一指标，并和科研产出（outputs）、科研环境（environment）共同构成REF科研评估的三大指标[19]。与之前的“声誉指标”相比，“科研影响”占评估结果的比重有所上升，由10%上升至20%，而科研产出和科研环境分别由70%和20%下降至65%和15%。在对“科研影响”的评估中，主要是对各高校在2008年1月至2013年6月期间的科研成果在经济、社会、文化、公共政策或服务、卫生、环境及生活质量等方面产生的效果进行评价[20]。各高校需提交其科研成果影响的案例研究（case study），而后由REF评估团队采用专家评审的方式从“范围（reach）”和“意义（significance）”两个维度对其进行等级评定[21]。其中“范围”是指科研活动产生影响和作用的扩展幅度；“意义”是指科研活动影响或作用的强弱程度[22]。表4所示为各等级的具体标准及含义。[23]

“科研产出”是REF2014科研评估活动中最重要的部分，直接影响高校的科研评估结果[24]。“科研产出”的评价主要根据国际科研质量标准从科研成果的原创性（originality）、重要性（significance）和严谨性（rigour）三个维度进行。为减轻评估专家的负担，REF2014科研评估中每位教师将至多提交三项2008-2013年期间的科研成果[25]。REF2014科研评估活动中，对“科研环境”的评价主要从科研的“活力”（vitality）和科研的“可持续性”（sustainability）两方面进行。其中，“活力”主要考查的是参评高校提交的科研成果为科研活动提供激励性和促进性的环境的程度，以及参评高校是否制定有效的战略规划，是否参与到国内和国际科研共同体，能否通过其国际声誉吸引优秀的研究生和博士生，是否有充足的科研经费支持等；“可持续性”主要考查的是参评科研项目未来连贯的发展愿景，以及对科研人员和科研基础设施的投入等。具体而言，评价的内容包括：总体情况、科研战略、科研人员（其中包括人事政策、教师发展、研究生培养等）、科研收入与基础设施，以及对科研合作提供的支持和对更大范围科研基地的贡献等[26]。子学科小组成员根据专业评审对各高校的科研成果从科研产出、科研影响和科研环境三个维度进行评价，得出每个指标的评价结果（sub-profile），最后依据相应的权重对各高校的科研成果做出最后的等级评定（overall excellence profile）[27]。表5所示为科研成果整体质量各等级的具体内容和标准。[28]

（三）确定评估人员及职责

REF2014科研评估是专家评审的过程。虽然专家在评审过程中会运用各种量化指标以做出专业判断，但是同行专家评议仍然最为重要[29]。因此，在2010年，通过自愿申请和提名的方式，英国高等教育拨款机构根据评估单元的划分和选拔标准组成4个学科大组和36个子学科组，每个子学科组在学科大组的指导下对各高校的科研成果进行评估[30]。具体来说，学科大组的主要职责是制定各学科的评估标准和具体方法，指导各子学科组进行评估。子学科组的主要职责是根据学科大组的评估标准和具体方法实施评估，并根据实际情况向学科大组提出关于制定评估标准和具体方法的建议。[31]

从评估小组的人员组成来看，每个学科大组由组长、各子学科组组长，以及具有国际评估经验的专家和科研成果使用方的代表组成；子学科组由组长及10～30名成员（具体人数根据所在学科组的规模和范围来决定）组成[32]。 此外，英国高等教育拨款机构还任命了相当数量的评估员（assessor）协助子学科组得出各指标的评估结果。从评估人员的选聘标准来看，各子学科的专家评审人员必须具备相关学科的专业技能和知识。考虑到各高校研究类型的多样性，英国高等教育拨款机构在选聘人员时会综合考虑其年龄、性别、种族、家庭背景等因素以保证评审人员的多样性[33]。同时，为保证评估结果的公平性和有效性，子学科小组和评估员的任命都将以个人经验和专业知识为依据，而与其所代表的任何团体无关。[34]

（四）明确评估程序与要求

与之前的RAE科研评估活动相比，REF2014科研评估标准化程度提高，采用统一标准和方法对所有评估单元进行评价[35]。各高校可任意选择所要参与的评估单元，但每个参评高校必须按照要求提交相关材料和数据，主要包括科研人员信息、科研成果信息、科研影响及科研环境四个方面[36]。表6所示为参评学科所需提供信息的具体内容。[37]

通常情况下，各高校每项科研成果只需按其所在评估单元提交一次材料，但若由于学科之间的交叉属性，在高校做出具体说明的情况下，可对同一科研成果进行多次评估[38]。对于两个或两个以上高校合作完成的科研成果，REF科研评估中将分别对各高校进行评价。在合作项目中起主导作用的高校需以所有参与高校的名义提交科研影响和科研环境的相关材料，而其他参与高校只需提交关于科研人员信息和科研成果信息的材料[39]。REF2014科研评估对跨学科研究和合作研究的关注是评估结果的公正性的体现。截至2013年11月29日，共有155所高校参与REF2014科研评估并提交材料。[40]

三、启示与思考

英国高等教育科研评估将评估结果与高等教育拨款机构的科研拨款直接挂钩。虽然目前REF2014科研评估活动的结果及相关信息尚未完全公布，新的科研拨款方案尚未出台，对高校科研质量的影响也尚不明确，但其以科研质量为核心，重视提高科研经费使用效率，提升高校科研国际竞争力等特点值得关注与借鉴。

（一）在广泛征求各方意见及试点实验基础上的科学决策机制

REF科研评估体系在此前的RAE评估体系基础之上发展而来。自2006年第一轮咨询讨论会起到2013年各高校科研评估材料的提交完成，长达7年的时间。英国教育部门及高等教育拨款机构组织多次咨询讨论会议，鼓励高校、用人单位、评估专家积极参与，并在高校试点实验的基础之上，提出科研评估活动的主要指标及其计算方法。在召开咨询讨论会广泛征求意见的基础之上，英国高等教育拨款机构通过认定的1950个各类学术协会组织和科研利益相关组织的提名机构选拔和任用具有相关学科领域专业知识和评估经验的专家评审组和评估员[41]。从评估机构的性质来看，权威的半官方中介评估机构（如HEFCE）有助于实现大学评估从政府集权模式向指导模式转变。REF科研评估制度中“自下而上”的改革方式是其公正、平等、透明原则的体现。尽管目前REF科研评估制度的实际社会影响难以判断，但其在改革过程中通过在广泛征求各方意见的基础之上确定改革方案的决策机制给我国高等教育的科研评估工作带来启示与思考。

（二）以科研质量为核心的科研评估制度

与RAE科研评估制度相比，REF科研评估活动更加重视科研成果的质量。对科研成果的“科研影响”评估中，更加强调科研成果对社会经济、文化、公共服务等各方面的实际影响。英国通过以科研质量为核心的绩效拨款制度调整科研经费在各学科领域的分配，将有限的科研经费投入到科研质量达到国际先进水平的学科中，这正是英国以追求卓越为导向的国家教育政策的体现。在我国加快建设世界一流大学和一流学科的背景下，英国REF科研评估活动中的竞争性绩效评估制度对我国完善以创新和质量为导向的科研评价机制具有借鉴意义。

参考文献：

[1][8]REF2014. The Research Excellence Frame-work： A Brief Guide to the Proposals[R]. Bristol： REF. 2009. 1.3.

[2]REF2014.Timetable[EB/OL].http：//www.ref.ac.uk/timetable/， 2014-02-12.

[3]REF2014.Background[EB/OL]. http：//www.ref.ac.uk/background/， 2012-04-20.

[4]HEFCE.Publications[EB/OL]. http：//webarchive.nationalarchives.gov.uk/20100202100434/http：//hefce.ac.uk/pubs/hefce/2007/07_34/， 2010-03-03.

[5][7] REF2014. Report on the Pilot Exercise to Develop Bibliometric Indicators for the Research Excellence Framework [R]. Bristol： REF. 2009. 2.12.

[6]HEFCE. Publications &Reports [EB/OL]. http：//www.hefce.ac.uk/media/hefce1/pubs/hefce/209/0939/09_39.pdf/， 2012-01-18.

[9][19][20][21][27]REF2014.Decisions on Assessing Research Impact [R]. Bristol： REF.2011. 2. 5. 7. 8.8.

[10][11][12][18][29][36][38][39]REF2014. Assessment Framework and Guidance on Submissions[R].Bristol：REF.2011.4.5.10.10.11.11.12.

[13]REF2014.Expert Panels[EB/OL].http：//www.ref.ac.uk/panels/， 2012-12-12.

[14]REF2014.Expert Panels[EB/OL].http：//www.ref.ac.uk/panels/unitsofassessment/， 2012-04-20.

[16]REF2014.Submissions[EB/OL].http：//www.ref.ac.uk/subguide/， 2014-02-13.

[15][17]REF2014. Unit of Assessment[EB/OL]. http：//www.ref.ac.uk/panels/unit sofassessment/， 2014-04-02.

[22][24][25][35]REF2014.The Research Excellence Framework： A Brief Guide to the Proposals [R]. Bristol： REF.2009. 3.3.3.2.

[23]REF2014.Submissions[EB/OL]. http：//www.ref.ac.uk/subguide/， 2014-02-13.

[26][30][31]REF2014.Panel Criteria and Working Methods [R]. Bristol： REF. 2012. 35-37.4.4

[28]REF2014. Assessment Criteria and Level Definitions[EB/OL].http：//www.ref.ac.uk/panels/assessmentcriteriaandleveldefinitions/， 2014-04-02.

[32][33][34][41]REF2014.Unitsof Assessment and Recruitment of Expert Panels [R]. Bristol： REF. 2010-04-07.

[35]REF2014.Submissions[EB/OL].http：//www.ref.ac.uk/background/， 2012-02-13.

[37]REF2014. Assessment Criteria and Level Definitions[EB/OL].http：//www.ref.ac.uk/panels/assessmentcriteriaandleveldefinitions/，2014-04-23.

[40]REF2014.Research Excellence Framework 2014： The Result[R]. Bristol： REF.2014.3.

实习编辑 吕伊雯 责任编辑 郭伟