瑞典科研质量评价FOKUS框架及其启示

2018-04-03 12:19上海交通大学高等教育研究院上海市200240
石河子科技 2018年2期
关键词:科研成果瑞典框架

(上海交通大学高等教育研究院,上海市,200240) 白 静

瑞典政府委托瑞典研究委员会(Swedish Research Council)建立瑞典全国范围内高校科研质量评价体系并构建按照评价结果进行科研基金分配的绩效分配制度。瑞典研究委员会向其卫生、福利部门以及农业科学与空间规划局(Agricultural Sciences and Spatial Planning)和瑞典国家创新局(SwedishGovernmentalAgencyforInnovationSystems)征求意见后,兼顾相关利益群体的需求,在2014年12月正式提出瑞典科研质量评价框架FOKUS(Orsknin gskvalitets-utvärdering i Sverige,or Research QualityEvaluationinSweden)[1]。研究瑞典的 FOKUS框架对于我国建立全国性科研评价体系具有重要意义。

1 FOKUS框架的提出背景与宗旨

2009年瑞典曾提出一项全国范围内类似FOKUS的科研质量评价体系,评价指标主要包括出版物/引用数和外部基金数量,两项指标各占50%的权重,即主要以定量指标评价为主。该项评价体系所涉及的全国高校数量并不多,科研基金的竞争性不强,对于瑞典整体科研质量的提升没有起到积极作用。在此之前,瑞典没有全国范围内的科研质量评价体系,只是在个别高校制定有相关评价制度用以高校内部的科研基金分配。此后,瑞典研究委员会在2013年2月和10月派相关考察团分别到英国和荷兰对其全国科研质量评价体系进行实地调研和咨询,并借鉴澳大利亚ERA、意大利VOR、新西兰BPRFS框架最终设计了FOKUS框架。FOKUS框架对2009年的评价体系进行了完善,除定量指标以外,还新增同行评审对体现高校科研质量的定性材料进行评价,参评高校新增至29所,将艺术类学科纳入参评范围,且科研基金的数额增加10%[2]。

FOKUS框架的宗旨:一是提高瑞典国家的整体科研质量,二是高质量的科研成果造福社会。基于以上宗旨,FOKUS框架的评价目标主要包括评价结果驱动高校科研质量提升,不仅鼓励顶尖科研产出,也促进普通科研产出提高质量水平,且只按照科研质量进行评价,每所大学享有均等获得科研基金的机会;其次促进科研成果的学术外影响力;评价结果指导高校制定长期发展战略和科研改革[3]。

2 评价方法与指标

FOKUS框架每6年执行一次,瑞典研究委员会以学科为基本单元进行评价,综合借鉴2011年瑞典科研学科分类国家标准(Swedish National Standard for Research Subject Classification 2011)将学科划分为5个研究领域(fields)、24个学科(research areas)。参评对象为瑞典全国范围内的高等教育机构且需要满足两个条件:一是在6年之内高等教育机构内部的每个学科发表的学术文章超过50篇;二是在所参评年份,每个学科包括至少5名正式员工、31名教学和科研人员(含博士生)[4]。

FOKUS的评价维度包括科学/艺术质量评价、质量提升因素评价以及学术外影响力评价三个部分,高等教育机构概要作为评价的参考信息,不列入评价结果中。三个维度所占评价结果的权重分别为70%、15%和15%。

对于科学/艺术质量评价维度,主要针对24个子学科单元独立考察,以科研成果的新颖性和独创性、研究意义、科研的可行性和严谨性作为评价标准。评价将兼顾科研质量和资源利用效率并重,交叉学科将被所涉及的各个子学科分别进行评价。具体评价方法为由各个参评高等教育机构自行提交5%顶尖科研产出(不少于3项),同行专家将对各高校提交的相关材料进行评审。对于可以进行引文分析的学科(约有一半)将采用引文分析对该学科整体科研质量进行评价(即对剩下的95%科研成果使用引文分析),如不能使用引文分析,则由高等教育机构从剩下的95%选出50%进行提交,评审专家再从中选出40%作为体现整体科研质量水平的参评材料进行评审[5]。

对于质量提升因素评价维度,主要针对5个研究领域进行评价,以研究潜力和可持续发展能力作为评价标准。具体包括以下五个方面的评价因素:博士生教育和其他新生研究力量;国内外学术领域的合作与交流;国内外非学术领域的合作与交流;教学与科研融合情况;性别平等程度[4]。科研质量由以上五种因素共同决定,某方面突出不能弥补其他方面的不足。

质量提升因素评价维度主要以定量指标为主,高校所提交的有关各个学科的背景材料只是用于专家评审的参考信息,材料质量不会影响这一维度的评价结果,且主要采用同行评审方式进行。

学术外影响力评价维度针对5个研究领域进行评价,以研究成果的应用程度和研究成果的社会意义作为评价标准。其评价指标包括案例研究和机构发展战略。案例研究评价要经过两轮评审制度,先由同行专家筛选各个学科提交的高质量案例材料,再由外部评审专家评审出对社会影响力较大的案例科研成果,由于每个学科对社会影响的方面不同,因而这一维度没有统一的评价指标。机构发展战略主要关注促进科研成果在学术外推广使用的战略和在学术外的交流成果,其材料以文字说明为主,主要以同行评审进行评价[5]。

3 借鉴与启示

3.1 采用“贯通式”科研质量评价体系

瑞典FOKUS框架以学科为单元进行评价,且包括的学科种类广泛,既包括自然科学和人文社科类学科,又包括新增的艺术类学科(与2009年瑞典科研评价体系相比)。评价体系从科研投入、科研过程到科研产出,形成贯通式评价方法。例如科研产出一定,则比较各高校的科研投入,对资源的利用效率进行评价;在科研项目进行时,则对阶段性成果进行同行评审和外部专家评议;根据科研投入,比较科研产出的整体水平以及顶尖成果数量。此外,依不同学科采用不同的评价方法,自然科学主要以引文分析为主,人文社科则以同行评审作为主要的评价方法。如果按照FOKUS框架的三个评价维度进行划分,科学/艺术质量评价维度将引文分析与同行评审相结合、质量提升因素评价和学术外影响力评价维度则为同行评审与外部专家评议相结合。我国应借鉴瑞典FOKUS框架,构建国家层面“贯通式”的科研评价体系,形成各个评价单元、评价维度以及评价阶段等相互牵制、联系紧密的评价网络。同时,依据不同学科采用引文分析等客观评价与同行评审等主观评价相结合,但保证评价结果可在学科之间进行比较。

3.2 实现评价行业的规模经济

瑞典FOKUS框架评价体系主要由政府委托中介机构实施,作为一项产业进行发展,实现规模经济。根据瑞典研究委员会对FOKUS框架成本估算,花销在17亿克朗左右,占整个科研拨款的0.2%,而2011年VQR评价成本约为绩效拨款的2.2%,2014年英国REF评价成本占绩效拨款的1%。与VQR和REF相比,FOKUS节约成本,经费利用效率高。此外,意大利VQR和英国REF科研评价体系表明,与政府直接向高校拨款相比,绩效拨款的成本效益更高。从瑞典国内评价体系实施情况来看,各高校每年实施内部科研评价的费用在1 000~2 200万克朗之间,而FOKUS框架每年分摊在各高校的成本约为5百万克朗,参评高校数量扩大,高校的评价费用却进一步减少[6]。我国应借鉴FOKUS的评价实践过程,在构建全国层面的科研评价体系时,注重成本-效益比例,避免科研资源浪费,可以采用预评价的方式,对实施评价的成本做出估算,调整正式评价中可能出现漏洞的环节,设置合理的评价周期,保证各高校有较为充裕的时间开展长期性研究,促进高校科研的可持续发展。

3.3 构建全国性评价数据库

瑞典FOKUS框架采用的数据种类广泛、数据来源可靠,且建立全国性数据库SwePub,由国家图书馆管理,其数据库包含评价所需的各类数据,并形成与其他数据库相关联的数据链接系统。所有数据每年都会更新一次,各高校需对本校科研数据进行实时监督并对有误数据报有关部门进行核实更正。进行同行评审时,专家可直接利用个人账号查看所需评审的科研成果材料,例如论文、书籍等,评价系统设计便利、透明性较高,评价数据还可用于其他方面的评价和研究。我国目前没有国家层面的科研评价数据库,科研基金分配主要采用同行评审,评价体系不完善,而获得与评价相关的权威数据才能更加客观的对已有科研成果做出评价。我国应借鉴FOKUS框架,构建国家层面的科研评价数据库,相关数据收集应由高校和政府部门配合完成,保证数据来源的可靠。其次,为了充分利用资源,评价数据除了用于科研基金分配,还可用于研究和其他用途。数据库的维护和运营经费需由政府承担,但政府可通过向其他企业或科研机构转让数据的部分使用权获取利润。

3.4 实施交叉学科评价结果“校对”机制

FOKUS框架按照学科对科研质量进行评价,而随着交叉学科的发展,评价交叉学科的科研质量变得越来越重要。FOKUS框架对交叉学科的评价主要采取所涉及的不同学科分别进行评价,为防止单一学科对交叉学科科研成果评价造成偏离,FOKUS则采取“校对”评价机制(calibration works),即召集不同学科的专家举行讨论会议(chair conferences),由专家们各抒己见,对交叉学科的评价结果进行再评审和“校对”机制[7]。例如有些专家对某一领域的研究成果更感兴趣,如果某一交叉学科科研成果没有体现该领域的研究,则专家会倾向对该科研成果打低分,实施严格的“校对”机制后,只要交叉学科的科研成果具有学术价值并且对社会有益,就会对专家打出的分数进行重新校对。我国对交叉学科评价往往采用同行评审,但对评价专家的能力要求较高,需要专家对多个学科领域的知识有所了解,而专家素质往往达不到要求,造成对交叉学科评价的错误判断。我国应借鉴FOKUS评价机制,采取严格“校对”,选择各个学科的专家先对交叉学科成果从不同角度进行评价,再举行专家会议对评价结果进行再评审,校对最终的评价结果。

3.5 评价结果向资源配置的非线性转化

FOKUS框架按照三个维度进行评价,每个维度所占比重分别为70:15:15,其资源配置也将按照这一比例进行分配。此外三个评价维度保持相对独立,且划分的五个研究领域之间不进行资源竞争,而是在每个研究领域内部4~6个学科之间对科研资源进行竞争。FOKUS框架的评价结果最终以5~1分进行体现,但各个分数所占权重并不相同,分别为6,4,3,2,0,即科研成果得分为5,则最终转化为资源配置得分为30,如果科研得分为1,则最终转化为资源配置得分为0。通过此种资源配置方式,在鼓励科研质量提升的同时,也对顶尖科研成果进行更大力度奖励。我国应借鉴FOKUS框架评价经验,增强评价自身导向性,在促进整体科研质量提升的同时,鼓励各高校顶尖科研产出的增加。评价结果与资源配置直接挂钩,通过调整评价结果分数所对应的资源配置权重,进而改进科技政策。

猜你喜欢
科研成果瑞典框架
科研成果转化
框架
瑞典没有“剩宴”
中国科研成果震撼全球
广义框架的不相交性
加强医疗科技自主创新和科研成果转化
审批复杂 科研成果落地难
古老的瑞典
关于原点对称的不规则Gabor框架的构造
一种基于OpenStack的云应用开发框架