新西兰研究基金项目中的同行评价

杨旭婷，乔 刚

（1.河南大学 教育学部，河南 开封 475004；2.延安大学 教育科学学院，陕西 延安 716000）

一、引 言

同行评价是科学界对科研项目进行评审和对科研成果进行评估的一种基本方法。[1]与量化评价、专家评价、政府评价等评价方式相比，同行评价具有专业性更强、民主参与性更高的优势。正如布鲁贝克所言，大学传授与研究的是“高深学问”，教师作为同行，他们“最清楚高深学问”的内容，也“比其他人更清楚地知道谁最有资格成为教授”[2]。但同行评价在实施过程中往往存在一些问题，如过于遵循学科固有传统范式而带来对创新研究的抵制[3]，容易受到“老友关系网”的阻碍[4],评价者个人情感、个人偏见的带入影响最终评价结果的客观性[5]，等等。也正是因为这些缺陷，同行评价这一契合学术发展逻辑和高等教育治理逻辑的评价方式[6]，却在实际应用中经常受到质疑。究其原因，评价人监督与激励机制的缺乏、不同类型研究评判标准的单一化、评价信息的不充分等是这些问题产生的主要因素。[7]因此，有效地开展同行评价活动，关键在于设计科学合理的实施策略和保障机制，实现在发挥同行评价制度优势的同时最大限度地规避潜在问题的出现。

2002年，新西兰政府开始实施的基于绩效的研究基金项目（Performance-Based Research Fund，PBRF）是一项评价全国高等教育机构的研究表现，并根据评价结果予以资金支持的活动，意在鼓励、奖励新西兰高等教育机构的高水平研究，提升新西兰高等教育机构的全球竞争力和国际影响力。项目的评价内容包括三个部分，分别是研究成果的质量评价、研究生学位获得者数量和外部研究收入。其中，研究成果的质量评价（Quality Evaluation）是项目评价的核心，占到了总体评价权重的55%，与其他两项可以直接获得数据的量化指标所不同，质量评价是通过同行评价的方式进行的，依托同行专家来评判参评人及其所在高校的研究成果。质量评价是一项周期性活动，其项目实施以来，新西兰政府委托高等教育委员会分别于2003 年、2006 年、2012 年和2018 年组织开展了4轮同行评价活动。

经过多年的实践，PBRF项目持续改进同行评价方式方法，完善同行评价内容。新西兰高等教育委员会先后发布了《高等教育机构参评指南》《质量评价实施过程指南》《同行评价小组遴选与任命办法》《不同领域同行评价实施指南》《同行评价线上系统使用手册》等一系列规章制度，已经形成了较成熟的全国性同行评价体系，构建了较完备的同行评价机制。从实际成效看，PBRF项目的实施有效提升了高校的研究生产率[8]，带来了新西兰高等教育研究质量的整体提高[9]，特别是原有基础相对落后的大学、学科研究水平的实质性提升[10]。有学者基于对英国、美国、日本、德国、荷兰等16个国家或地区主要高等教育评价模式的比较分析提出，新西兰PBRF项目是评估研究和分配研究资金的最高质量模型，在评价内容的全面性、评价过程的公正透明性、评价方式的科学性等方面具有显著优势[11]。与此同时，项目也获得了越来越多高等教育机构的认可。数据显示，参加PBRF项目的高等教育机构数量已从第一轮的22 所发展到最新一轮的36 所，参评教师从4 461 人增长到最新一轮的7 408人[12]。PBRF 项目的评价结果正在被应用到新西兰高等教育机构内部质量评价、教师评价中，成为高等教育机构评价教师研究水平和研究能力的重要依据。目前，PBRF项目已经成为新西兰最具影响力的高等教育评价活动之一，是新西兰高等教育机构获取研究资金的最主要来源。

本文聚焦同行评价，结合新西兰PBRF项目2018-2019年最新一轮质量评价实践，分析其在推动同行评价活动的有效执行、规避同行评价潜在不足方面采取的实施策略与制度保障。

二、新西兰PBRF项目中同行评价的实施策略

（一）基于同行推荐遴选评价专家

作为一种由从事特定领域或接近该领域的专家来评定一项工作的学术水平或重要性的机制[13]，同行评价制度的最显著优势在于其契合学术自身发展逻辑，有助于维护科学发展的自主性，体现了“由内行评价内行”的基本原则。因此，要保障同行评价制度的有效实施，避免“非同行”“伪同行”的出现，谁来担任“同行”是同行评价首先需要考虑的问题。理想的同行评价专家既要具备扎实的专业素养和较高的学术水平，也要具备评判前沿研究成果的能力，更要富有责任心和学术使命感。

在同行评价专家的产生方面，PBRF项目采用了个人推荐制。这里的“个人”不仅包括大学教师，也包括非高等教育机构的研究人员以及其他技术研发应用人员。推荐人可在线上系统填写被推荐人相关信息，提供被推荐人获得的高水平研究成果或奖励情况（5项以内）、前期参与同行评价活动经验（5项以内）等表征被推荐人水平的信息。同时，为保证个人推荐的有效性，项目要求被推荐人亦需在推荐信息表中签字，以示其同意被推荐、认同提交的推荐材料、了解并同意项目相关协议、能够在规定时间参与培训及评价会议等活动。遴选同行专家的权力交给了从事研究或与研究工作相关的人群，既有助于保障同行专家的权威性，也有助于保障同行专家对参评内容的熟悉性和专业性，从源头上避免了由政府指定专家或者小群体推荐专家带来的不良问题，体现了多元参与的治理理念。

尽管以同行推荐为基础，但最终谁能获得评价权并不是依据其被推荐的数量多少而定的。在被推荐的基础上，PBRF 项目所有同行评价专家均由高等教育委员会遵循三条基本原则进行遴选、任命：一是具有较强的专业能力，专业水平突出、研究内容涉猎丰富，了解本领域理论研究和应用研究发展状况；二是具有一定的评价经验，能够结合学术领域公认的对卓越的理解来进行研究质量的判断；三是能够理解和把握质量评价标准，遵守项目评价制度的要求，致力于客观、公正、高效地开展评价活动。[14]与此同时，PBRF 项目特别强调小组成员构成的多元化，规定每个评价小组成员中至少有25%的国际专家和一定比例的青年学者、跨学科研究者。

最终的同行评价小组成员由高等教育委员会结合实际进行若干轮的遴选产生。一般是先选择各小组的组长、副组长，之后选择各组成员，最后结合实际需要进行增补调整。总的来看，最终的同行评价小组成员构成既要满足项目对评价专家的基本要求，也要能够兼顾该小组所代表学科的各个研究领域，还要考虑国际学者比例、首次参评专家的比例、女性参评者比例、青年研究者的比例、评价工作量等情况。2018年，PBRF项目各同行评价小组一般由10-20名成员构成。

（二）基于广泛评价内容进行代表作评价

一是设置广泛的参评内容。PBRF项目同行评价主要是考察各个高等教育机构研究者的研究质量，但项目对什么是“研究”的界定非常宽泛——具有原创性、能够增进知识创新或促进社会文化发展的探索性成果均可纳入研究的范畴之内。PBRF项目《质量评价指南》中明确提到，高质量的研究不能仅局限于理论探索，而是发生在原始调查活动的整个过程中。因而，项目质量评价在参评内容上设置了两个方面：研究成果（Research Outputs）和研究贡献（Research Contributions）。前者意在考察研究成果的科学性，研究结论在促进人类的知识、增进理解、推进创新等方面的成效，后者则侧重反映参评者在从事研究及研究相关活动的过程中，在学术界内外所作出的贡献和获得的认可情况。每位参评者均需在其提交的参评论证材料（Evidence Portfolios）中罗列其研究成果与研究贡献。

二是设置多样的参评形式。为了充分展现参评人在研究成果和研究贡献两方面的表现，PBRF项目质量评价认可多样化的形式表达。在研究成果方面，项目设置了学术论文、会议论文、主编或参编的书籍、学位论文、专利、艺术作品、表演、设计、软件、电影等共15种不同形式；在研究贡献方面，项目设置了对学科领域发展的贡献（如组织或参与重要会议、任职重要国际组织、促进国际合作）、社区参与服务情况、研究成果的认同与影响、获得的各类奖项、指导或支持学科青年人才情况、参与各类评价评审活动情况等12种不同形式。相较于量化数据评价，同行评价对参评材料统计口径并没有严格的一致性要求。PBRF项目设置的多样化的参评形式，符合同行评价的特点，有利于发挥同行评价的制度优势。当然，尽管质量评价的内容宽泛、形式多样，但评价小组对各类参评材料均以质量作为判断的基本标准和核心要义，不受内容或形式的影响。艺术表演的评分不一定比期刊论文低，应用研究的评分也不一定会比基础研究高，所有研究活动都根据其本身的价值来考虑，这一点将在下文的制度保障部分具体阐释。

三是实施代表作评价制度。为了更好地反映参评人从事研究工作、产出高质量研究的评价初衷，PBRF项目同行评价并不以参评者研究成果或贡献的数量为评价标准，而是采取代表作评价的方式，考察其最高水平的研究产出的质量。因此，尽管项目设置了广泛的评价内容和多样化的参评形式，但却并不是漫无边际的各种材料的堆积，参评人员要选择他们在评估期间取得的最佳研究成果和研究贡献。在研究成果部分，项目要求参评者提交不超过4份的主要研究成果和不超过12份的补充研究成果；在研究贡献部分，要求参评者提交不超过15份的研究贡献。同时，项目要求参评者对其所提交的代表性成果、贡献提供证据支持，即除了研究成果的标题、作者、时间、来源（期刊或出版机构等）、对应的参评类型之外，还需要分别对代表作完成过程中的个人贡献、成果价值与意义进行1 000字左右的文字描述。[15]而且，PBRF项目质量评价还将其他同行的认可或评价情况等纳入评价考虑范围，要求每份代表性成果提交相关的质量保证材料（Quality Assurance），以说明其获得领域内相关专家的审查与认可情况。如期刊或出版社编辑、编委会的审查结果，会议论文的评价结果，相关使用机构或用户在合作、资助前开展的审查结果等。对没有质量保证的作品，评价小组会进行更为严格的审查。显然，这种代表作评价是建立在广泛而充分的信息分析基础上的，评价粒度非常细。

（三）基于不同研究领域开展分类评价

不同学科门类具有不同的学术产出机制和特点，即便在同一学科之内，知识也越来越具有高度的不确定性。[16]PBRF 项目质量评价尊重学科领域差异，尊重不同学科领域研究成果与社会影响的多样化、个性化特点，设置了包括生物科学、商业与经济、教育、工程技术与建筑、人文与法律、创作与表演艺术、数学与信息科学技术、物理科学、医药与公共健康等共13 个代表不同学科领域的同行评价小组（Peer Review Panels）。与之前3 次质量评价活动相比，PBRF 项目2018 年的质量评价新设了“太平洋研究”（Pacific Research）评价小组，专门考察太平洋主题研究的水平以及研究对太平洋地区人民发展与全球化的影响程度，旨在支持太平洋相关研究，提升太平洋研究能力，加速太平洋研究的发展。[17]这一新小组的设置反映了新西兰PBRF项目对区域性、国际性研究活动的重视。

每个同行评价小组在其《质量评价小组指南》中均规定了该小组设置的研究主题，认可的研究成果、研究贡献的基本类型以及材料撰写规范。参评者及其所在高校需要依据研究内容为每一份参评材料选择特定的同行评价小组。之后，同行评价小组主席结合每份参评材料具体内容，将参评材料分配给相应的小组专家。PBRF项目的分类评价并不排斥跨学科研究和跨学科评价。当评价专家发现某份评价材料的研究主题涉及另一评价小组范畴，应进行跨学科合作评价时，小组主席会向高等教育委员会提出跨小组评价申请并提供具体建议，说明需要进行跨小组评价的依据。高等教育委员会将在征求相关学科小组主席意见的基础上，作出是否调整评价小组或是否进行联合评价的决定。

（四）基于多人、多轮计分形成评价结果

PBRF项目采取个人单独评价、二（多）人合作评价和小组评价相结合的方式形成评价结果。在同行评价的过程中，小组主席将每份参评材料指派给2名小组成员，每位评价成员首先对其所负责材料的研究成果和研究贡献两部分分别进行评价并得出预备分数（Preparatory Scores），如果材料涉及到跨小组评价，则相应小组专家也需要参与进来；接下来，小组内两名或多名成员经过讨论，共同对同一份参评材料进行评分，商议得出这份材料的初始分数（Preliminary Scores），如若无法达成一致意见，则该份材料直接进入下一阶段；之后，各个学科的同行评价小组召开小组会议，结合评价标准对参评材料进一步讨论，给出质量分数并由系统自动生成质量结果与质量类别（Quality Results & Quality Category），整个评分流程如图1所示。这种个人评分、合作评分和小组评分相结合的机制，有益于成员之间对评价内容的一致性把握。在相互交流的过程中，专家的个人影响得以弱化，从而使得没有任何一份材料的评价结果是由某一位专家单独决定的。[18]

图1 同行评价专家的评价过程

在具体的分数呈现上，PBRF项目采取数字计分、权重计分、分类计分相结合的方式。在预备分数和初始分数阶段，采取数字计分（Numerical Scoring System）和权重计分（Weighting System for Scores）方法，同行评价成员选择0至7中的整数为研究成果和研究贡献分别打分，其中，0表示质量最低，7表示质量最高。之后，依据研究成果占70%、研究贡献占30%的权重设置，将数字计分结果赋权，形成两项的加权分数以及相应的总分数。在最终的评价结果呈现上，项目采取分类计分（Quality Categories），最终结果以A、B、C、R的不同质量类型的形式呈现。其中，A 类表征质量最高（加权总分为600-700 之间），意味着相关研究产出与贡献达到了世界一流水平、在所在领域取得了非常高的学术认可度、对本学科研究产生了重大影响；加权总分在400-580 之间的为B 类，表明研究产出与贡献具有较高质量，得到了学界较高的认可，对学科发展作出了一定贡献；加权分数在200-390之间的为C类，表示取得了一定的学术认可，在较小的范围内作出了贡献；加权分数低于200分的被归为R类，意味着参评者的研究尚不能达到获得项目资助的水平，表1和图2展示了这一过程。

图2 分类计分结果分布

表1 数字计分与权重计分示例

在PBRF项目实施的过程中，参评的高等教育机构通过线上平台提交材料，审查团队通过线上平台进行材料审查，同行评价专家直接在线上平台对每份证明材料进行评分，系统根据专家的打分自动加权、分类，并形成最终的评价结果。在线开展信息的处理为PBRF项目同行评价带来了诸多便捷，有效提升了评价工作效率，降低了评价成本。

三、新西兰PBRF项目中同行评价的制度保障

作为学科专家对其领域的新知识实施质量控制的一种“社会机制”[19]，同行评价要克服其缺陷，仅仅依靠学术共同体内部的自律，无论是专业规范上还是职业伦理上，都难以绝对消除“老友评价”或者“互利评价”等现象。更可行且有效的途径还是通过制度更替或制度改进的方式，在最大程度上来抑制同行评价弱点的放大效应。[20]新西兰PBRF项目质量评价设计了全过程、细节化的制度安排，为其同行评价的有效展开提供了可靠保障。

（一）评估材料审查制度

尽管PBRF 项目对参评研究内容、形式的界定较为宽泛，但其对于参评者的资格、参评资料的标准等均制定了一系列详实的规定，用“严入口”来保证信息的可靠性。对于参评者的资格，项目要求其必须是从事学位教育或专门研究的教职工；在评估开展前一年，与所在高等教育机构具有有效的雇佣或聘任关系；在工作时间内从事每周不低于7.5小时的工作量（非国内常住教师要求18.5小时）等。对于参评资料，项目要求成果需符合项目对原创性、创新性的规定（如文件汇编不包括在内），成果的发表时间需在评估前6年的评估周期以内。

为更好地开展审查工作，高等教育委员会专门设置了审查团队（Audit Team），对所有参评院校提交的材料进行全面审查。材料审查采用抽样的方式开展，抽样的比例则取决于质量评价活动开始前，高等教育委员会向每所参评院校发放的对项目理解程度与校内筹备情况的问卷调查结果。在若干轮抽样调查基础上，审查团队将着重对参评者资格、研究成果发布时间等进行检查，并通过与其他数据库进行核对，保障相关信息的真实性和客观性以及填写数据的完整性，为后续的评价工作的展开奠定基础。

（二）利益相关者回避制度

为防止利益相关评价的出现，PBRF项目同行评价从参评者和评价者两个方面建立了利益相关评价专家的回避与退出制度。一方面，大学可以代表其参评教师向高等教育委员会提交利益冲突说明（Conflict of Interest Notices），以说明存在实际利益关系或潜在利益关系的评价专家。在收到利益冲突说明后，同行评议小组组长将决定利益相关评价人员是否参与相关材料的评价（如小组组长为利益相关者则由小组仲裁员负责）。另一方面，小组主席在决定每份参评材料的评价专家时会综合考虑参评材料的研究主题、是否存在利益相关以及小组成员的工作量，因而，很大一部分利益冲突会在材料分派阶段得以避免。同时，评价专家若在评价过程中发现本人与参评人存在实际或潜在的利益关系，也可随时向小组主席提出意见，由小组主席采取适当的调整行动。在这样的制度约束下，导师、亲友、学术伙伴将被排除在评价者之外，有助于提升同行评价的客观公正性。

（三）评价全过程审核制度

PBRF项目质量评价是严格按照研究质量标准而不是专家常识标准来进行评判的，每个分值都有特定的标准要求，专家需要将参评者的研究成果和研究贡献与每个分值的标准要求进行比对，在此基础上给出分数，且不同的评价结果并没有预先设计好的选取比例。为了切实落实各同行评价小组成员之间、不同小组之间以及几轮评价之间对评价标准执行的严格性、一致性，高等教育委员会专门成立了由1名首席审核员、2 名副审核员和13 名同行评价小组组长组成的审核小组（Moderation Panel）。

审核工作主要包括两个阶段，一是对各个同行评价小组给出的预备分数、初始分数进行审查，并于小组初始分数给出后召开第一次审核小组会议，审查各个小组参评材料的分配状况、评分数据，了解评价过程中出现或可能出现的评分偏差、错误等问题，以确保小组成员之间和各个小组之间评估标准应用的一致性。二是对同行评价小组给出的最终质量结果进行审查，并召开第二次审核小组会议，确定小组评价结果和最终的质量类别与分数标准界定之间是否有偏差、小组间是否有偏差。这个过程说明，项目的审核工作是贯穿评估同行评价全过程的。通过对各个环节评价过程及其存在问题的分析，考察标准理解不到位、标准执行不一等情况，在此基础上研讨问题解决办法，并向高等教育委员会提交审核报告。如发现有评分不当的问题，审核小组会要求同行评价小组再次对相关材料重新进行评价，切实促进评价改进。总的来看，审核有助于保障评价分数及最终评价结果的形成不是按照评价者的常识经验判断或者预设的各个类型的百分比而形成的，而是严格依据分值标准、结合研究质量作出的客观决定。

（四）保密与申诉制度

为提升评价过程的公正性，在评价活动开始前，高等教育委员会要求所有参与同行评价的专家都需要签署保密协议（Confidentiality Agreement），以确保参评者提交的参评材料不会产生除评价之外的其他用途，确保评价所做的所有讨论和决定的机密性，避免评价材料的外传、泄露；保证小组主席、小组成员以及高等教育委员会成员之间所有讨论和交流的机密性，保证同行评价小组做出决定的机密性。同时，为了保障被评者的基本权益，高等教育委员会允许高校针对评价的程序性问题提出申诉，委员会将对申诉信息进行调查，并向高校反馈处理结果以及针对这一结果可能会采取的完善措施。

四、结 语

PBRF项目采用同行评价的方式对全国高等教育机构的研究质量进行考察，在评价主体的形成、评价内容的界定、评价方式的选择、评价过程的监督等方面作出了积极的探索。PBRF项目在如何保障评价专家的专业性、评价标准执行的一致性、评价过程的客观性，如何处理不同学科的异质性，如何更好地体现研究创新性与贡献度，以及如何降低评价成本、提升评价效率等多个方面，为我们理解同行评价的实施提供了可靠经验。

有学者比较了基于期刊文献的计量评价结果和同一时期PBRF项目同行评价结果，发现二者具有一定差异，同行评价更善于甄别同一期刊上的优质文献[21]，而不是简单的以刊评文，这也进一步体现了PBRF项目同行评价的有效性。当然，PBRF项目同行评价也并不是完美无缺的，有学者质疑其6年的评价周期会降低学者对长期性研究工作的积极性[22]，交叉学科的研究绩效往往被低估[23]，获得低评分的学术人员，尤其是年轻人，可能因此变得沮丧，遭受疲惫和压力[24]。关于这些问题，高等教育委员会在历次的同行评价总结报告中也会提及并在下一轮评价活动中采取适当调整措施。在2025年即将举行的第五轮质量评价活动中，高等教育委员会提出，将进一步丰富PBRF项目对“研究”的界定，以更好地奖励多样化的研究，更好地支持合作和参与，提高太平洋研究、毛利研究的资金分配比重，以鼓励区域化、本土化研究，提升研究质量[25]。PBRF项目同行评价实施策略与制度保障的设计也是一个在尊重学术、尊重学者的基础上持续完善、不断改进的过程。