美国能源部科学办公室国家实验室评估经验与启示

2022-03-22 08:04闫金定
实验室研究与探索 2022年12期
关键词:美国能源部能源部承包商

冯 粲, 闫金定, 童 杨

(中华人民共和国科学技术部高技术研究发展中心,北京 100044)

0 引 言

当前,我国正在着力强化国家战略科技力量建设,加速推进国家实验室建设和国家重点实验室重组工作,建立健全国家实验室体系。国家实验室是承担国家战略使命需求、体现国家意志、代表国家水平的战略科技力量,是面向世界科技前沿开展大规模、长期性、任务导向型研究的创新基础平台,是面向国家经济主战场、保障国家安全的核心支撑,也是突破型、引领型、平台型一体化的大型综合性研究基地。国家实验室承担使命的特殊性和承担国拨经费的大额性决定必须建立一套完善科学的国家实验室管理体系,保障国家实验室平稳运行。构建科学合理的国家实验室评估机制是国家实验室体制机制建设的重要方面,是判断国家实验室发展成效的关键,也是引导国家实验室建设运行管理,增强国家实验室绩效管理的重要保障。

从全球范围来看,国家实验室已成为一些发达国家国家战略科技任务的主要承担主体和国家创新体系的核心支撑,其中,美国能源部(DOE)国家实验室是国家实验室的典型代表,在全世界拥有显著的影响力。美国能源部下辖共17 家国家实验室,其中10 家国家实验室隶属科学办公室管辖[1],科学办公室是美国能源部内的一个项目办公室,是能源部最大的实验室管理部门。科学办公室对下辖国家实验室建立了完善的绩效评估体系。学习美国能源部科学办公室国家实验室评估的相关经验,可为我国国家实验室体系评估机制建设提供重要参考。

本文首先介绍美国能源部科学办公室的基本情况,包括科学办公室的历史和组织架构,然后重点介绍科学办公室对下辖国家实验室的评估机制、评估指标和评估流程,并梳理要点,提出我国国家实验室评估机制建设的相关建议。

1 美国能源部科学办公室绩效评估基本情况

本部分介绍科学办公室的历史沿革、组织架构、绩效评估的基本情况,以便于更加清晰地认知科学办公室下辖国家实验室的评估体系。

1.1 美国能源部科学办公室的历史沿革

美国能源部科学办公室是美国联邦政府管理基础核能和能源研究的权威机构,其历史可划分为曼哈顿计划时期、原子能委员会(AEC)管理时期、能源研究和发展局(ERDA)管理时期和能源部(DOE)管理时期,现已成为美国政府的第三大基础研究赞助方、美国物理科学研究的主要支持者以及世界上最重要的科学组织者之一[2]。

科学办公室下辖的10 家国家实验室分别为艾姆斯国家实验室、橡树岭国家实验室、阿贡国家实验室、西北太平洋国家实验室、布鲁克海文国家实验室、普林斯顿等离子体物理实验室、费米国家加速器实验室、SLAC国家加速器实验室、劳伦斯伯克利国家实验室和托马斯杰斐逊国家加速器实验室[3]。这10 家国家实验室全部遵循“国有民营”(GOCO)的管理模式[4],即实验室由政府所有、民间运营。政府负责资助实验室的研究工作,并通过竞争性方式选择大学、企业或非营利机构作为管理运营承包商对实验室加以管理。因此,科学办公室对国家实验室的评估主要以对国家实验室管理运营承包商评估的方式开展。

1.2 美国能源部科学办公室的组织架构

美国能源部科学办公室的组织架构如图1 所示,科学办公室由1 名主任和3 名副主任领导。主要由科学项目部门、驻地工作部门和支撑部门组成[5]。其中,首席副主任负责支撑部门的管理,包括战略管理、预算管理、国际合作、跨部门协调等工作。科学项目副主任主要负责管理研究项目,项目办公室涵盖高级科学计算研究、基础能源科学、生物与环境研究、核聚变能源科学、高能物理、同位素研发与生产和核物理研究。驻地工作副主任负责管理能源部的10 个国家实验室,职责包括驻地办公室监督、制定实验室政策、保障安全、管理设备和基础设施等,以促进国家实验室的核心研发任务,服务国家使命。其中,实验室政策办公室制定下辖国家实验室的管理运营政策,并致力于确保国家实验室专注于能源部使命,确保政府对国家实验室提供资源的保障建设。

图1 美国能源部科学办公室组织架构

1.3 美国能源部科学办公室对国家实验室承包商的绩效评估

在美国国家实验室体系的运行管理中,考核与评估具有重要意义。1993 年,美国颁布《政府绩效与结果法案》(GPRA),规定政府部门每年应提交年度绩效计划报告,并将部门财政预算与其绩效挂钩。根据GPRA,国家实验室须每年制订年度绩效计划,并依计划进行绩效评估,这一长效评价机制通过责任机制、激励机制和评价机制优化了国家实验室的资源配置和管理运行效率,提升了实验室管理运营的效能,保证政府对国家实验室巨额投资得到回报,支撑了美国国家安全和科技经济的发展[6-7]。

当前美国能源部科学办公室国家实验室使用的评估程序是从2006 财年开始实施的[8]。具体实施方案为:美国能源部科学办公室在每财年开始前编制年度绩效评估和测量计划(PEMP)框架,并将PEMP 纳入与国家实验室管理运营承包商签订的管理和运营(M&O)合同中[9]。财年结束后,科学办公室将依据PEMP对国家实验室的管理运营承包商进行科学技术、管理运营绩效等方面的评估,以评价承包商在合同实施、满足能源部需求等方面的表现。年度评估结果还为科学办公室确定承包商的年度收入和合同期限提供了基础,实现了对国家实验室承包商的有效激励。

2 美国能源部科学办公室国家实验室的评估流程

美国能源部科学办公室对国家实验室管理运营承包商的评估流程主要包括制定绩效评估和测量计划-评估实施-评估发布与反馈等环节。

2.1 制定绩效评估和测量计划

(1)评估指标。科学办公室对下辖国家实验室使用统一的评估指标体系和评估方法,在每财年开始前由科学办公室各驻地办公室主管负责与其所在地的国家实验室签订PEMP,主要评估国家实验室管理运营的3 类指标。第1 类指标评估国家实验室完成能源部科学技术任务的能力(S&T指标);第2 类指标评估国家实验室管理运行的安全性、有效性、经济性(M&O指标);第3 类指标评估国家实验室承包商所提供的领导、管理及增值服务。3 类指标各自可分为3 个层次,即绩效目标及分解的具体目标以及显著成果[10]。

绩效目标共有8 个,分别为:①任务完成情况(研发质量和生产力);②科研设施的建设和运营;③科技项目管理;④承包商领导和管理;⑤安全、健康与环境保护;⑥业务系统;⑦基础设施运行;⑧安全和应急管理。其中:绩效目标①~③属于第1 类评估指标,评估国家实验室是否提供满足能源部任务所需的科学和技术;绩效目标⑤~⑧属于第2 类评估指标,评估承包商是否以安全、有效、负责和具有成本效益的方式运行实验室;绩效目标④属于第3 类评估指标,评估承包商是否能够为实验室提供有效的领导、管理和增值服务[11-12]。

8 个绩效目标可以进一步分解为若干个具体目标(见表1),评估人员在评估时将直接对具体目标进行打分。例如,在评估国家实验室具体目标1.1“提供领域内有影响意义的科技成果”时,需要考虑的评估要素见表2。能源部科学办公室为具体目标评分等级设定标准,如具体目标1.1 的评分等级标准见表3,以便于评估人员更准确地将评估结果和评分对应起来,是有效实施评估和保证评估质量的重要基础。同时,科学办公室还为一些具体目标设定若干评估要素,评估人员应参照实验室在评估要素方面的表现对具体目标进行打分,评估要素的评估依据可以是进度报告、同行评议、实地工作建议、项目办公室评审/监督结果。

表1 美国能源部科学办公室下辖国家实验室PEMP中的绩效目标和具体目标

表2 具体目标1.1 需要考虑的评估要素

同时,对于每个具体目标,科学办公室可以进一步确定国家实验室需要完成的显著成果,具体化实验室需要达成的重要目标。显著成果是科学办公室管理层决定的实验室在下一财年必须解决的最重要的问题或面临最高风险的问题,必须与PEMP 中的具体目标明确地联系在一起(但并非每个具体目标都必须设定显著成果)。显著成果的设定是客观的、可衡量的和结果导向的,以便在财年结束时确定该显著成果是否实现。相较于绩效目标和具体目标的固定性,显著成果对于各个实验室具有特定性。

具体而言,科学项目副主任须主持由各科学项目主管参加的会议,为国家实验室绩效目标①~③下的具体目标制定显著成果;国家实验室绩效目标④下具体目标的显著成果由科学项目主管和驻地办公室主管提供意见,并由科学项目副主任与驻地工作副主任协调确定;驻地办公室主管为国家实验室绩效目标⑤~⑧下的具体目标制定显著成果,并提交驻地工作副主任审查。最后,所有的显著成果由科学办公室主任最终批准。

(2)评分标准。国家实验室的绩效评估采用5 级评分(A、B、C、D、F)体系,评分准则可参见表3 的前两列,字母分级分为A +、A、A-、B +、B、B-、C +、C、C-、D、F共11 个等级[13],数值分数范围为0-4.3,其中等级B +为达到科学办公室期望目标的水平。科学办公室有意将等级B +的达到标准设定得非常高,从而为低于B +等级的实验室提供改进的压力和动力。评估部门依据评分标准对具体目标打分,如果一项具体目标的打分涉及多个评估主体,则需要将这些评估主体打出的分数加权得出一个具体目标的最终分数。绩效目标的分数则是根据该绩效目标下具体目标的得分加权相加而成。科学办公室使用最终8 个绩效目标的字母分级成绩为每个实验室创建年度报告卡。

表3 科学实验室下辖国家实验室具体目标1.1 数值分数/字母等级标准

(3)指标权重确定。要得到国家实验室各绩效目标的最终得分,需要明确两个权重,①国家实验室具体目标评估涉及多评估主体时各评估主体对具体目标的评分加权到具体目标最终得分的权重,②具体目标加权到绩效目标的权重。国家实验室绩效目标①~③下具体目标的评估涉及多评估主体,各评估主体对具体目标的评分加权到具体目标最终得分的权重分配由实验室该财年各个项目资助方提供的经费比例确定;绩效目标①~③下具体目标加权到绩效目标的权重由科学办公室下的项目办公室和其他项目委托方协调确定。国家实验室绩效目标④下具体目标加权到绩效目标的权重由科学项目副主任和驻地工作副主任协调确定。国家实验室绩效目标⑤~⑧下具体目标加权到绩效目标的权重由相应的驻地办公室在综合支持中心和总部员工办公室的协助下确定。

显著成果的评估不涉及权重,也不会得到数值分数或字母等级,显著成果的评估结果是“完成”或“未完成”,同时,能否完成显著成果是国家实验室能否达到能源部期望水平(B +等级)的先决条件。因此,如果承包商未能完成绩效目标①②③下与具体目标相关的显著成果,科学项目办公室将对与显著成果相关的具体目标给予低于B +的评分;同样,如果承包商未能完成绩效目标④~⑧中与具体目标相关的显著成果,科学办公室将对与显著成果相关的具体目标给予低于B +的评分。

2.2 评估实施

(1)评估主体。在每财年结束时,国家实验室科学技术绩效目标①~③下具体目标的得分由资助实验室工作的项目资助方进行评估。在这些项目资助方中,除了包括科学办公室内部的科学项目办公室外,还包括所有在该国家实验室资助超过500 万美元或资助额大于等于实验室运营成本1%(以较低者为准)的组织。在绩效目标①~③下具体目标的评估中,如果有一个项目资助方认定某一具体目标未能达到显著成果,并不影响其他项目资助方对该具体目标的评分。驻地办公室负责评估国家实验室管理运营绩效目标⑤~⑧下的具体目标。驻地办公室和科学项目办公室就国家实验室承包商在绩效目标④方面的表现向科学办公室管理层提供信息,并由科学办公室下的实验室政策办公室最终确定绩效目标④下具体目标的评估分数和等级。

在确定各项具体目标的得分时,科学办公室的科学项目办公室和驻地办公室需将实验室的表现与PEMP中设定的显著成果及其他可获得的绩效审查信息比照。这些审查信息包括独立的科学计划和科学项目审查报告,OIG(能源部监察长办公室)、GAO(美国审计总署)、DCAA(国防合同审计局)和能源部其他部门的外部监督审查结果,以及科学办公室内部监督结果等。

(2)评估实施。根据表2,评估主体为每个具体目标打出0 ~4.3 的数值分数,实验室评级系统将自动依据权重计算标准计算得出实验室各绩效目标的数值分数和对应的字母等级。

在得到所有实验室的评分和等级后,科学办公室实验室政策办公室要在每个财政年度结束后召开绩效评估标准化会议,将所有实验室的评估分数/等级标准化,以确保对各个实验室承包商评估使用的技术和方法在整个科学办公室体系中是一致的,并最终批准评估结果。

2.3 评估发布与反馈

(1)评估发布。科学办公室会将经科学办公室主任批准的国家实验室评估结果以国家实验室报告卡的形式发送给国家实验室承包商,包括8 个绩效目标的评估等级,8 个绩效目标的评估结果不能合并。同时,各个国家实验室的评估结果每年会以成绩单的形式在科学办公室的网站上公布,2021 年科学办公室10 家国家实验室的绩效评估结果如表4 所示[14]。

表4 2021 财年科学办公室国家实验室绩效评估结果

(2)评估反馈。国家实验室评估后的反馈指科学办公室会依据国家实验室的评估结果对承包商的承包合同期限和收入进行调整。在承包合同期限方面,科学办公室主任可根据绩效评估表现和管理运营合同中的约定决定承包商是否有资格延长实验室管理运营合同的期限。在收入方面,科学办公室使用以下程序来决定承包商按绩效表现所获得的收入金额:

第1 步,根据国家实验室在S&T 指标和M&O 指标下相应绩效目标评估的数值分值计算实验室承包商的“S&T初始分值”和“M&O初始分值”,“S&T初始分值”等于绩效目标①~③的数值分数乘以相应的权重。其中,绩效目标③的权重为固定的25%,绩效目标①和绩效目标②的权重分配基于目标①和②在年度内的成本分配,但无论成本分配如何,目标①的最小权重为30%。“M&O初始分值”等于绩效目标⑤~⑧的数值分数乘以相应的权重。

第2 步,根据“S&T 初始分值”和“M&O 初始分值”以及绩效目标④的数值得分计算承包商的“S&T最终分值”和“M&O最终分值”,具体算法为:S&T最终分值=S&T初始分值*75% +绩效目标④数值得分*25%;

M&O最终分值=M&O初始分值*75% +绩效目标④数值得分*25%。

第3 步,根据“S&T 最终分值”和“M&O 最终分值”确定承包商的收入金额,具体算法为合同费用乘以与“S&T 最终分值”和“M&O 最终分值”相对应的S&T乘数和M&O 乘数,S&T 乘数和M&O 乘数如表5所示。同时,管理运营合同的管理人员可以根据承包商的日常监督审查结果和其他外部审查机构(如OIG、GAO、DCAA等)的审查结果等单方面建议调整承包商获得的收入。据统计,科学办公室对国家实验室承包商每年支付的总费用平均不到国家实验室总预算的1%。

表5 S&T乘数和M&O乘数

3 美国能源部科学办公室国家实验室评估对我国的启示

由上述对美国能源部科学办公室国家实验室评估基本情况和评估流程的梳理,得出以下几点经验,对建立我国国家实验室评估机制具有一定的借鉴意义。

3.1 多类别的评估主体、分层级的评估指标

由美国能源部科学办公室对国家实验室管理运营承包商的评估规则可以看出,评估过程涉及的评估主体多样、评估层次全面,评估过程较为复杂。其中,评估的主体涉及科学办公室主任、科学项目副主任、科学项目委托方、驻外工作副主任、驻地办公室等管理方和利益相关部门,分工明确。在评估主体上,既考虑到实验室项目委托方的评估,又考虑到实验室所在地监督管理机构的评估,还涉及能源部科学办公室统一领导和统筹层面的评估;在评估指标体系中,既考虑到国家实验室自身科学技术任务和使命的完成情况,又考虑到实验室管理运营承包商的管理运营绩效,还涉及实验室管理运行承包商对实验室的领导和服务能力;在评估层次上,既包括颗粒度较粗的绩效目标,又包括绩效目标下分的具体目标以及更加细化的评估因素,还设置了显著成果作为评判实验室是否达到期望水平的标准。同时,针对国家实验室多主体、多维度、分层级的评估,能源部科学办公室拥有一套基于网络的实验室评级系统(LRT),方便不同的评估主体在系统上给出实验室相应维度的评分和评估等级,并可自动计算出实验室承包商获得的最终数值分数和字母等级,保证了多方参与评估的便捷性。

美国能源部科学办公室国家实验室多主体、分层级的综合评估方法保证了对国家实验室运行管理的全方位评估,对我国国家实验室评估机制的建设具有重要启示。在国家实验室评估中,可以考虑由科技部主管部门、国家实验室所在地科技管理部门、项目任务委托单位等多主体进行综合评估。构建适宜多主体评估的、全面科学的多层级指标体系,全面衡量国家实验室在项目承担、日常运行管理、人才培养等方面的综合绩效。同时,可考虑开发适用于国家实验室多主体评估的评估系统,为不同评估参与方提供评估入口,并由系统综合计算得出评估结果,提高评估效率。

3.2 有效结合国家实验室的监督与评估

美国能源部科学办公室对国家实验室的评估有效结合了监督与评估的结果。由于监督和评估活动涉及不同的监督和评估主体,适用不同的程序,因此在实际操作中有难度。但是,如果在实验室评估中未能考虑到实验室在财务、科研诚信和科学伦理等方面的监督结果,势必会影响评估工作的有效性和全面性。在科学办公室科学项目办公室和驻地办公室在对国家实验室进行评估时,需考虑到包括但不限于承包商自我监督报告、日常监督审查结果和其他外部机构,如OIG(能源部监察长办公室)、GAO(美国审计总署)、DCAA(国防合同审计局)等机构的监督结果[15]。如果实验室在相关监督活动中被发现有违法违规、科研不端等行为,将直接影响其评估的结果。同时,科学办公室充分重视驻地办公室在国家实验室评估中所起的重要作用,关注对国家实验室实地的管理和监督,实现了监督和评估的有机结合。

在我国国家实验室评估机制建设中,可充分借鉴美国能源部科学办公室的经验,将监督和评估有效结合,将纪检部门的监察监督、审计部门的财务监督以及国家实验室主管部门的行政监督等监督结果及时反馈到实验室评估的实施方,或直接反映在评估系统中。如果国家实验室在管理运行中存在严重的违规违纪问题,可在评估当年直接对该国家实验室评估为“待整改”或“不合格”,从而有效将实验室的监督和评估联系起来,发挥各方力量实现对国家实验室的全面评估。

3.3 发挥显著成果对评估结果的决定性作用

美国能源部科学办公室对下辖国家实验室承包商进行具体目标指标评估时,将实验室是否能够实现合同中规定的显著成果作为其是否能够达到能源部期望评级水平的先决条件,即如果承包商未能实现能源部要求达到的具体目标下的显著成果,在该具体目标上将会得到低于B +的分值,并会直接影响实验室总体评估结果。这一评估机制为国家实验室管理运行绩效的达标设置了先决条件,使得国家实验室能够集中力量完成显著成果。同时,显著成果的设置具有特定性,在管理运营合同中,科学办公室会针对不同的国家实验室设置不同的显著成果,便于国家实验室聚焦于各自具体战略目标的实现。

设置显著成果并将显著成果达成作为实验室达到评估期望标准的先决条件,这一“门限”机制对构建我国国家实验室评估准则提供了重要参考。在国家实验室的评估中,可在合同中设置实验室要达到的显著成果作为其评估合格的前提,使国家实验室聚焦于国家战略使命的达成,聚焦于落实“四个面向”的具体要求。

3.4 全面实现基于绩效的评估和管理

美国能源部科学办公室对国家实验室承包商实施以绩效为基础的评估和管理机制,并强调能源部和实验室承包商之间的“客户-供应商”伙伴关系,在评估过程中注重承包商的战略管理、绩效管理和承包商责任改进。这体现在,①美国能源部为国家实验室的发展和管理提供明确的指引,制订年度绩效评估和测量计划用以规范承包商的行为,使实验室的发展符合合同规定的方向,使国家实验室的发展目标与能源部的战略目标保持一致;②在实验室科学技术层面的评估中,由科学项目资助方依据经费比例对实验室实施评估,并将科学技术评估和实验室管理运营评估相结合,更加精确地反映了国家实验室运行的绩效;同时,评估结束后的评估反馈将国家实验室承包商的收入、承包期限和资源分配决策与评估的结果相关联,并建立问责制,促进承包商能力的长期改进,实现了评估行为对承包商绩效的持续激励机制。

全面实现基于绩效的评估适用于我国国家实验室评估机制建设。在对我国国家实验室进行管理和评估中,国家实验室主管部门应与国家实验室签订任务合同或管理运营合同等,在合同中明确规定国家实验室需完成的战略使命和绩效目标,并依据合同要求开展实验室评估。同时,在合同中应明确规定将评估结果作为国家实验室未来科研经费、科研任务等资源分配的依据,形成激励机制,全面实现国家实验室基于绩效的管理。

猜你喜欢
美国能源部能源部承包商
美国国家实验室的建立和发展——对美国能源部国家实验室的历史考察
2018中国承包商80强和工程设计企业60强揭晓
PBC模式 养护管理机构与承包商的“双赢”
俄罗斯:拟禁用50瓦以上白炽灯
美国机构敦促能源部建立高丰度低浓铀库存
美国能源部为NASA重启核电池生产
美国能源部提出灯泡能源效益标准
承包商如何做好FIDIC建造合同条件下的工程变更
承包商如何进行最低价投标
美国能源部长朱棣文