应用型科研机构科研绩效考核评价体系构建研究

2018-12-27 01:35徐明珏赵志梅肖剑钦车艳春
中国卫生标准管理 2018年23期
关键词:排序一致性权重

徐明珏 赵志梅 肖剑钦 车艳春

合理的科研绩效考核指标评价体系能够充分调动应用型科研机构应用型科研院所科研人员的积极性,有效提高围绕产品研发而产出的科技成果质量,有利于生产经营活动的可持续发展[1-2]。建立合理且高效的科研绩效管理模式对实施创新驱动发展战略具有重要的促进作用,也是我国科研工作管理者目前面对的新挑战[3]。2015年中共中央国务院发布《关于深化体制机制改革加快实施创新驱动发展战略的若干意见》[4],促使应用型科研机构意识到构建高效的科研绩效管理体系,调动科研人员积极性,才能激发科研创造活力,构筑参与国际竞争合作的新优势,推动形成可持续发展的新格局。

1 研究材料与方法

Y研究所作为集生物制品研制、生产、销售及研究生教育为一体的公益性应用型科研机构,为我国重大传染病防治做出了重要贡献。文章以其现行科研绩效考核指标评价体系为研究对象,采用层次分析法分析考核指标评价体系权重,并与现行权重值进行比对,结合考核实施周期结束后的科技成果产出情况,探讨现行体系设计的合理性,为完善应用型科研院所科研绩效管理提出进一步优化和改进的具体措施和建议。

1.1 现行科研绩效考核指标评价体系

Y研究所自2015年起打破原有行政科室管理模式,引入课题组长(PI)负责制。根据研究特点将课题组分为科研开发、科研基础和科研服务三类课题组,提取论文论著等10项作为科研绩效关键考核指标(KPI),通过召开所学术委员会使用专家咨询法确定各项关键绩效考核指标的权重值,以三个自然年为一个周期,开展科研绩效管理工作。

1.2 研究方法

美国著名运筹学家Saaty在20世纪70年代首次提出了层次分析法(Analytic Hierarchy Process,简称AHP法)[5-6]。层次分析法通过将目标问题分解成不同的因素,并将这些因素归并成不同的层次,继而对相关指标进行评判得分,并乘以相应权重后得出最终结论,具有降低主观干扰、相对客观性提升的优势,被广泛用于绩效评价[7-12]。层次分析法包含4个基本步骤:建立层次结构模型,构造矩阵,层次单排序及一致性检验,层次总排序及一致性检验[11]。运用层次分析法分别计算三类课题组的绩效考核指标评价体系权重比例并对其进行一致性检验。计算过程限于篇幅仅以科研开发类绩效考核指标评价体系目标层A为例进行详细介绍:

第一步:运用层次分析法建立层次结构模型。

以Y研究所开发类现行的关键绩效考核指标为基础,构建含有目标层A、项目层B和执行层C的层次结构模型,即科研开发类绩效考核指标评价体系表,见表1。

第二步:编制权重评议表,筛选评议专家,构建科研开发类绩效考核评价体系目标层A判断矩阵(A-B)。

判断矩阵表示针对上一层次的某因素,本层次与之相关因素之间相对重要性的两两比较。建立层次结构模型后,需要对每一层次中各因素的相对重要性做出判断。

本研究从专家的权威性、专业性出发,综合考虑专业技术等级、年龄、性别、所属岗位类别等影响因素,筛选本单位7名PI(课题组长)作为函询专家,采用Saaty标度法(见表2),对指标进行两两间重要性程度的逐层评分,构造判断矩阵。由于本研究为回顾性研究,因此应向专家强调打分时须充分回顾Y研究所在2015—2018年的科研发展实际情况。

整理权重评议表后取7位专家给出的对应数值的几何平均数作为每项最终数值,分别得到A-B判断矩阵,结果见表3。

第三步:层次单排序及其一致性检验。

采用算术平均法(求和法)计算各指标的权重向量并进行一致性检验。以目标层A为例。计算过程为:

(1)首先对目标层A向量归一化

(4)将权重向量Wi乘以矩阵A,则有

表2 判断矩阵标度及其含义

表3 科研开发类绩效考核指标评价体系目标层A判断矩阵(A-B)

表4 科研开发类绩效考核指标评价体系组合权重

(5)根据公式求得最大特征根λmax=3.033,n=3。

(6)采用层次单排序一致性指标CI作为判断矩阵一致性的指标,

(7)查随机一致性指标(RI)的数值表,当n=3时,RI=0.58,一致性比率,认为层次单排序通过一致性检验。

第四步:层次总排序及其一致性检验。

使用同样的方法获得层次总排序,确定各要素相对总目标的综合重要程度,科研服务类评价指标体系权重如表4。

按照公式,计算执行层指标层次总排序一致性比率CRB:

CRB若<0.1,则执行层指标总排序的一致性检验通过。

执行层指标论文论著、项目中标数量、项目结题质量、专利、科技奖励、新药临床/注册批件合成矩阵B1,人才、团队项目和学历、职称晋升合成矩阵B2,硕、博士毕业情况为B3。

执行层矩阵对应的项目层权重为:WA1=0.501、WA2=0.363、WA3=0.136;NB1=6、NB2=2、NB3=1。 平 均 随 机 一 致 性 指 标RIB1=1.26、RIB2=0、RIB3=0。然后分别求出各个矩阵的CI值,CIB1=0.024,CIB2=0,CIB3=0。

将上述数值代入CRB公式得到:

2 研究结果

2.1 层次分析法权重及原始权重排序对比结果

按照同样的步骤,可算出科研基础类和服务类绩效考核指标评价体系相应组合权重(均通过一致性检验)。将基于专家咨询法得到的原始权重及层次分析法计算得到的权重分别按数值从大至小排序并进行比较,从而对现行科研绩效考核指标评价体系的合理性进行验证(表5,6,7)。

结果显示两种方法计算的项目层指标权重排序完全一致,但权重值大小存在显著的差异;科研开发类的执行层指标中,“新药临床/注册批件”经专家咨询法得到的原始权重值排名第一,而经层次分析法计算的权重值排第四,该指标排序差异较大;三类岗位执行层指标通过层次分析法计算出的权重值排序未出现并列,而原始权重中执行层指标存在3~4项权重值并列的情况。

2.2 科研绩效考核指标评价体系绩效产出

文章对Y研究所科研绩效改革实施周期结束后的关键绩效考核指标进行了详细统计,结果见表8。

表5 科研开发类绩效考核评价指标体系权重排序对比

表6 科研基础类绩效考核评价指标体系权重排序对比

表7 科研服务类评价指标体系权重排序对比

表8 2015—2017科研工作绩效统计表

表8 (续)

实施科研绩效考核后(2015—2017年),论文发表质量显著提升,发表影响因子5分以上的SCI论文18篇,为实施科研绩效改革前3年的总量的3倍;获得资助的项目总体数量下降;高水平科研成果奖励申报取得突破;新药临床/注册批件数增长3倍;对人才培育、团队建设重要性的认识有所提高。科研成果总较实施前(2012—2014年) 增量显著,各项关键考核指标完成情况基本成正增长的趋势。

3 讨论

项目层指标权重进行排序比较的结果证明Y研究所现行的绩效考核权重体系总体具备客观性,同时结合其在实际运用中取得了显著绩效成果分析,说明其对Y研究所的科技工作发展起到了较好地正向激励作用。对于现行的考核指标体系中执行层指标权重值排序并列、“新药临床/注册批件”等关键指标权重值排序差异较大等问题,是由于现行的科研绩效考核权重体系的确经过一定的主观性调控。现行体系的设计背景为Y研究所初次实施科研绩效考核改革,因此在体系建立之初的确希望通过科研绩效考核有力地打破原有“大锅饭”局面,但又不希望过于激进而引起科研工作者消极怠工,因此采取了温和的改革策略——对可预期的指标给予了较大的权重。这一点有力地证明了层次分析法应用于绩效评价工作具有降低主观干扰、相对客观性提升的优势,但实际工作中除要考虑必要的客观性外,还须要考虑可操作性,否则Y研究所也难以取得较为丰硕的科研成果,因此专家咨询法也具备其独特的优势。

本研究对应用型科研院所科研绩效管理工作者如何设计出既能够排除主观干扰又符合自身实际发展需求的科研绩效考核指标体系具有一定的实践指导意义。应用型科研院所科技管理部门可使用层次分析法得到一套相对客观的关键绩效考核指标重要性的排序表,再邀请权威性及专业性有保障的专家结合本行业国际前沿研究发展方向,切合单位自身业务发展需求,对排序表中各关键绩效考核指标的重要性再进行评估及优化,使科研绩效评价体系的权重比例设置更为切合应用型科研机构科研绩效管理的实际发展需求。

本研究也存在一定的局限性。(1)选取的专家人数有限且均为同一单位人员。如有条件,可适当增加专家人数并扩大选取单位范围,提高代表性。(2)只分析了绩效考核实施后全部类别岗位的总体绩效产出。后续研究可以聚焦于以绩效为导向的管理模式下应用型科研机构中不同性质科研工作岗位绩效产出差异的比较。

猜你喜欢
排序一致性权重
权重望寡:如何化解低地位领导的补偿性辱虐管理行为?*
注重教、学、评一致性 提高一轮复习效率
对历史课堂教、学、评一体化(一致性)的几点探讨
IOl-master 700和Pentacam测量Kappa角一致性分析
作者简介
权重常思“浮名轻”
恐怖排序
节日排序
为党督政勤履职 代民行权重担当
基于事件触发的多智能体输入饱和一致性控制