重庆市科技资源共享平台绩效评估体系

2013-03-22 02:53张文瑾勾鑫晔
中国科技资源导刊 2013年5期
关键词:分中心资源共享指标体系

张文瑾 冯 驰 王 润 洪 梅 勾鑫晔

(重庆生产力促进中心科技资源共享服务中心,重庆 401147)

重庆市科技资源共享平台绩效评估体系

张文瑾 冯 驰 王 润 洪 梅 勾鑫晔

(重庆生产力促进中心科技资源共享服务中心,重庆 401147)

科技资源开放共享的绩效评价在实践中是有待突破和解决的问题。文章首先对重庆市科技资源共享平台的实际运作模式进行分析,指出平台运行的关键在于建立一套有效的科技资源共享绩效评估体系。然后总结平台在探索科技资源共享绩效评估体系建设过程中的实施内容,着重介绍绩效评估体系具体指标的设计,并以2012年实际运行情况为例,分析其在实践过程中的实际效果。最后指出目前平台绩效评估体系存在的主要问题,提出平台建设的建议与今后努力的方向。

科技资源;科技资源共享;共享平台;绩效评估;指标体系;重庆

1 引言

2004年,重庆市启动了科技资源共享平台建设,先后建成了大型科学仪器资源共享平台和科技文献资源共享平台。重庆建设科技资源共享平台在总体上遵循“整合资源、创新机制、服务发展”的指导思路。

经多年的建设,打下较为坚实的基础,取得了一定的成效。截至2013年7月,平台累计注册用户数达18843个,传递文献74346余篇;仪器共享检测机时达到503万小时,检测项目780万个,服务企业13170家。仪器设备共享数从2004年的625台,增加到目前的2128台,仪器利用率从2004年的不足25%提高到目前的48%左右(按全年1400小时计算)。

重庆科技资源共享平台建设之初,重视顶层设计、规划先行,在运行机制上大胆探索,勇于创新。平台首先理顺科技资源共享参与各方的责权关系,明确管理方、资源拥有方、资源服务方、资源需求方等4个方面的角色定位。管理方负责整合资源并搭建服务平台,资源拥有方负责提供资源,资源服务方为需求方提供资源共享服务,需求方通过服务平台获取科技资源及相关服务。

在图1中,由市科委、市财政局、市教委、市物价局及相关单位组成了科技资源共享管理委员会(简称“管委会”)。管委会下设专家委员会和管委会办公室。管委会办公室职能由市科委条财处承担,下设科技资源共享服务中心,依托重庆生产力促进中心建设。科技资源共享服务中心主要职能是联系资源分中心和区县服务分中心。现有资源分中心20家,其中包括12家仪器资源分中心和8家文献资源分中心,区县服务分中心10家,成立了重庆市分析测试学会及9个专委会,形成了“1+30+9”的核心服务网络。此外,还有100多家仪器协作共用单位也参与到重庆科技资源共享体系作为重要补充。资源分中心既是资源拥有方也是服务方;资源共享服务分中心和区县服务分中心作为服务方主要职能是搭建服务窗口,作为沟通的桥梁,既联系资源分中心,也联系需求方(用户)。

为了调动参与各方的积极性,平台针对资源分中心实施了“以奖代补”的激励机制。通过对12家仪器资源分中心和8家文献资源分中心每年的共享绩效进行考评。根据考评结果,将分中心分成3个不同等次,针对不同等次给予不同的工作补贴,以此调动参与共享的资源单位的积极性。平台这种运行机制决定了必须要解决一个重要问题,即,如何科学合理地评估资源分中心等参与共享的单位的工作绩效。另外,就平台成立的目的和宗旨而言,如何评估和提高科技资源共享平台的整体绩效也是一个必须要面对的问题,这两个问题都需要通过建立一套有效的科技资源共享绩效评估体系来解决[1]。

本文将探索重庆市科技资源共享平台绩效评估体系的建设,分析其实际效果,提出建议与努力方向。

2 平台绩效评估体系

绩效评估制度的建立将提高科技资源共享的规范性、公正性、科学性以及可操作性,从而保证科技资源共享工作的可持续开展。科技资源共享的绩效评估体系建设包括以下要求:明确科技资源共享建设总体绩效目标,设计好评估指标,事前和事后进行绩效测量和绩效评估,主要由科技资源共享建设执行与管理机构——科技资源共享管理委员会来实现。重点要着手建立相关的法规体系、建设作为绩效考评辅助系统的技术支撑体系、建立相关的绩效考评指标体系[2-5]。

2.1 法规体系

图1 平台组织结构图

重庆市专门制定了《重庆市大型科学仪器资源共享考评激励办法》和《重庆市科技文献考评激励办法》。《考评激励办法》规定了考评范围、考评内容、考评方式、考评程序、奖励原则。制定了详细的考评指标和评分细则,在指标中特别引入了实时监测数据指标,使考评更客观和科学。《考评激励办法》明确了考评周期以年为单位,在考评方式上明确了采取主客观相结合的方式,即组织专家根据绩效评估指标体系对资源分中心的工作绩效进行考评。针对有关单位使用市级财政资金新购置大型科学仪器设备的共享问题,重庆市专门制定了《重庆市新购大型科学仪器设备联合评议管理办法》(试行)。该办法明确规定新购大型科学仪器设备必须要进行必要性、合理性、前瞻性等方面评议,规定用市级财政资金购买的大型科学仪器必须加入科技资源共享平台,该办法对促进全市科学仪器设备资源的合理布局,推动科学仪器设备资源共建、共享机制的建立,促进存量资源和新增资源的系统集成与高效利用发挥了重要作用[6]。另外,与绩效考评有关的法规是《仪器资源共享平台动态服务系统管理暂行办法》。该办法专门为实时监测数据指标系统而制定,在绩效评估方面起到了基础性作用。

2.2 辅助支持体系

重庆市科技资源共享平台涉及12家仪器资源分中心、8家文献资源分中心、10家区县服务分中心以及100多家协作共用单位,上百个机组,几千台仪器,每年考评一次,如果没有先进的技术支撑体系作为辅助系统,要完成如此庞大的绩效考评工作,其难度是可想而知的,甚至是不可能的。这个技术支撑体系包括两个重要部分:一是动态服务系统;二是网络信息服务系统及网络绩效考评系统。

2.2.1 动态采集服务系统

大型仪器动态服务系统包括仪器状态采集盒、数据采集模块和管理模块等软硬件,其主要功能是记录并实时传送大型科学仪器的使用及工作状态,能够为绩效考评提供最重要的一个数据——仪器每年实际使用机时数,是客观评价和奖励大型仪器共享工作的重要依据。同时该系统还能为仪器拥有者管理本单位的仪器设施提供方便和助力,降低仪器运行管理成本。该系统由重庆市科技资源共享管委会委托重庆大学开发,服务系统由重庆大型科学仪器资源共享管委会提供,分中心和协作共用单位免费安装使用。为管理该系统,专门出台了《仪器资源共享平台动态服务系统管理暂行办法》。系统资产归属重庆生产力促进中心,该系统安装原则上是自愿和鼓励。对安装的单位,将根据使用维护情况,并按照《重庆市大型科学仪器资源共享考评激励办法》在考评时给予相应加分,作为评定优秀机组和先进协作共用(入网)单位的重要依据。管委会鼓励支持入网单位安装并利用动态服务系统,加强本单位仪器设施管理,提高管理水平和使用效率。

2.2.2 网络信息服务系统及绩效考评系统

网络信息系统主要包括门户网站及后台支持系统,其主要功能有仪器入网、仪器查询检索、文献检索、文献传递、统计分析等主要功能。文献资源分中心的咨询师通过该系统接受并完成用户的文献传递申请。系统对绩效考证最重要的作用是可以记录及分析资源分中心工作绩效相关的一些数据。通过该系统可以掌握仪器资源分中心的入网仪器总数、每年新增仪器数以及文献资源分中心每年传递文献的总量、传递文献的平均响应时间及用户的满意度等重要信息。网络激励考评系统的主要功能是实现绩效考评流程通过互联网来进行,可以减少考评工作量、节约人力物力,同时提高绩效考评的规范性、透明性和公正性。该系统主要是一个工作流系统,在实际使用中进行了多次改进和升级。在功能设计上,资源分中心通过该系统填报年度考评资料,管委会通过该系统进行审核通过,最后组织考评时,专家通过该系统直接打分并签名,专家组打分完毕后,系统最后会自动算出每个考评单位的最终得分。通过这两个系统的统计分析,管委会可以掌握每一考评年度科技资源共享平台的综合绩效,譬如仪器总体的使用率、平台用户的增加情况及平台文献的传递情况等重要信息。

此外,平台门户网站上还设置了分中心子网站。子网站由分中心工作人员负责维护,其整体维护情况作为年度考评指标纳入考评范围。

2.3 绩效考评指标体系

在绩效考评体系中,评估的重要对象是资源分中心,由于工作性质有较大差异,指标体系需要分成两个组来分别设计,一组是大型科学仪器资源共享服务中心,另一组是科技文献资源共享服务中心。不同的考评类别决定了其适用于不同的考评指标体系。

大型科学仪器资源共享的重要目的和宗旨是为了提高仪器的使用率,减少闲置率,因此入网仪器平均使用机时,测试样品数等就成了重要指标。这直接反映出仪器是否闲置,并且可以知道闲置率有多高。表1是大型科学仪器资源共享分中心考核指标体系设计表,从中可以看出仪器平均使用机时指标占了最大的比重,其中入网仪器总数与本年度新增入网仪器台数一方面能反映入网单位的积极性,另一方面也能反映仪器平台的整体绩效。这两个指标数字大,说明全市仪器的整体共享率有所提高,这两个指标与该单位的整体实力也有关系,实力较强单位具有一定优势。表1中前八项为客观性指标,通过动态采集服务系统和科技资源网络信息系统可以直接获得,后面的为主观性指标,由专家组通过仪器资源分中心所填报资料以及现场汇报情况来打分。另外,特别要强调的是分中心所填报的内容必须要有足够的证明材料[7-9]。

对于科技文献资源共享分中心,其主要任务是为用户传递文献,所以要充分考虑服务量、服务质量和用户满意度等。表2是科技文献资源共享服务分中心考核指标体系设计表,其中文献传递量这个指标占据了50%的权重。表2中前面3个指标的数据可以通过网络信息系统直接得到,属于客观性指标。后面5个指标属于主观性指标,由专家组通过文献资源分中心所填报资料以及现场汇报情况来打分。

3 绩效考评实例分析

3.1 2012年度绩效考评总体情况

2012年度绩效考评对象单位包括12家仪器资源分中心、8家文献资源分中心。考评方式采用分中心事先填报考评材料并到考评现场作交流汇报和专家根据填报材料及汇报情况现场上网打分的形式进行。参与仪器分中心的考评专家有16位,参与文献分中心考评的专家有12位。考评系统会自动去掉每个分中心得分的最高分和最低分,最后算出专家组为每个分中心打分总和的平均值,这个分值就是每个分中心年终考评的最终得分,并以此作为当年奖励的最终依据。

表2 科技文献资源共享服务分中心考核指标体系设计表

考评指标项主要针对仪器指标体系作了适当调整,加强了指标的量化和对外服务的要求,删除了一些和服务不直接相关的指标项,譬如仪器考评指标体系中的“仪器价值”以及经过多年建设,所有单位已经完成的指标项,如“仪器管理”等指标;增加了一些和服务密切相关的指标项,如“对外测试的样品数”、“对外服务总收入”和“创新性管理”等;对和服务有一定关系但不太密切的指标项,如“入网仪器总台数”、“新增入网仪器台数”等调低了权重。

从绝对分值来看,2012年度的考评分值总体低于2011年度的考评分值。其主要原因是,仪器分中心对服务效果的考评及下一年度工作计划等新增指标方面的考评失分较多,而文献分中心,2012年在文献传递方面两极分化的情况较严重,第一名有几千篇,最后一名只有几百篇,这个情况需要引起重视。

从考评指标总体来看,2012年的考评指标体系较为科学合理,但是仪器指标体系评分标准还可以进一步调整,譬如,高校普遍认为对外服务指标分值偏高,科研院所普遍认为发表论文和服务于重点科技项目指标分值偏高。文献考评指标体系也需要在以后根据各方的反馈意见、平台建设的不同阶段以及平台发展等进一步修订。

3.2 绩效考评效果

3.2.1 考评可信度

从仪器资源分中心考评16位专家打分的情况来看,对每个单位,不同专家的分值差异较小,分数标准差小。从文献资源分中心参加考评的12名专家的打分情况来看,每个专家对各单位所打分数基本上都是按照重庆理工大学、西南大学、重庆邮电大学、重庆医科大学、重庆大学、重庆标准化研究院、西南信息有限公司、重庆摩托车(汽车)知识产权信息中心这个顺序排列的,各个专家之间所打分数差异极小,分数标准差小,这说明该指标体系能够有效代表绝大多数专家的意见,具有良好的信度。

3.2.2 考评分值

从考评仪器资源12个分中心的结果来看,重庆出入境检验检疫局、第三军医大学、重庆大学、重庆计量质量检测研究院处于80~90分之间,重庆车辆检测研究院、长安工业集团、重庆交通科研院处于70~80分之间,其他单位都处于50~70分之间。

从考评文献资源8个分中心的结果来看,重庆理工大学于90~100分之间,重庆邮电大学和西南大学处于80~90分之间,重庆大学、重庆医科大学处于60~80分之间,重庆标准化研究院和西南信息有限公司处于50~60分之间,重庆摩托车(汽车)知识产权信息中心在50分以下。

这个结果和我们平时掌握的各资源分中心的工作情况基本吻合,重视科技资源共享工作,同时对外服务活跃、服务较好的单位其考核排名相对较高,说明了该指标体系能够比较客观地反映各单位工作的真实成绩,具有良好的效度。

3.2.3 考评的导向性

指标体系的设计不仅要充分反映工作业绩,而且要能够提供一种明确的信号,告诉各分中心平台期望的发展目标是什么。2012年的考评指标,加强了对外服务、创新性管理(开展的各类培训、宣传推广活动)、服务科研项目、发表论文及下一年度工作计划等几项指标的考评,充分体现了更加注重服务效果的导向。对仪器资源分中心和文献资源分中心在工作上具有明显的指导意义,各单位对以上指标项的加强也比较认同,认为,“十一五”主要任务是建平台,“十二五”主要是用平台,因此服务工作的开展和服务效果的考评应该加强。

从考评整体结果来看,各资源分中心2012年度在服务方面做得不太好,因此在典型服务案例方面比较薄弱,但是通过这次考评,可以促进各单位改进今后的工作。

3.2.4 目标的一致性

大型科学仪器资源共享的主要目标是提高仪器的使用率,扩大大型科技仪器的服务范围。因此仪器平均使用机时(小时)、对外服务时间比例、入网仪器平均完成测试样品数、对外服务总收入是很重要的指标,因此这几个指标权重最大。

科技文献资源共享的主要目标是为科研人员提供更多更好的科技文献支持,因此服务数量和服务质量极其重要。文献传递是分中心服务用户最主要、最直接的方式,也是分中心开展的最重要的工作之一,文献传递的篇数是直接反映该分中心工作量的最重要指标,因此该指标权重最大。“平均响应时间”和“用户评价平均得分”是反映服务质量的重要指标。

另外,“制度建设”、“服务典型案例”和“宣传推广情况”等指标的设置能促进平台服务能力的提升。整个指标体系与我市科技资源共享的根本宗旨和目标是相一致的,具有较好的目标一致性。

3.2.5 可接受性

该指标体系在设计和草拟时,服务中心已与各分中心的相关专家及负责人进行了充分的沟通和讨论,吸收了分中心的意见和建议,在多年的探索实践过程中,根据实际情况进行了调整和完善,该指标体系的考评结果真实反映了各分中心的工作成绩,现有指标体系得到了各相关单位及人员的充分认可,因此指标具有良好的可接受性。

4 结语

(1)重庆科技资源共享平台绩效评估体系通过多年的探索与实践,已基本定型,颇具特色。每年的绩效评估工作基本上实现了程序化、常态化、正规化,近几年的考评工作都顺利完成,达到了预期目的,为平台的有序良性运行提供了有力支撑,为科技资源共享管委会掌握科技资源共享平台的实际绩效提供了重要依据,也为平台的持续发展提示了方向。

(2)绩效评估体系存在指标体系庞杂、操作过程较为繁琐、平台整体绩效评估不够清晰具体等问题。首先,就仪器评估指标体系来看,多达16项指标,有些重要指标譬如对外服务时间、对外测试样品数等实际操作起来比较繁琐,准确度不好把握。其次,就平台整个指标体系而言,不同类别的单位有着不同的指标体系,除了本文重点介绍的仪器和文献评估指标体系外,针对协作共用单位,区县服务分中心等还设计了不同的绩效评估指标体系,平台整个指标体系显得庞大复杂,不仅增加了评估工作量,而且增加了平台的整体绩效评估难度。

(3)平台绩效评估体系建设下一步应注重两个方向。一是提高大型科学仪器绩效评估体系的简洁性和易操作性。借鉴科技文献的网上传递流程模式,在平台门户网站上搭建一个大型科学仪器检测的在线服务工作流,将各资源分中心的仪器检测流程纳入平台网站系统,用户通过平台网站提出检测申请,资源分中心仪器机组通过平台网站受理申请,最后的检测结果通过平台网站返回给用户,通过这种方式不仅方便了用户,同时也能直接准确掌握仪器资源分中心对外实际检测服务的数量和产生的费用,通过新增这两个指标可以代替原有与对外服务相关的5个指标,不仅能够提高指标体系的简洁性,而且操作更简单有效。二是转变平台建设的理念,把市场的认可程度作为一个新的重要指标来直接显示平台的实际运行绩效。

(4)进一步强化绩效评估指标。重庆科技资源共享平台拥有数据量较为庞大的科技资源信息数据库,包括大型科学仪器、科技文献、科学数据、自然科技资源等内容,建议通过专业团队开发数据挖掘工具对这些数据资源进行分析整理,同时对平台用户使用记录进行统计分析,跟踪和了解用户需求,掌握平台资源的具体使用情况,为用户提供精准化服务,实现“开展以用户为核心的资源信息深度挖掘和个性化服务,深化资源二次加工,从而拓宽服务范围”,通过这种深层次加工所产生的增值服务,平台可向用户收取一定的费用,每年收费的多少可以作为一个最清晰具体的指标反映出平台的整体绩效[10-11]。

[1] 丁红雷,梁伟.重庆市科技文献资源共享平台[J].中国科技资源导刊,2012(2):101-104

[2] 卓越.公共部门绩效评估的主体建构[J].中国行政管理,2004(5):17-20.

[3] 丁厚德.科技资源配置评价研究[J].中国科技资源导刊,2010(3):1-5.

[4] 皮晓青,唐守渊,冯驰,等.科技资源开放与共享策略研究[M].重庆:西南师范大学出版社,2009:20-22.

[5] 董诚,赵伟,涂勇.我国科学数据机构共享绩效评估研究[J].中国科技论坛,2007(8):74-78.

[6] 于兆波.论“科技资源共享法”的上位法体系与立法路径[J]. 科技与法律,2007(3):10-14.

[7] 屈宝强.科技文献机构资源共享绩效的评估体系框架研究[J].中国科技论坛,2009(2):8-12.

[8] 许东惠,吕先志,袁伟,等.国家科技基础条件平台运行服务绩效考核指标体系研究[J].中国基础科学,2013 (1):40-43.

[9] 赵伟,张新民,彭洁,等.网络环境下科技资源开放共享评价指标体系的构建[J].中国科技资源导刊,2013 (3):7-13

[10] 郑长江,谢富红,傅为忠.科技资源共享的效益提升路径设计[J].科技进度与对策,2008(15):7-11.

[11] 科技部国家平台中心.“十二五”国家科技基础条件平台发展规划[R]. 2011.

Eff ciency Evaluation System for Chongqing Science & Technology Resource Sharing Platform

Zhang Wenjin, Feng Chi, Wang Run, Hong Mei, Gou Xinye
(Science & Technology Resource Sharing Service Center, Chongqing Productivity Council, Chongqing 401147)

The efficiency evaluation of the S&T resource sharing platform in practice should await breakthrough and solving problems. This paper analyzes firstly practice operation of Chongqing S&T resource sharing platform, pointes out which establish a set of the ef ciency evaluation system of S&T resource sharing. Afterward it summarize actualization contents in constructing course for exploring The efficiency evaluation system of the S & T resource sharing in platform, primary introduce the particular target plan of the ef ciency evaluation system in it , for example of factual operation of 2012 year, and analyzes factual efect in it. This paper lastly point now mostly problems the platform ef ciency evaluation system, and raises instance of platform construction and the efort direction.

S&T esources, S&T resource sharing, operation mode, resource branch center, efficiency evaluation, evaluation indicators system, Chongqing

G203

:ADOI:10.3772/j.issn.1674-1544.2013.05.003

张文瑾(1975- ),男,重庆生产力促进中心科技资源共享服务中心助理研究员,硕士,研究方向:科技哲学、科技政策、科技资源共享。

2013年7月12日。

猜你喜欢
分中心资源共享指标体系
2022城市商业魅力指标体系
交通运输数据资源共享交换体系探究与实现
福建省交通运输信息资源共享平台
人力资源共享服务模式研究
网络空间攻防对联合作战体系支援度评估指标体系构建
针对大数据背景下工程造价信息的资源共享
国家测绘地理信息局卫星测绘应用中心河南分中心
层次分析法在生态系统健康评价指标体系中的应用
供给侧改革指标体系初探
高速公路监控分中心网络配置探析