基于ANP的科技计划项目绩效评价方法*

杜元伟 王素素 杨 宁

(中国海洋大学 管理学院，山东 青岛 266100)

基于ANP的科技计划项目绩效评价方法*

杜元伟 王素素 杨 宁

(中国海洋大学 管理学院，山东 青岛 266100)

为了解决科技计划项目绩效评价在指标体系上尚未形成统一规范、在评价方法上尚未考虑指标之间作用关系对绩效评价结果影响的问题，首先从项目执行情况、项目取得成果、成果转化应用、人才培养情况、应用前景情况等方面构建了科技计划项目绩效评价指标体系，然后通过分析指标之间的相互作用关系提出了科技计划项目绩效评价的系统分析结构，在此基础上采用网络分析法给出了科技计划项目绩效评价的方法步骤，突破了传统方法要求指标之间相互独立的条件限制。最后应用提出方法对山东省科技计划项目进行案例模拟求解，得到了案例项目的绩效评价排序。

科技计划项目；绩效评价方法；网络分析法；评价指标体系

一、引言

科技计划项目是为解决当前阶段所面临的复杂科学与技术问题，由政府部门制定研究与试验工作计划，个人或单位以项目形式申报承担并在一定时间内完成的科学技术研究开发活动。国家科技部、财政部和发展改革委于2016年联合发布了《科技评估工作规定(试行)办法》，其中明确了对科技计划项目进行绩效评价的重要作用，指出绩效评价能够为科技计划项目的滚动实施、促进科研成果的转化和应用、完善科技管理的追踪问责提供有力依据。对科技计划项目绩效进行评价已成为“十三五”科技体制改革的重要内容。

近年来国内外专家学者围绕着科技计划项目的管理模式、评价方法、信息化等专题进行了大量研究，也获得了颇为丰硕的成果，[1-3]如在管理模式方面提出了知识资本管理模式、全过程管理平台模式、项目生命周期管理等模式；在评价方法方面提出了同行评议、权威决策、行政拍板、层次分析法、目标规划法等定性或定量方法；在管理信息化方面提出了项目管理信息化、专家管理信息化，以及科研成果管理信息化等观点。虽然上述成果对本项研究具有一定的借鉴意义，但是它们更多的是从项目立项和过程控制层面展开的，无论是在评价指标选择方面还是在评价方法构建方面都不能直接应用于解决科技计划项目绩效评价问题。[4]值得庆幸的是，近几年开始有学者注意到科技计划项目的绩效评价问题，并从国家和地方两个层面进行了一定程度的探讨。在国家层面上，万红波、康明玉通过分析国家科技计划项目的特点、对象和内容，从项目投入、过程、产出、效果等方面建立了适用于国家科技计划项目绩效评价的指标体系；[5]杨道建、赵喜仓、陈海波从人员、学术、社会、经济等方面建立了科技计划项目绩效评价指标体系，并指出在评价过程中应注意静态评价与动态评价相结合以及建立有效反馈机制等问题；[6]宋东林、付丙海、唐恒基于全生命周期视角从项目的立项、实施、结题验收、成果转化四个阶段选取指标，建立了开展科技计划项目过程管理的评价指标体系。[7]在地方层面上，王建国、李海波等从应用绩效、研究水平、保障能力等方面探讨了用于评价山东省软科学研究机构运行效率的评价指标体系；[8]高宝森构建了适用于内蒙古自治区的科技计划项目绩效评价指标体系及评价方法；[9]张小菁将地方科技计划项目划分为技术开发类和科技支撑类，并从效益和管理两个方面构建了绩效评价指标体系和评价模型。[10]

不难发现，无论是在国家层面上还是地方层面上，现有研究成果在科技计划项目绩效评价指标方面众说纷纭、尚未形成统一规范，在评价方法上都假设所构建的评价指标之间相互独立、尚未考虑指标之间作用关系对绩效评价结果的影响问题。有鉴于此，本文在提出科技计划项目绩效评价指标体系的基础上，基于网络分析法(Analytic Network Process，ANP)构建了科技计划项目绩效评价方法。

二、科技计划项目绩效评价指标体系

考虑到科技计划项目的绩效评价指标既要全面综合地反映项目整体运行情况，发挥财政宏观调控的导向作用和相关政策的激励作用，又要提升评价指标的可操作性、降低评价成本、提高数据的可获取性。[11-13]正因如此，科技计划项目绩效评价指标的选择要遵循系统性、导向性、可操作性、数据易获性等原则。其中，系统性是指设置的评价指标要从不同视角全面而综合地反映科技计划项目绩效的表现情况；导向性是指评价指标应有利于激励科技计划项目产出与政策导向相符的研究成果；可操作性是指评价指标应简单明了、内涵清晰并易于开展评价，数据易获性是指评价指标能够在一定程度上对项目绩效进行有效的定量评价。[14]遵循上述指标识别原则，在借鉴国内外相关研究成果的基础上，从项目执行情况、项目取得成果、成果转化应用、人才培养情况、应用前景情况进行科技计划项目绩效评价指标体系的设计。其中，项目执行情况评价的是与项目立项时在申请书或任务书中制定的计划相比，项目在结题时对该计划的执行情况；项目取得成果指标评价的是项目中产出的成果的数量、质量等相关情况；成果转化应用指标评价的是项目产出成果的转化及应用情况；人才培养情况评价的是待评项目在对中青年学科带头人、出站博士后、毕业博士，以及毕业硕士的培养方面的贡献情况；应用前景情况评价的是待评项目产出的成果在各个方面做出贡献的程度。在借鉴包括国家自然科学基金、国家社科基金绩效评价等在内的众多国内外相关研究成果的基础上，[15-17]本文构建的科技计划项目绩效评价指标体系具体如表1所示。

表1 科技计划项目绩效评价指标体系

三、考虑指标间作用关系的系统分析结构

科技计划项目的绩效评价指标可以归类为项目执行情况、项目取得成果、成果应用转化等五个层面的指标集，但这些指标集及其所含指标之间并不是完全独立、互不影响的，而是存在着相互影响和相互作用的关系。

项目执行情况下设按计划执行情况与研究目标完成情况两个二级指标，分别评价项目计划的完成度与目标的完成度。显然，获奖情况、论文与专著、中青年学术带头人等其他12个二级指标的预期目标都应在项目计划书中有所体现，所以按计划执行情况与研究目标完成情况对其他12个二级指标都有影响。

项目取得成果下设获奖情况、论文与专著、学术报告三个二级指标，主要评价项目产出的成果、成果获奖，以及因项目参加或举办学术会议而作出学术报告的情况。项目在这三方面取得的成果能够体现项目部分计划与目标的完成情况，也有助于培养人才，扩大成果影响力，促进成果应用转化，提高项目成果在学术、经济、社会等方面的贡献程度。另外，项目获奖情况对作出学术报告具有推动作用，论文与专著的产出作为项目获奖的依据之一会影响项目的获奖情况，学术报告的水平也可能会影响项目获奖情况。

成果转化应用下设专利、标准、软著，技术转让、技术许可，作价投资、经济效益三个二级指标，主要评价项目成果向技术应用和经济效益转化的情况。上述三方面的成果转化应用情况作为项目计划与目标的一部分必然对项目执行情况产生影响，成果转化应用情况的好坏作为项目获奖的依据之一对项目获奖情况也有影响，成果转化应用的程度对项目参与人员的科研能力提出了要求，并决定了项目在经济发展、社会建设方面的贡献程度。另外，专利、标准、软著作为技术或成果的载体影响着技术转让、作价投资等指标，并且对学术研究与发展起到了促进作用。

人才培养情况下设中青年学科带头人、出站博士后与毕业博士、毕业硕士三个二级指标，主要评价项目在人才培养方面的贡献情况。上述三方面的人才作为科技计划项目的具体设计者与实施者，会对项目的各个方面都有影响，特别是中青年学科带头人一般会作为科技计划项目组的负责人，对项目任务的分配、项目成果质量的把关、项目创新性的引导负主要责任，从而对其领导下的博士后、博士、硕士等人才的培养发挥作用。

应用前景情况下设应用于学术研究、应用于经济发展、应用于社会建设三个二级指标，主要评价项目成果在学术、经济、社会等方面作出贡献的程度。项目成果在学术、经济、社会三个方面作出贡献的程度作为项目计划和目标的一部分对项目执行情况存在影响，这些应用前景对项目取得成果和人才培养起到了一定的引导和促进的作用，项目在经济、社会方面的贡献程度对促进成果应用、转化为经济效益也起到了推动作用。另外学术、经济、社会本身是相互作用、相互影响的，所以项目在这三方面作出的贡献也会相互影响。

本文根据上述指标间作用关系构建科技计划项目绩效评价的系统分析结构，具体如图1所示。需要说明的是，图中单向箭头如“A→B”表示A会对B产生影响，弧形箭头表示指标集的内部元素之间可能会相互影响，双向箭头代表其连接的两个指标集之间会相互影响。

图1 系统分析结构图

四、科技计划项目绩效评价方法步骤

对于科技计划项目绩效的评价方法，目前比较具有代表性的是层次分析法、德尔斐法、主成分分析法等，其中影响较大、应用最多的是层次分析法(Analytic Hierarchy Process，AHP)。AHP方法的特点是能够处理社会经济系统用数学模型无法进行精确描述的复杂性问题，可以将复杂问题按照递阶层次结构分解成若干个简单问题，通过计算层次单排序和层次总排序对备选方案的综合表现进行排序。[18]需要注意的是，该方法的使用必须遵从一个基本前提即评价指标之间是相互独立的，倘若评价指标之间并非相互独立而是存在相互影响关系时则不能使用AHP方法进行求解。由前文分析可知，科技计划项目绩效评价指标体系中的各项指标之间存在如图1所示的关联影响关系，显然无法满足指标之间相互独立的假设进而导致AHP方法无法解决本文评价问题。

ANP是Saaty教授于1996年在AHP的基础上提出的一种新的评价方法，能够基于两两比较思想对具有内部依存和反馈效应的复杂结构进行分析，并在充分考虑指标之间作用影响关系的条件下求得元素(指标或方案)的终极权重、作出更加科学的决策。正因如此，本文结合ANP方法在充分考虑指标之间相互作用关系的基础上构建科技计划项目的绩效评价方法。[19-22]具体如下：

步骤1：针对该评价问题构建系统分析结构。将项目执行情况(C1)、项目取得成果(C2)、成果应用转化(C3)、人才培养情况(C4)、应用前景情况(C5)等五项一级指标视为元素集，与上述一级指标对应的二级指标视为各元素集包含的元素，则可以根据前文对指标之间作用关系的分析构建出如图1所示的系统分析结构。

步骤2：根据系统分析结构构造超矩阵。由图1所示的系统分析结构可知，元素集自身内部可能存在依存关系、元素集之间可能存在相互影响关系。按照ANP方法的基本原理，对存在内部依存关系的元素集需要构造内部依存矩阵，对存在影响关系的两个元素集需要构造能够反映二者之间影响关系的影响矩阵。无论是内部依存矩阵还是影响矩阵都需要采用1-9标度并按照两两比较判断矩阵的原理进行构造。

对存在内部依存关系的元素集构造内部依存矩阵。如：项目取得成果(C2)元素集存在内部依存关系，首先分别以c21、c22、c23中的任意一个元素作为控制准则，对受其影响的另外两个元素按照影响程度的相对大小关系构造判断矩阵，然后对判断矩阵进行一致性检验，若一致性检验通过则该矩阵最大特征根对应的归一化特征向量即为在相应控制准则下的权重向量，最后将通过上述过程得到的与c21、c22、c23依次对应的权重向量进行组合即可得到C2元素集的内部依存矩阵W22。

对存在影响关系的两个元素集构造二者之间的影响矩阵。如：项目执行情况(C1)元素集对项目取得成果(C2)元素集有影响，首先分别以隶属于C1的元素c11、c12中任意一个为控制准则，对C2中受相应准则影响的元素c21、c22、c23按照被影响程度的相对大小关系构造判断矩阵，然后对判断矩阵进行一致性检验，若一致性检验通过则该矩阵最大特征根对应的归一化特征向量即为在相应控制准则下的权重向量，最后将通过上述过程得到的与c11、c12依次对应的权重向量进行组合即可得到元素集C1对元素集C2作用后的影响矩阵W21。

按照上述过程，对图1中所有存在内部依存关系的元素集构造内部依存矩阵，对所有存在影响关系的元素集构造彼此之间的影响矩阵，将构造的内部依存矩阵和影响矩阵按照式(1)结构进行组合，便可得到科技计划项目绩效评价的超矩阵W。

(1)

步骤3：确定元素集权重矩阵。首先将Ci(i=1,…,5)作为控制准则，对元素集C1、C2、C3、C4、C5中受其影响的元素集(因内部依存关系可视为元素集自己对自己有影响故应包含在内)，按照影响程度的相对大小关系构造判断矩阵，然后对判断矩阵进行一致性检验，若一致性检验通过则该矩阵最大特征根对应的归一化特征向量即为在相应控制准则下的各个元素集的权重向量，最后将通过上述过程得到的与C1、C2、C3、C4、C5依次对应的权重向量进行组合即可得到元素集权重矩阵B，具体如式(2)所示。

(2)

五、实证分析

山东省科技计划项目包括软科学研究计划、自然科学基金、自主创新及成果转化专项、农业科技成果转化专项、重点研发计划等十余类项目。在各级科技管理机构的共同努力下，目前山东省科技计划项目已经形成了一套比较完善的评价体系和评价方法。如：《山东省软科学研究项目应用绩效评审及后补助办法》从研究的针对性、现实意义、应用前景，成果应用情况，成果出版、发表、引用、转载情况，学术活动、人才培养，获奖情况等五个方面对软科学项目进行绩效评审，规定由3-5位专家按照A(优秀)、B(合格)、C(不合格)三个等级确定软科学项目绩效评价结果。《山东省自主创新及成果转化专项验收意见》强调自主创新项目成果的转化情况，其绩效评价主要从成果形式及水平、获奖情况、研发人数、标志性技术、经济社会效益、知识产权产出、人才与平台建设、产业与区域辐射带动作用、自身能力提升共九个方面进行。《山东省自然科学杰出青年基金管理暂行办法》中规定获资助者结题时需在论文、专著、人才项目、科技获奖方面达到事先设定的目标，绩效评价重点在项目、论文、专著等科研成果方面。《山东省农业良种工程绩效考评办法》则从科研业绩、课题组组织管理、财政资金使用管理共三个方面对农业良种工程项目进行绩效评价，规定课题组绩效得分=科研业绩×50%+组织管理×25%+资金使用×25%，其中的科研业绩采取目标任务与定量打分相结合的方式进行评价。

山东省科技计划项目自实施以来对支撑山东省经济腾飞起到了重要作用，但也在绩效评价过程中暴露出了评价指标不统一、指标权重不合理等问题。为了解决上述问题，山东省科技厅在软科学研究计划申报指南中发布了“山东省科技计划项目绩效评价研究”的重点项目需求，我们有幸申报并获批了此项目。为此，本文以其中的软科学研究计划项目为例，利用本文构建的指标体系和评价方法开展模拟评价。具体过程如下：在项目研究的过程中邀请了四位曾经参与山东省软科学项目评审的同行专家，请他们依据图1所示的系统分析结构，遵循前文方法的步骤2和步骤3在相互研讨的基础上共同构造出超矩阵和元素集权重矩阵。根据他们给出的结果，按照方法步骤4计算了如表2所示的加权超矩阵。利用Super decisions软件对加权超矩阵进行极限求解，得到了如表3所示的能够反映指标之间作用影响关系的最终权重。

表2 加权超矩阵

表3 山东省软科学研究项目绩效评价指标权重

表4 评审专家对待评项目的评分

六、结束语

为了解决科技计划项目绩效评价在指标体系上尚未形成统一规范、在评价方法上尚未考虑指标之间作用关系对绩效评价结果影响的问题，本文首先遵循系统性、导向性、可操作性、数据易获性等原则，在参照相关研究成果的基础上从项目执行情况、项目取得成果、成果转化应用、人才培养情况、应用前景情况等方面构建了科技计划项目绩效评价指标体系，然后通过分析指标之间的相互作用关系提出了科技计划项目绩效评价的系统分析结构，在此基础上采用能够对具有内部依存和反馈效应的复杂结构进行系统评价的ANP方法给出了科技计划项目绩效评价的方法步骤，最后以山东省科技计划项目为例进行案例分析演示了应用方法进行实例评价的具体操作过程。本文的特色之处在于：一是所构建的科技计划项目绩效评价指标体系借鉴了包括国家自然科学基金、国家社科基金绩效评价等在内的众多国内外相关研究成果，能够较为系统全面地反映科技计划项目取得的绩效情况。二是所提出的科技计划项目绩效评价方法突破了传统方法要求指标之间相互独立的条件限制，能够在考虑指标之间相互作用关系的基础上对科技计划项目绩效进行更加科学的评价。需要说明的是，在以山东省科技计划项目为例进行案例分析时由专家分析获取的指标权重仅适用于山东省软科学研究项目，而对于其他类型的科技计划项目可以结合项目类别特征参照本文方法予以确定。

[1] 宋东林, 葛苏行. 我国科技计划项目全生命周期过程管理模式研究[J]. 科学管理研究, 2010，(02):46-49.

[2] 林成刚, 黄春荣, 谢刚, 等. 科技计划项目的定量评价方法优化探讨[J]. 软科学, 2012，(07):52-53.

[3] 蔡桂兰, 陈丽丽. 省级科技计划项目变更信息化管理中遇到问题及对策研究[J]. 科技管理研究, 2016，(22):46-50.

[4] 张晨, 宋佳宁, 任文茜. 省级科技计划项目管理的后评估研究——以安徽为例[J]. 科技管理研究, 2015，(22):172-175.

[5] 万红波, 康明玉. 国家科技计划项目绩效评价指标体系研究[J]. 社会科学管理与评论, 2013，(02):78-82.

[6] 杨道建, 赵喜仓, 陈海波. 科技计划项目绩效评价指标体系的构建[J]. 江苏大学学报(社会科学版), 2007，(02):89-92.

[7] 宋东林, 付丙海, 唐恒. 基于全生命周期的科技计划项目过程管理评价体系构建[J]. 科学管理研究, 2011,29(01):32-36.

[8] 王建国, 李海波, 丁其涛, 等. 中国软科学研究机构评估指标体系构建探讨[J]. 科技管理研究, 2013,33(9):71-75.

[9] 高宝森. 内蒙古自治区财政科技项目支出绩效评价研究[J]. 科学管理研究, 2012，(05):101-104.

[10] 张小菁. 地方科技计划项目绩效评价研究[J]. 科技管理研究, 2010，(21):201-204.

[11] 李寅秋, 孙洪武. 国际先进农业科技引进类项目评价的思考[J]. 科研管理, 2013，(S1):78-83.

[12] 张军果, 任浩, 谢福泉. 项目后评价视角下的财政科技项目绩效评估体系研究[J]. 科学学与科学技术管理, 2007，(02):14-20.

[13] 田时中, 田淑英, 钱海燕. 财政科技支出项目绩效评价指标体系及方法[J]. 科研管理, 2015，(S1):365-370.

[14] 施筱勇, 云杨, 计迟, 等. 科技项目绩效评价指标体系研究[J]. 科技管理研究, 2016，(10):39-43, 49.

[15] 刘华海. 科研项目绩效评价模型和指标体系的构建[J]. 科研管理, 2016，(S1):19-24.

[16] 魏阙, 戴磊. 吉林省区域创新能力评价指标体系研究[J]. 科研管理, 2015，(S1):22-28.

[17] 骆嘉琪, 匡海波. 高校科技创新团队科研资源绩效评价指标体系[J]. 科研管理, 2015，(S1):116-121.

[18] 刘惠萍. 基于网络层次分析法(ANP)的政府绩效评估研究[J]. 科学学与科学技术管理, 2006，(06):111-115.

[19] Chemweno P, Pintelon L, Van Horenbeek A, et al. Development of a risk assessment selection methodology for asset maintenance decision making: An analytic network process (ANP) approach[J]. International Journal of Production Economics, 2015,170, Part B:663-676.

[20] Lee J W, Kim S H. An integrated approach for interdependent information system project selection[J]. International Journal of Project Management, 2001,19(2):111-118.

[21] 杜元伟, 段万春, 孙永河. 基于网络分析法的企业节能减排绩效评价方法[J]. 经济问题探索, 2012，(01):175-179.

[22] 田波, 李春好, 孙永河. 网络分析法在选择企业创新合作成员中的应用[J]. 情报科学, 2008，(08):1257-1260.

责任编辑：王明舜

Performance Evaluation Method of Science and Technology Plan Project Based on ANP

Du Yuanwei Wang Susu Yang Ning

(College of Management, Ocean University of China, Qingdao 266100, China)

There are two kinds of problems that a unified evaluation index system hasn't been formed and the effect on performance evaluation results by the relationship among indicators hasn't been considered in current performance evaluation method of the science and technology (S&T) plan project. In order to solve the abovementioned problems, the principles such as systematization, orientation, operability and data availability are used to construct the performance evaluation index system from the aspects of implementation, achievement, result transformation and application, talents cultivation, application prospect. Then, a system analysis structure for evaluating performances of S&T plan project is put forward by analyzing the interaction among indicators, based on which the steps of the performance evaluation method are given by using analytic network process. Finally, a case study of S&T plan project in Shandong province is taken as an example to detailedly demonstrate the operation procedure of the application method, and the performance ranking of case projects is obtained.

Science and technology plan project; performance evaluation method; analytic network process; evaluation index system

2017-05-10

国家自然科学基金项目“大规模协作模式下产品动态连续创新决策方法：基于大数据驱动视角”(71462022)；山东省软科学研究计划重点项目“山东省科技计划项目绩效评价研究”(2016RZE29001)；中央高校基本科研业务费专项“透明海洋驱动下海洋管理模式与评价方法研究”(201762026)

杜元伟(1981- )，男，吉林白山人, 中国海洋大学管理学院教授，博士生导师，主要从事海洋管理、决策分析等研究。

G311

A

1672-335X(2017)04-0027-07