科技项目评估中主要风险点调查与控制策略

■文/曹静 蔡志刚（北京市科学技术研究院创新发展战略研究所）

当前，我国科技创新正处于爬坡过坎的关键时期，随着国际科技竞争形势越来越严峻复杂，国家及各省市“十四五”规划中都持续增加研发投入，不断加大重大科技项目的部署力度，这对科技项目评估的需求与评估质量也提出了更高要求。为提高科技项目评估的科学化和专业化水平，避免或降低科技项目评估实际操作中的各类风险，课题组结合开展北京全国科技创新中心建设重点项目绩效评估的实践，采取专家调研访谈和问卷调查方式，重点针对科技项目评估中的信息采集、专家遴选两个关键环节，对可能涉及到的主要风险点进行梳理，对其风险程度进行了量化调查分析，并提出了如何降低或避免风险的对策建议，这对更好地开展科技项目评估和科学决策有很好的政策价值。

一、科技项目评估风险的突出特征

科技项目评估是贯穿科技项目实施全过程的重要组成部分，无论立项评估、中期评估，还是绩效评估，都是优化和引导科技创新资源配置的重要政策工具。在评估操作中信息采集、专家遴选、评估方法等都会受各种主客观风险因素的影响，进而直接决定了评估结果的客观性和准确性，使得科技项目评估产生偏差，严重影响科技项目的实施推广与资源配置，这就是科技项目评估的风险。由于对某一领域技术发展水平、技术成熟度、项目成果价值、社会经济效益等内容进行评价的专业性很强，因此科技项目评估全过程中的风险往往存在如下突出特征。

（一）普遍性

科技项目评估过程中多种因素共同作用往往导致评估中风险的形成，在项目实施过程的立项、进展、绩效等任何一个过程中，信息采集的内容、渠道、对象和咨询专家的水平、评估时间等诸多因素都会影响评估结论。同时，科技项目评估的利益相关方对评估内容的理解不同也会产生风险，因此评估前的培训、充足的评估时间、评估监督等就非常重要，可以说科技项目评估中的风险具有普遍性和无处不在的特征。

（二）潜在性

科技项目评估的风险一般不易发现，通常需要经过验证才会体现出来，如果没有验证出来，那么由此造成的实际损失就显现不出来，往往是评估完成了，决策执行了，评估过程没有考虑到的因素导致的问题也出现了。因此，科技项目评估的风险是一种可能的风险，具有潜在性。它造成的某种损失也有一个显现的过程，这一过程的长短与社会公众对评估风险的认知程度、评估工作所处的环境以及科技项目评估风险的内容、性质紧密相关。

（三）可控性

科技项目评估是一项系统性的研究工作，虽然科技项目评估过程中的风险不可完全避免，但是如果掌握了科技项目评估中风险产生的规律、可能出现的环节、影响因素等（姜莉，2019），评估人员可以采取有效措施比如完善信息采集渠道、评估前开展专家培训、建立专家遴选和退出机制等措施进行防范和降低风险，将风险控制在较低或能被接受的水平。因此，科技项目评估中的风险是可以控制的。

二、科技项目评估中的风险点调查分析

科技项目评估的过程是评估信息的收集、传递、交流、分析和运用的过程，从科技项目评估的工作形态上来看，包括信息采集、专家遴选、选择评估方法、专家咨询、形成结论、编写报告等环节。其中信息采集和专家遴选是评估工作开始面临的首要环节，信息采集的准确和完整程度、遴选的专家与评估任务的匹配程度直接影响评估结果的客观公正，是科技项目评估的基础，也是关键的环节。本部分通过案例分析、文献研究和走访调研，重点针对信息采集和专家遴选中可能涉及到的风险点进行梳理，形成风险点清单，再结合调查问卷研究对各个风险点的风险程度进行逐一判断评价。

（一）项目评估工作中可能存在的主要风险点

结合课题组对北京全国科技创新中心建设重点项目的评估实践，我们发现：由于评估组的信息采集一般来源于委托方、被委托方和公开渠道等，因此信息来源渠道是否可靠和可信、采集内容准确与否，以及专家专业背景、对专家的监督与评价机制等都是风险点所在。

例如，在信息采集渠道方面，评估组除通过秘书处与“七办”（“一处七办”是北京国际科技创新中心的组织架构。“一处”指北京国际科技创新中心秘书处，设在北京市科委；“七办”指七个专项办公室：重大科技计划专项办、中关村科学城专项办、怀柔科学城专项办、未来科学城专项办、创新型产业集群与制造业高质量发展专项办、全面创新改革与中关村先行先试专项办、科技人才专项办）顺畅沟通外，还可以重点选取部分项目承担单位参加访谈，拓宽信息采集的渠道和范围。在信息采集内容方面，除了被评估对象提供的信息，还增加了公开信息的搜集和问卷调查，从而为评估提供尽可能全面的证据。此外，为保证采集信息的准确性，如有些信息佐证材料不全，核验也比较困难，就需要与项目单位多次沟通。在专家遴选方面，评估组发现在从专家库里遴选战略研究专家和部分专业领域专家时，往往存在专家库信息更新不及时、部分专业领域专家缺乏等问题，另外专家对科技项目评估的认识不一，一些专业领域专家对评估工作不太了解，需要进行评估前培训和熟悉材料，这对专家判断很关键。

为此，通过对评估机构专家调研访谈，结合对国家科技项目评审和管理办法等相关文献研究，重点针对信息采集和专家遴选两大环节，共识别出十大风险点清单（见表1）。为方便记录分析，对十大风险点进行了F1-F10编码。

表1 信息采集和专家遴选的风险点清单

（二）十大风险点的风险程度调查分析

为对信息采集和专家遴选环节中10个主要风险点的风险程度进行判断，课题组通过问卷调查的方法，重点面向国家和地方层面的评估机构、科技项目承担单位的多位咨询专家，定向发放调查问卷，共收回有效问卷63份。

同时，采用半定量的方式（朱军，2020）进行风险程度的等级设置，分别对严重性程度、发生的可能性和对评估结果的影响用1～5整数分为5个等级，1～2级为低风险，3级为中风险，4～5级为高风险。经调查统计得到最终风险程度等级（见表2）。

表2 信息采集和专家遴选的风险程度评价

可以看出：一是专家普遍认为被调查的所有风险点都为中风险或高风险。说明识别出的风险点在科技项目评估中比较重要，应该对这些风险点采取应对措施来进行控制。而且从严重程度来看，全部分布在信息采集环节，具体为信息采集内容设计不全面、信息采集渠道不准确、信息采集对象不准确、对采集的信息核验困难等4个高风险点。二是从发生的可能性来看，有3个风险点发生的可能性较高，分别为信息采集渠道不准确、信息采集对象不准确、缺乏对专家的监督和评价机制。而其他风险点的发生可能性为中等。三是从对评估结果的影响来看，有7个风险点为高风险，仅有3个风险点为中风险，说明这十大风险点中绝大部分对评估结果的影响较大，需要格外进行关注。

通过以上分析，科技项目评估中信息采集和专家遴选中的十个风险点确实需要关注，因此对风险点提出控制措施，将有利于提高科技项目评估的质量。

（三）控制评估风险的主要举措调查分析

信息采集准备：信息采集前，需要依据被评估对象的特点，研究信息采集内容、采集准确性和采集方式等问题。包括研究设计评估指标和关键评估问题，以及人力、经费、时间等评估资源；同时为确保评估信息的完整性，需确定评估信息材料是否涵盖了评估调研材料、历史材料、项目相关发展分析材料等，以保证材料齐全，不能随意减少和遗漏相关信息，尤其是重要信息，以免影响决策。调查显示，针对“信息采集内容设计不全面”，有77.78%的专家认为需研究被评估对象，74.6%的专家认为需重视采集方式，60.32%的专家认为需研究信息涵盖的内容（见表3）。

表3 信息采集前需要准备的工作

信息采集渠道：一般来说，原始信息采集渠道以被评估对象提供信息为主，评估机构可充分利用自评调查表，并结合由被评估方提供的自评报告作为获取评估信息的主要渠道。如针对“信息采集渠道和采集对象不准确”的调查显示，93.65%的专家认为信息采集主要渠道是被评估对象提供，这可以充分保障信息采集渠道的准确性。常用的信息采集方式包括案卷研究、座谈会、实地调研、问卷调查和案例研究等，每个信息采集方式各自有优缺点，要根据评估对象的实际情况，选择多种方式确保信息的全面客观。

同时，为保证评估的客观性，还可借助现代化信息技术，从可信的官方网站、微信公众号等渠道，多角度采集与被评估对象相关的网络信息，以补充和佐证原始信息。如跟踪收集公开发布的科技项目的进展情况素材、各种媒体公开报道及相关资料等。

信息采集的质量：评估信息的质量对评估可信度影响很大，必须对采集的各类信息进行真实性、有效性和准确性的检验。针对“对采集的信息缺乏核验”“信息缺乏标准化形式，难以编录和分析”，调查中有71.43%的专家认为需要通过实地调研的方法对信息证明材料进行核查、对信息进行分类核对。因此，需要采取严格的技术手段，充分核验评估信息。如评估科技项目的绩效，采用对比分析的方法检验该项目绩效与目标数据的关系，可要求项目承担单位填报数据采集表，并提供支持凭证，便于评估人员对所有数据核验支持凭证。对数据采集表中填写不完整的部分，增加实地考察环节或答辩环节，由专家现场提问，核验评估信息；对没有标准格式难以编录的信息要进行标注，进行词频和观点分析，为评估提供支撑。

专家遴选方案：在科技项目评估中的专家遴选环节，筛选评估专家是第一步，专家遴选方案内容主要包括专家来源、专家数量、专家结构等要素。合理的专家数量应该根据评估类型、评估对象性质、目的不同来确定，同时按照专家的年龄、学科、性别、地域、知识等特点组成结构、层次合理的专家队伍。根据对专家遴选渠道的调查，92.06%的专家认为通过专家库遴选专家是主要来源（见表4）。

表4 专家遴选的渠道情况

三、对控制科技项目评估风险的对策建议

（一）构建标准化的科技项目评估体系

科技项目评估的核心目的是将真实、客观的高质量评估结论交付委托方，进而在评估主体和管理部门等各利益主体间建立责任机制，达到有利于调整科技计划、研究方向和优化配置资源的目标。因此，建议按照国家《科技评估通则》（2021年12月1日实施），加快科技项目评估的标准化建设，为北京国际科技创新中心建设等重点项目的评估提供参考。一是规范科技项目评估的程序，按照一定的原则和标准对科技项目进行专业化评价，完善评估程序中的各个环节，降低评估工作中的风险。二是明确评估主体、客体和第三方等相关部门的职责，以标准来优化第三方评估机构的评估工作，引导评估机构建立科技项目评估的基本信息标准档案，对评估运行状况进行记录和信息数据化，运用标准化机制约束评估。三是完善符合国际惯例的“同行专家评议”制度，根据评估对象和评估内容，优化评估方法体系，结合定量评估方法手段，弥补定性评估方法中主观判断较强的不足。

（二）建立信息采集、评估反馈等多方协作的评估机制

科技项目评估工作的系统性很强，需要利益相关各方密切合作，针对实际操作中普遍存在的“信息采集内容不全面、不准确”“信息核验困难”等诸多风险和对评估结果的准确性产生较大影响的情况，就需要评估方、被评估方、管理部门等多方协作才能保证项目评估的高质量完成，才能在顺畅沟通中采集到准确可信的评估信息，便于通过整理分析核查，检验采集信息的质量。同时，与知识产权、财税经济等相关部门协作，借助信息技术等客观评估方法等来保证评估结果的客观性和科学性。探索拓宽评估信息采集的范围和渠道，尝试引入爱思唯尔、科睿唯安等公司的数据库，对重点项目的成效进行国际竞争力等对比评估，获得更丰富的评估依据。

（三）建立专家遴选、使用和监督评价机制

一是建立专家库动态信息更新机制。针对“评估机构未建立专家库、专家信息不健全”等高风险情况，加快建立包括北京本地、国内顶级和国外知名专家在内的专家库，实现战略专家和领域技术专家分类，以开放视野开展国际科技创新中心重点项目的评估。根据形势需求和项目特点，及时更新、细化专家库，确保评估机构专家库能实现专家分类、信息更新、智能抽取等功能。二是建立专家监督、轮换等机制。结合专家信誉度评价和回避制度，加强对评估专家参加项目评估工作的业绩进行监督，建立评估专家的进入与退出机制，对参加项目评估的转件实行轮换机制，如采取参加国际科技创新中心评估的专家进行定期轮换，签署专家诚信承诺书等措施，提高评估的公平公正。三是建立对专家的专业化培训机制。针对“缺乏对专家的评估培训”和“给专家安排的评估准备时间太短”的情况，对专家进行评估专业知识培训，确保专家熟悉评估工作的程序和规则，了解和掌握评估方法和要求，合理安排评估时间进度、工作量，确保专家能够充分熟悉评估材料，顺利开展评估工作。