韩国技术水平评估方法分析及启示

叶 京，冷伏海

（中国科学院科技战略咨询研究院，北京 100190）

1 研究背景

技术水平评估是对当前技术能力水平进行评估，是国家科学技术规划中的一项重要基础性工作［1］。技术创新是提升国家竞争力的重要手段，世界各国为了在激烈的全球研发竞争中占据优势，通过制定中长期目标、决定投资优先顺序等战略，以确保自身的技术竞争力。随着研究开发过程中产生的不确定性日益增加，制定科学技术中长期战略及投入优先顺序的重要性也随之提高，而这些技术发展战略和投入规划的制定，离不开技术水平评估（technology level evaluation）为之提供系统客观的基础资料，从而在有限的经费投入中创造出有效的技术研发成果。

国家技术水平评估，首先不同于国家间综合性或整体领域（如能源领域）的科技竞争力评估和创新能力测度，如世界知识产权组织（WIPO）发布的《2020 年全球创新指数（GII）》（以下简称《GII 2020》）报告、中国科技发展战略研究院2017 年发布的《国家创新指数报告2016—2017》，国家间综合性创新能力测度调查的对象数量偏多，如《GII 2020》分析了131 个经济体、欧洲创新指数以28 个国家为对象、我国的国家创新指数调查了40 多个国家，而国家技术水平评估则是针对某一重要技术方向进行少数定标比超国家间的分析评估；第二，在评估方法上，不论是利用专利/论文等客观数据设计定量指标进行比较分析评估，还是通过现场访谈调研或文献资料调研进行比较分析，国家技术水平评估均采用相对程度比较的方法，而不是绝对的得分或鉴定；第三，国家技术水平评估方法的一个新趋势是，针对具体特定前瞻技术方向进行国家间研发水平研判，逐渐重视定性分析，这是因为相对于传统定量分析方法，定性分析有利于处理复杂性因果关系问题［2］。

在已开展技术水平评估的国家中，如日本科学技术振兴机构（JST）通过专家问卷调查，对美、欧、中、日、韩等国家和地区的大、中、小分类技术进行比较，得出上升/持平/下降趋势的评估结果；我国科技部开展的国家技术预测调查中，仅设计了“与领先国家的技术差距”这1 个一级指标，下设“我国领先”、“同等水平”、“落后5 年”和“落后6 年～10 年”等4 个二级指标［3］，较难比较出与世界领先技术水平的精确差距；由于对技术发展水平这类比较复杂的评估对象很难用确切数据来反映，因此韩国评估一个国家的技术水平，是通过与世界最高水平国家技术比较的一种相对评估，针对技术持有方在确定的技术方向上的发展程度和时间差距及其原因进行定性或定量的比较分析评估，在评估方法上采取结合专家判断的定性分析，通过专家德尔菲调查得出主要竞争国家技术水平和技术差距（单位为“年”）的评估结果，准确把握技术所处的水平位置（technology level），并用以与其他国家进行比较的技术差距的年度值精确到小数点后一位。

综上，梳理韩国主要机构开展技术水平评估的概况及特征，了解其代表性评估机构——韩国科学技术评价院开展技术水平评估的历程，基于韩国2018 年技术水平评估工作的实施体系、流程以及评估方法的完善，从纵向、横向两方面考察韩国技术水平评估的实施情况，从评估方法完善视角分析总结韩国技术水平评估方法的实施经验，挖掘值得我国借鉴之处，以期推动我国技术发展政策与战略的制定以及科技事业的可持续发展。

2 韩国技术水平评估实施概况及特征

不同机构实施技术水平评估采取的评估方法多种多样，韩国各机构开展的技术水平评估包括定期评估或周期性评估，以及间歇性按需评估［4］。

2.1 技术水平评估实施概况

2015—2018 年间，韩国国防技术品质院（DTaQ）、农林水产食品技术评价院（IPET）、信息通信评价院（IITP）、产业技术评价管理院（KEIT）、食品安全信息院（NFSI）、保健产业振兴院（KHIDI）、海洋科学技术振兴院（KIMST）、海洋政策学会（KSOP）、国土交通科学技术振兴院（KAIA）、科学技术信息研究院（KISTI）等10 家机构，按照其各自技术领域发展规划需要，在国防科学技术、农林水产食品技术、信息与通信技术（ICT）、产业技术、海洋科学技术等领域实施了技术水平评估（见表1）［5］。

表1 韩国主要机构开展技术水平评估概况

表1 （续）

2.2 技术水平评估实施特征

2015—2018 年间，韩国各机构实施的技术水平评估，在评估目的、评估对象、评估内容和评估方法上存在共性特征：

（1）评估目的。一是为提升国家技术竞争力制定各领域技术的中长期研发计划，对各领域核心技术进行评估；二是通过了解韩国与主要竞争国家的技术水平差距，制定有针对性的研发战略；三是为制定国家中长期研发战略和投入优先顺序提供依据。

（2）评估对象。评估对象主要为美国、欧盟、中国、日本、韩国等5 个国家和地区，部分机构根据评估对象技术特征增加相应的技术领先国家，如国防技术品质院以美国、法国、俄罗斯、日本、英国、中国等23 个主要激光技术发达国家为对象进行评估；农林水产食品技术评价院的评价对象增加了德国、荷兰、法国、英国、澳大利亚等国家；科学技术信息研究院的评价对象则增加了澳大利亚、印度、加拿大、巴西、俄罗斯等国家。

（3）评估内容。评估的内容一般包括技术水平、技术差距及原因、最高水平技术持有国家/机构、提升技术水平的建议或追赶方案、技术重要程度（重要程度、紧迫性、影响效果）、论文专利数量与影响力指数等重要指标、投入比例（政府与民间、各技术阶段）、政府政策等。

（4）评估方法。大部分机构采用德尔菲法，评估结果产出为相较最高水平技术持有国家的技术水平和技术差距，上述10 家机构均提供技术开发水平、技术重要程度、提升技术水平的建议等补充内容；此外，实施定量评估采用论文/专利分析方法，提供各项技术的论文/专利水平（数量及影响力指数等）。

3 韩国技术水平评估实施机构典型分析

韩国科学技术评价院（KISTEP）成立于2001 年，是国家级的科技规划支撑机构。KISTEP 依据韩国《科学技术基本法》第十四条第二款，即政府为促进科学技术的发展，应当对国家重要核心技术水平进行评估，并制定和推进有关技术水平的提高措施，和《科学技术基本法施行令》第二十四条（技术水平评估）第二项，即科学技术信息通信部长官应根据法律第十四条第二款与有关中央行政机构的长官协商，每两年实施所管领域的技术水平评估，并将结果向国家科技咨询会议报告，对韩国与美国、欧盟、日本、中国等主要竞争对象进行技术水平和技术差距综合分析，掌握本国重点技术现状和发展趋势、监测科技政策的成果，主要采用论文/专利分析的定量评估与德尔菲法的定性评估结合；并在每两次评估中期的间隔年份，会定期进行技术水平评估方法改进研究，根据研究结果完善评估方法，以提升下一次技术水平评估结果的可信度。尽管韩国国内的政府其他机构基本都采取类似KISTEP 的评估体系和方法，但其开展的技术评估与KISTEP 的主要区别在于，KISTEP 开展技术水平评估工作更为规范化和体系化，以及评估的技术领域范围更为全面，可以从国家层面发挥决策咨询作用。因此，本研究以KISTEP作为典型案例进行介绍和分析。

如表2 所示，KISTEP 以韩国战略技术为对象，从1999 年至2018 年共进行了9 次技术水平评估，从1999 年至2016 年共开展了8 次大规模专家德尔菲调查，尤其是2008 年以后的技术水平评估工作更侧重于依据《科学技术基本法》，并与政府在不同时期推进的科学技术基本计划相结合［5］。其中，2008 和2010 年分别对《第2 次科学技术基本计划（2008—2012 年）》中的90 项重点科学技术进行了两次技术水平评估；2012、2014 和2016 年分别对《第3 次科学技术基本计划（2013—2017）》中的120 项国家战略技术进行了3 次技术水平评估。

表2 韩国科学技术评价院的技术水平评估实施历程

表2 （续）

2008 年度对90 项重点科学技术的技术水平评估，是针对韩国《第2 次科学技术基本计划（2008—2012 年）》中的90 项重点科学技术和364 项具体技术进行的技术水平评估，包括信息电子通信、生物、机械制造工艺等10 个技术领域。评估采用技术增长模型，对当前与5 年后的技术水平进行预测和动态评估，通过论文/专利分析的定量评估和德尔菲法的定性评估，完善此前仅有主观评估的方法。评估内容包括评价对象的技术水平与技术开发所需时间、技术水平达成主要因素、技术获得与追赶和改进方案、核心技术水平提升与技术能力提高的建议以及技术开发的阻碍因素与对策建议等。

2010 年度的技术水平评估对象包括共11 个大领域的95 项重点科学技术和369 项具体技术。评估方法以德尔菲法调查结果为中心，利用技术增长模型并行分析论文和专利。评估内容主要针对美国、日本、欧盟、中国和韩国5 个国家和地区间的技术水平与差距比较、技术动向调查和论文/专利被引用等；此外，首次对韩国国家重点科学技术实施时间序列（2008—2010 年）的技术水平评估，以及在中间阶段检验政府的科学技术政策成效。

2012 年度的技术水平评估中，对2010 年的评估方法进行了改进（见表3）［6］，引入划分研发阶段（基础研究、应用研究、开发研究）和研究主题（产、学、研）的分析方法，并引入专家对德尔菲调查和论文/专利调查结果进行综合讨论分析；此外，参与德尔菲调查的专家由相关技术领域学会、协会、研究所和大学推荐，使专家的代表性和专业性得到提升。

表3 韩国科学技术评价院的技术水平评估改善方向

4 韩国技术水平评估方法典型分析

韩国科学技术评价院［7］于2019 年4 月发布的《2018 年韩国技术水平评估》，是韩国近期最新开展的一次技术水平评估（以下简称“2018 评估”）的报告。2018 评估对以往的技术水平评估方法进行了改进，评估对象为韩国《第4 次科学技术基本计划（2018—2022）》中的重点科学技术，这些技术对韩国的社会经济和科学技术有较高贡献度，包括建设交通、灾难安全、航空航天海洋、国防、机械制造、材料纳米、农林水产食品、生命保健医疗、能源资源、环境气象、信息通信技术和软件等11 个领域120 项重点科学技术，以及分析韩国在这些技术领域上与美国、欧盟、日本、中国的技术差距；此外，从技术趋势、技术发展程度、技术间的相似重复等方面考虑，调整韩国现有国家战略技术的技术名称、技术范围等，新增加了人工智能、智能家庭、智慧城市、3D 打印、大气污染应对等12 项技术。

4.1 评估实施体系和流程

2018 评估的实施体系（见图1）由运营委员会、评估委员、综合支撑小组构成。其中，运营委员会由科技领域相关产学研代表及理事组成，负责对技术水平评估计划、现状与结果进行讨论调整；评估委员由11 个领域120 项重点技术的1 200 名专家组成，每项技术各对应10 名专家，负责评估韩国与其他主要评估对象的重点技术水平与差距，以及参加对论文、专利分析结果的讨论；综合支撑小组由KISTEP 技术预测中心人员组成，负责核心专家的选定联络、德尔菲调查的设计和结果分析等工作。

图1 韩国科学技术评价院技术水平评估实施体系

2018评估从2018 年2 月至2019 年2 月经过1年时间，共进行了8 个实施阶段，具体实施流程为（见图2）：开展论文/专利分析；成立技术水平评估运营委员会；专家相互推荐，并确定定量分析内容；论文/专利趋势分析和指标分析，两次专家德尔菲调查分析，定性与定量分析结果最终分析；运营委员会讨论并确定最终评估结果，提交国家科学技术咨询会议审议。

图2 韩国科学技术评价院技术水平评估实施流程

4.2 评估方法改进内容

为提高技术水平评估结果的可信度和有效度，2018 评估通过完善德尔菲调查方式和论文/专利等定量分析法，以及完善评估专家遴选方法和评估指标等方面，使评估方法更客观，相比2016 年KISTEP开展技术水平评估的方法有所改进（见表4）。

表4 韩国科学技术评价院技术水平评估方法的改进

一是在加强数据定量分析的同时改进专家定性评估方式，确保评估结果的客观性和专业性。技术水平评估方法一般包括定性方法和定量方法。定性方法是基于专家知识的主观评估方法，包括头脑风暴、德尔菲法、访谈、问卷调查、焦点团体访谈（focus group interview）等；定量方法是基于大量数据的客观分析方法，包括论文/专利信息分析法、评分模型（scoring model）、层次分析法（analytic hierarchy process）、技术成熟度（technology readiness level）、专利指标应用、技术增长模型等。2018 评估参考了KISTEP 对2017 年技术水平评估方法改进方案的研究结果，加强定量分析和定性评估结合，促进德尔菲调查研究的完善，增加技术水平评估结果的利用度和可信度。

二是加强运用定量分析方法。为满足数据分析要求，2018 评估替换了依赖固定专家评估的技术动向报告，在现有的论文/专利分析指标中增加了多种分析指标（见表5），如IP4 占有率，是指不同于同族专利，用于分析在主要国家市场以外的影响力；将专利数据范围从美国专利局扩大到韩中日欧美五局（见表6）；新增不仅能用于德尔菲调查的基础资料，而且能分析各技术领域研究趋势的指标；通过挖掘和分析论文/专利的活动趋势和技术价值等突破性指标，提供技术发展当前情况的信息。

表5 韩国科学技术评价院开展技术水平评估的论文/专利分析指标改进

表6 韩国科学技术评价院开展技术水平评估的论文/专利分析对象与方法

三是完善定性分析方法。由于定性主观判断主要基于专家的知识与经验，存在一定程度客观性不足的缺陷。一国不同专家群体和知识背景对国家的整体技术水平判断有影响［8］，因此在以德尔菲法评估技术水平和技术差距过程中，针对技术水平是否指现有技术成果的差异、评估范围是否包含技术开发能力等的不确定，存在因参与专家的解释不同而评估结果不同的问题。为解决定性分析的客观性不足问题，2018 评估完善了参与技术水平评估专家的选拔、实施方式和德尔菲调查问卷（见表7），将作为德尔菲调查评估委员的少数核心专家改进为专家5 年任期制的参与方式，并删除或改进技术水平回答可信度低、产学研投入比例等利用度低且评估困难的内容。

表7 韩国科学技术评价院开展技术水平评估的德尔菲调查问卷改进

4.3 新增指标

技术水平评估方法的基础是评估指标体系的构建，评估指标体系的选择直接关系到科技评估结果的准确性［9］。2018 评估的评估指标比KISTEP 的2016年评估增加了活动力分析和技术力分析指标（见表8、表9）。活动力分析是指通过论文/专利占有率与增加率、专利海外申请度等指标，分析论文/专利的活动变化；技术力分析是指通过论文/专利影响力与IP4占有率、专利权力要求项的数量等指标，分析论文/专利所具有的技术价值。

表8 韩国科学技术评价院开展技术水平评估的活动力分析指标

表9 韩国科学技术评价院开展技术水平评估的技术力分析指标

表9 （续）

此外，如表10 所示，2018 评估的评估指标新增加了活跃度指数和吸引力指数的投入组合分析指标。以活跃度指数和吸引力指数为基础，掌握指定国家对指定技术的技术实力和研究活动情况，分析特定国家即使落后于绝对优势，与其他国家相比，其指定技术的相对集中活跃程度和技术能力掌握程度。

表10 韩国科学技术评价院开展技术水平评估的投入组合分析指标

5 结论与启示

韩国开展技术水平评估虽然起步较晚，但经过近20 年的发展，技术水平评估工作在韩国已呈现制度化、常规化和体系化，在跟随日本开展技术评估之后，经过不断完善，逐步提升了技术水平评估的可信度和客观性，已形成自身特色的技术水平评估方法。总结韩国的技术水平评估方法和实施经验，为我国完善技术水平评估方法和健全技术水平评估体系提供启示。

5.1 有必要定期、长期进行国家层面的技术水平评估和监测

韩国在制定每期科技基本计划过程中，将技术水平评估作为制定各项技术发展目标的参考依据，通过持续的技术水平评估检验国家战略技术水平发展程度，深入分析技术水平变化趋势并反映到国家中长期技术规划中。例如韩国近期推进实施的2018年技术水平评估，掌握当期科技基本计划中的重点技术与世界主要发达国家的技术差距等情况，将其应用于韩国的科技规划活动，制定提高相关技术水平的政策；通过将研发投入、科技政策与技术水平评估结合，提出相关政策建议，有助于掌握技术发展信息的国际主动权。当前科技发展速度，我国的科技发展水平也迅速提升，科技部于2013 年年底启动了国内外技术竞争调查，对我国整体技术水平进行摸底，但至今已时隔7 年，为提升对我国技术发展水平判断的准确性，有必要及时更新数据，科学把握我国技术发展水平和在国际上的位置，为科技规划、发展战略等政策的制定提供必要的基础资料。

5.2 重视通过立法指导和保障技术水平评估工作

韩国从20 世纪中后期起，科技政策的制定逐渐摆脱模仿和追赶发达国家的技术开发战略，更多强调创新型和领先型技术创新体系，为此，从国家层面重视技术规划出发，2001 年制定《科学技术基本法》，强调技术预测、技术水平评估和技术影响评估等技术规划工作。《科学技术基本法》为韩国制定每5 年一次的科学技术基本计划和开展技术水平评估、技术预见提供依据和法律保障，同时赋予了国家科学技术审议会制定科技规划、协调和评估国家研发计划、分配政府研发预算等相关职能［10］。我国科技部于2003 年制定了《科学技术评价办法》（试行），但该法规主要是对科学技术活动及其相关事项进行评价，从立法层面对于开展针对国家战略技术发展水平评估工作的重视程度有待提高。

5.3 关注技术水平前瞻评估，并不断优化完善评估方法

科技评估工作不仅要着眼过去和现在，更应关注未来科技战略的制定［11］。韩国每两年一次进行的技术水平评估，为其制定国家科技发展战略和研发投入规划提供了重要依据，并通过不断创新完善评估方法和结果形式提升评估结果的可信度和客观性、通过优化分析方法提高评估分析工作的效率和准确度，尤其是其2018 年开展技术水平评估采用新的评估体系和改进方法，选定核心专家实行5 年任期制，摒弃专家一次性参与的做法，缓解了之前由于参评专家不固定而造成的评估工作专业性和客观性缺失等问题；并且在论文/专利分析工作中导入了自动化系统，提高了工作效率和数据准确度。但通常情况下，为保障技术水平评估结果的时间序列分析和一贯性，技术水平评估方式不能进行太大的改动，应保持以评估技术和体系为出发点提供基础性资料的原则。

5.4 重视评估方法中定性分析和定量分析的深入结合

我国科技评价最常用的方法是文献计量法和同行评议法，德尔菲法和层次分析法也逐渐被应用［12］。其中，在基础研究领域主要采用同行评议等以定性分析为主的评价方法，定量分析方法还处于探索完善过程中［13］。由于许多技术水平评估方法是通过德尔菲法进行专家意见调查，但依靠专家主观性分析的方法容易产生评估结果客观性不够的问题；然而以论文、专利等定量数据为基础的技术水平评估方法的缺点是，只能提出个别指标，难以进行综合性判断，而且将过去的论文/专利和现在的论文/专利同等地评估，不能反映技术陈旧率。因此，类似韩国技术水平评估方法将定性与定量分析相结合，对定量分析结果中的技术水平和技术差距增加产生结果原因的专家深度分析，能够有效弥补单一方法的缺陷。尽管韩国2018 年开展的技术水平评估对定性分析和定量分析有所完善，但有调查研究指出，德尔菲调查与论文/专利分析的技术水平结果之间不存在有意义的相关性［5］，存在论文/专利分析结果与德尔菲调查结果结合分析不足的问题。可以看出，在技术水平评估方法中，有必要增加定性评估和定量评估结果间的相关性分析，以及导出技术水平综合指标的相关研究。

5.5 重视加强技术水平评估结果相关信息的公开共享

韩国技术水平评估报告每2 年定期在韩国科学技术评价院的官方主页上公开发布，有利于公众全面了解技术水平评估的最新进展和准确结果，同时有助于吸收社会广泛意见建议，有效推动评估方法的改进完善。韩国科学技术评价院对2018 年技术水平评估报告中实施的定性评估（德尔菲调查）和定量评估（论文/专利分析）方法，向参与评估的专家进行了问卷调研，结果表明评估过程中存在“调研资料不足”“技术范围过于宽泛”等问题，有必要增加讨论会的召开次数，并及时进行资料共享，计划今后采取增加重要论文和重要专利等质性因素分析指标等改进措施。