科学研究的颠覆性创新测度
——相对颠覆性指数

杨杰，邓三鸿，王昊

（1. 南京大学信息管理学院，南京 210023；2. 江苏省数据工程与知识服务重点实验室，南京 210023）

0 引 言

科学并不是像一次函数一样平滑地发展，开创性的科学研究才是推动社会进步的最大助力[1]，开创性的研究通常具备高度的颠覆性（disruption）[2]。近年来，学者们通过《莱顿宣言》[3]和《旧金山宣言》[4]对传统计量指标提出批判，并呼吁创新测度的相关指标。2020年，教育部、科技部等在《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》[5]中指出，在科研评价中，要突出创新的质量和贡献。对科学研究的创新性进行准确的测度是新时代下情报学和科学计量学的一项重要任务[6]。

科学和技术可以被描述为一种动态发展的复杂网络[7]，颠覆性创新的研究则体现为科学或技术网络结构中对既有范式的破坏[8]。颠覆性指数（dis‐ruption index，DI）是Funk等[9]于2017年提出的新指标，基于专利技术的深层网络结构计算其创新性，具体表现为专利的颠覆性影响分布，即该专利是否较大程度地影响了所在领域的技术范式。2019年，Wu等[10]将颠覆性指数拓展至文献计量领域，并基于大样本的实证研究证明了颠覆性指数的有效性和可靠性，如诺贝尔奖得主代表性成果的颠覆性指数具有较高的正值，而巩固性研究的颠覆性指数往往为较低的正值甚至是负值。2023年，Park等[2]基于颠覆性指数的测度，发现当代科学似乎正在陷入“颠覆性停滞”的陷阱，即科学和技术的平均颠覆性正在逐渐下降。近年来，颠覆性指数在文献计量学[11]、信息科学[12]和网络科学[13]等多个领域得到了广泛应用，而其局限性主要在于缺乏测度一致性和区分度[14-15]。Leydesdorff等[16]学者基于实证提出了DI*、DI5等一系列改进指标，以缓解DI测度不一致、分布不均匀等问题[14]，但这些指标依然存在较大的改进空间。

本文在颠覆性指数最新研究的基础上进行总结和改进，深入剖析了颠覆性指数测度不一致的表现及因素，并提出一种全新的计量指标——相对颠覆性指数（relative disruptive index，RDI），最后基于Web of Science（WoS）数据库的引文数据进行实证检验，将颠覆性指数与相对颠覆性指数的结果进行对比分析。研究结果表明，颠覆性指数的局限性体现在对不同参考文献数量的论文测度时出现异质性，原因体现在参数量级不一致，相对颠覆性指数在一定程度上解决了这些问题，能够更好地测度科学研究的颠覆性创新程度。

1 相关研究

1.1 科学研究的创新性

科学进步的创新驱动因素一般是复杂且罕见的，因此，科学研究创新性的测度存在着较大的障碍[17]。现有的创新性测量方式一般是基于Koestler提出的“新颖的概念或方法结合”思路[18]，Flem‐ing[19]、Boudreau等[20]以及Packalen等[21]分别基于这种思路研究了期刊、专利和论文的创新性，Uzzi等[22]提出了基于参考文献的期刊组合罕见程度（atypical）的创新性计算方法，Boyack等[23]基于标准偏差（standard deviation，Std Dev）对该方法进行改进并验证了其有效性；Wang等[24]利用类似的方法，但是仅选取期刊的首次组合作为创新性评判依据；Uddin等[25]基于关键词的组合罕见程度来衡量研究的创新性；Fontana等[26]基于论文的参考文献学科分类的新颖性组合或跨学科程度来测度其创新性；Azoulay等[27]基于出版物的MeSH（medical subject headings）主题词重组比例来衡量其创新性；罗卓然等[28]将组合创新应用到学术词汇文本，提出基于语义相似度的创新性指标。Shi等[29]将论文主题映射为多层嵌入网络，并以此计算论文主题的不常见组合模式来表征其创新性。尽管创新性的研究在同行评议的过程中会面临较大阻碍[20]，但是其往往能够取得更大的长期影响力[26]。

从理论基础来看，现有的创新性测度指标主要是基于论文主题新颖的或者不常见的组合模式，属于事前测度（ex ante）指标，虽然其不同于论文被引量[30]、扩散速度[31]、影响广度[32]等事后测度（ex post）指标，但均属于单一维度的评价指标。除创新性外，传统的引文指标主要包括数量、合作、主题和影响，其测度维度也较为单一[33]；而对于科学创新性这一复杂要素，则应当基于引文网络中的多维度深层次关系进行测度[31]。

1.2 颠覆性指数

1.2.1 DI

颠覆性指数的理论基础源自Popper的科学发展理论[34]和Kuhn的范式变革理论[35]，即常规科学会在当前范式下解决未知的问题，而颠覆性科学不同于常规科学，颠覆性科学会在一定程度上突破既有范式的局限，产生新的范式、学科或领域。在引文网络的视角下，可以将论文节点的前向引用节点视作其知识基础，而将后向被引节点视作知识流动和影响[36]，那么对于具备颠覆性创新特征的论文，其后继节点会较小程度地依赖于该论文本身的知识基础，而直接建立在该论文创立的“新范式”下，由此，颠覆性的概念可以定量地反映为引文网络中论文被引模式的一种分布[13,37]。Funk等[9]基于专利引用网络提出了颠覆性指数指标，用于衡量某一专利是发展还是颠覆了现有的技术趋势。Wu等[10]进一步提出了引文网络中的颠覆性指数，在引文网络中，某一核心论文（focal paper，FP）的颠覆性指数定义为

其中，NB代表引用了FP，并且引用了FP参考文献至少一次的论文数量；NF代表引用了FP，但没有引用FP参考文献的论文数量；NR代表没有引用FP，但引用了FP参考文献至少一次的论文数量。

Azoulay[38]对颠覆性指数有一直观的解释：对于某一核心文章FP而言，如果许多引用FP的论文也同时引用了FP的大部分参考文献，那么FP可以被视为巩固了其学科范式；反之，如果FP的未来引文并不承认FP的参考文献，那么其可以视为颠覆了其学科领域的研究范式，甚至开创了新的领域。

1.2.2 DIn

Bornmann等[39]认为仅引用了FP的一篇参考文献可能是一些特殊引用行为导致的，为了更准确地评估FP的引文文献与被引文献之间的紧密关系，给参数NB增加了引文数量的最低门槛n：

显然，DI1完全等价于DI。在n值较大时，可以看作提高了NB的引文门槛，Bornmann等[39]认为这样可以在一定程度上减少无目的性引用的影响，并通过实证检验出DI5具有较好的检验结果。

1.2.3 其他拓展及局限

Leydesdorff等[16]对颠覆性指数进行了改进，提出了两个新指标DI*和DI#，并认为DI*可以更为直接地测度FP对原有学科范式的颠覆程度，而DI#则更偏向于测度FP在多大程度上继承或发展了之前的研究，从而能以更细的粒度评价文章的创新性和巩固性。Zhou等[40]将颠覆性指数和PageRank算法相结合，提出了DPRank模型，并基于美国物理学会（American Physical Society，APS）数据验证了其测度有效性。Liu等[41]结合多维索引系统，对涵盖多学科的多源数据进行了融合式颠覆性技术挖掘。Wang等[12]在颠覆性指数的基础上，结合MeSH主题表提出了知识实体层次的创新性测度方法。Yang等[13]将颠覆性指数拓展为复杂网络的重要节点测度指标，发现颠覆性指数识别出的关键节点与传统指标的结果差异显著。

颠覆性指数的主要局限性在于测度的缺乏有效性[15]、一致性[14]和区分度[16]，现有研究主要是对颠覆性指数进行拓展，而颠覆性指数的测度不一致性和不均匀性问题一直没有得到有效的解决，较大程度上限制了该指标的应用范围。颠覆性指数局限性的一个体现是，衡量参考文献数量不同的论文时缺乏一致性[14]。本文的创新之处在于，发现并深入分析了颠覆性指数的局限性，提出新的指标以有效测度科学研究的颠覆性创新。

2 方法论

2.1 相对颠覆性指数

颠覆性指数最早于2017年被Funk等[9]提出，2019年Wu等[10]的研究结果在Nature发布之后，引发了科学计量学界的广泛讨论。新的计量指标往往存在许多待完善之处，作为衡量论文颠覆性创新程度的计量指标，DI和DIn均存在较大的局限性：①可能受到不规范引用或无目的性引用的影响[42]。例如，FP的被引文献A和B，A引用了FP参考文献1篇，B引用了FP参考文献10篇，A可能是无目的性引用，但A和B均被计算进了颠覆性指数的分子中。②DI和DIn在计算NB等指标时均使用引文的绝对数量，如在DI5的公式中，代表引用了论文FP，并且引用了FP参考文献至少5次的论文数量；参考文献较少的论文的DIn可能较大，而参考文献较多的论文的DIn往往很小，不同的参考文献数量在一定程度上会降低DIn结果的一致性[43]。同时，由于DI5采用自然数5作为阈值，在计算参考文献数量少于5篇的文章时，DI5的参数无实际意义。③DI和DIn均存在参数量级不一致的问题（详见3.3节）。

目前对颠覆性指数的改进中，均没有涉及NR值，而NR本身会导致诸多问题：①在实际计算颠覆性指数的过程中，NR的值往往较大，甚至出现颠覆性指数参数量级不一致的问题（详见3.3节），从而导致其分布非常密集（多数文章的颠覆性指数都非常接近0），不利于比较不同文章的创新性。②当一篇论文引用了多篇高被引文章时，其“参考文献总被引”很大，由于NR的影响，其颠覆性指数会非常接近0（详见3.3节）。③NR受FP参考文献数量的影响较大，不同论文的参考文献数量不一致，也会降低颠覆性指数计算结果的一致性。

为解决以上问题，借鉴Bornmann等[44]对参数NB的改进思路。与其不同的是，本文同时对NB和NR设定门槛，并且采用百分比值的方法设定门槛值，用于消除FP参考文献数量对结果的影响。

2.2 网络结构关系

在引文网络中，论文节点存在着前向引用链接和后向被引链接，分别表示其知识基础和知识流动。将引文网络一篇核心节点论文FP的引用、被引用以及更深层的引用网络关系描绘出来，如图1所示。

图1 DI和RDI的引文网络结构关系

图1a展示了颠覆性指数DI的引文网络关系，中间节点代表该网络中的核心论文FP，右侧节点（a～h）代表FP的被引文献，左侧节点（i～l）代表FP的参考文献；FP与其参考文献的引用关系、FP与其被引文献的引用关系均以有向实线表示，FP的参考文献与FP的被引文献之间的引用关系以有向虚线表示，将FP的被引文献划分为三大类别：NB、NF和NR，以此计算DI。当实际运用此指标时，NB中仅引用了FP的一篇参考文献可能是一些特殊引用行为导致的，修正指数DIn通过设定一个引用量阈值来解决这个问题。与DIn方法类似，RDI也是设定了引用量阈值，不同之处在于RDI采用了相对值而非绝对值。鉴于不同文章的参考文献数量差异可能较大，采用相对值可以有效地拓展测度范围，并保持测度一致性。

图1b展示了相对颠覆性指数RDI的引文网络关系，假设某FP有20篇参考文献，若设定阈值为10%，则只有引用了FP至少2篇参考文献的论文才被算入相关参数。论文a和论文b均没有引用论文FP，论文a引用了FP的2篇参考文献i和j，论文b只引用了FP的1篇参考文献i，则论文a被计算入而论文b不被计算入同理，在同样阈值下，论文d被计算入而论文c和论文e不被计算入NF的计算与DI、DIn的计算方法完全相同。

3 实证检视

3.1 数据搜集与处理

对于引文网络中某一核心节点论文FP，选择Web of Science核心合集数据库，通过标题或DOI（digital object unique identifier）进行检索，基于以下操作可以获取NF、NB、的值，根据式(1)～式(7)计算出DI、DI5、RDI等指标。

（1）以纯文本文件格式导出论文FP的全记录与引用的参考文献，并记录下该论文的DOI。

（2）进入论文FP的被引文献页面，选择全部文献并按照相同格式导出。

（3）进入论文FP的参考文献页面，对于每一篇参考文献Cn均进入其被引文献页面，选择全部文献并按照相同格式导出。

（4）基于Python-3.9.2自定程序，计算出相应指标。

实证部分聚焦于Scientometrics期刊的被引量最高的101篇论文，鲁棒性检验（3.5节）则对发表于Scientometrics期刊上的全部研究论文进行分析。此外，为了保证足够的引文窗口，本文仅对发表于2010年（含）之前的研究论文进行分析。

3.2 阈值与引文窗口

相对颠覆性指数的一个重要参数是阈值，不同的阈值选择下论文的相对颠覆性指数RDI分布如图2a所示。其中，当阈值为1%时，相对颠覆性指数分布可以近似地看作颠覆性指数DI的分布（绝大部分论文的参考文献数量少于100）；当阈值大于5%时，不同类型论文的相对颠覆性指数分布出现明显变化。本文选取13%为阈值，这是因为在该阈值下不同参考文献数量的论文有着较为接近的分布，从而可以认为该阈值下颠覆性指数的分布受参考文献数量的影响较小。

图2 阈值与引文窗口（彩图请见https://qbxb.istic.ac.cn）

引文窗口是科学计量指标的重要内容[30]。Born‐mann等[45]对颠覆性指数的引文窗口进行了初步探索，得出颠覆性指数需要5年以上的引文窗口。本文以高被引论文为视角，对DI、DI5、RDI的引文窗口做进一步探讨，图2b展示了数据中被引量最高的9篇论文在不同引文窗口下DI、DI5、RDI的值。其中，DI在5年的引文窗口后趋于稳定，这与现有研究结论保持一致[45]，但是DI5和RDI可能需要8年以上的引文窗口才会趋于稳定，综合考虑本文的样本数据，选取10年为引文窗口，即在计算某论文FP的相关指标时，仅考虑FP发表10年之内（包含FP发表前）的论文。

表1 高被引论文颠覆性指数统计分布

值得注意的是，尽管本文选取了出现明显差异的分界点作为阈值（13%）和引文窗口（10年），但是更高的阈值和更长的引文窗口并非不合适，不同的阈值和引文窗口导致相对颠覆性指数呈现的差异有待未来进一步探索。

3.3 统计与分布

DI、DI5与RDI的总体统计如表1所示，这3种指标的值域均是[-1,1]。已有研究表明[10]，当一篇文章颠覆性指数为较高的正值时，通常代表这是一篇创新性的文章，颠覆性指数的值越接近1，说明它对原有学科范式的颠覆程度越高，如获得诺贝尔奖研究的颠覆性指数位于所有样本前2%的水平；反之，若一篇文章颠覆性指数接近0甚至为负值，说明它可能是一篇巩固性研究或者综述类文章。

从总体分布来看，大部分样本论文的颠覆性指数平均值非常接近0，而相对颠覆性指数有着明显更高的平均值（0.191）。相对颠覆性指数的标准差（0.221）比颠覆性指数的标准差（0.117）更大，对于值域相同的指标，较大的方差会为其带来更好的区分度。因3个指标的偏度均是正值，故其分布相对于正态分布右偏，DI的偏度（4.779）和DI5的偏度（4.107）均较大，呈现明显右偏；RDI的偏度（1.123）较小，偏移幅度不大。结合峰度指标和百分位数，样本论文的DI集中在区间[-0.02,0.12]，分布很不均匀且异常陡峭（峰度为28.062）；DI5集中在区间[0,0.06]，分布不均匀且陡峭（峰度为20.416）；RDI集中在区间[-0.05,0.30]，分布均匀且平缓（峰度为0.864）。

结合颠覆性指数和相对颠覆性指数的公式，表1反映出颠覆性指数的一个重要问题：参数量级的不一致性。NR（均值6192，标准差24376，范围[7,218315]）的量级远远大于NB（均值66，标准差86，范围[1,530]）和NF（均值55，标准差141，范围[0,1277]），参数量级不一致性是导致颠覆性指数测度不一致和不均匀的主要原因之一。相对颠覆性指数中的则与公式中的其他参数处于同一量级，这在一定程度上证明了相对颠覆性指数解决了参数量级不一致性的问题。

DI、DI5与RDI的分布与相关关系如图3所示，根据FP论文的参考文献数量划分出4个类型。从分布来看（位于对角线的3个子图），DI和DI5的分布呈现明显的异质性，无论是巩固性最强的论文（颠覆性指数最低，位于分布图最左侧）还是颠覆性最高的论文（颠覆性指数最高，位于分布图最右侧），都仅包含了参考文献数量小于20的论文，而其他类型的论文则集中分布在0附近，非常不利于其颠覆性的测度与比较，这很可能是源自公式本身的缺陷。在相对颠覆性指数RDI下，4种类型论文均呈现了接近正态的分布，因此，可以认为，相对颠覆性指数能够从不同参考文献数量的论文中测度出高巩固性论文和高颠覆性论文。

图3 论文的DI、DI5与RDI相关性及分布（彩图请见https://qbxb.istic.ac.cn）

从3个指标的相关关系来看，DI、DI5与RDI之间的皮尔逊相关系数均非常显著，因此，其都能有效衡量论文的颠覆性，但是不同于DI和DI5之间的高度线性相关关系（0.9233），RDI与DI之间的线性相关系数仅为0.5151，说明它是一个相对较为独立的指标。

颠覆性指数及相对颠覆性指数分布的散点图和箱线图如图4所示，分别统计不同参考文献数量的4种论文集合的DI、DI5与RDI分布。

图4 论文的DI、DI5、RDI与被引量及参考文献数量分布

从散点图（图4a、图4c和图4e）可以看出，不同参考文献数量论文集合的颠覆性指数的分布呈现明显差异，而不同参考文献数量论文集合的相对颠覆性指数分布更为均匀和一致。尤其是对于参考文献数量较多的论文，DI和DI5分布非常集中且接近0，而RDI的分布仍然较为均匀。

从箱线图（图4b、图4d和图4f）可以看出，随着FP参考文献数量的增加，颠覆性指数的分布愈加集中且接近0，这是因为它在计算参数NB和NR时均以1为阈值，对参考文献数量大于20的论文进行计算时，颠覆性指数的分布会过于集中，难以进行有区分度的测度，并且对于不同参考文献数量的论文存在着测度不一致的问题。DI5通过设定固定阈值为5，在一定范围内缓解了这个问题，参考文献数量处于21～40区间论文的DI5取得了与0～20区间论文较为一致的分布。但是DI5依然存在一定的问题：一方面，DI5无法对文献数量小于5的FP进行有实际意义的指标计算与测度；另一方面，在参考文献数量大于40的时候，依然会出现指标值的分布过于集中、缺乏区分度、测度不一致等问题。

RDI在4个区间的参考文献数量上均有着较为均匀和一致的分布，尤其对于参考文献数量很大的论文（大于40）也能进行相应的指标计算与测度。从RDI散点图可以看出，参考文献数量处于41～60区间的论文中有2篇相对颠覆性指数大于0.4，参考文献数量处于61及以上区间的论文中有2篇相对颠覆性指数大于0.2，因此，相对颠覆性指数能实现从参考文献数量较大的论文集中识别出颠覆性高的论文，且其在不同参考文献数量论文集合上的测度效应具备高度一致性。

综上所示，相对颠覆性指数具有以下优势：①受论文参考文献数量的影响小，不同参考文献数量的论文有较为一致的RDI值分布。②相对颠覆性指数的标准差更大，且偏度绝对值更小，分布更为均匀，能够对不同论文的颠覆性进行有区分度的测度。③相对颠覆性指数可以从参考文献数量较大的论文集中识别出颠覆性高的论文。④相对颠覆性指数与颠覆性指数的皮尔逊相关性非常显著，可以有效地衡量文章的颠覆性。⑤相对颠覆性指数与颠覆性指数的线性相关系数不是很高，可以视作一个独立的指标。

3.4 收敛有效性

为探讨相对颠覆性指数是否能够对研究的颠覆性创新程度做出真实测度，需要做进一步的研究。指标的收敛有效性（convergent validity）属于结构效度（construct validity）的一种，通常体现为指标在理论与实证的相关程度，而科学计量学相关指标的收敛有效性一般会基于人工检视（manual inspec‐tion）进行[39]。为证明相对颠覆性指数能够识别出高度颠覆性或高度巩固性的论文，本文对相对颠覆性指数排在前10名、后10名的论文依次进行人工检视。

由表2可知，相对颠覆性指数排名最高的10篇论文具有较高的创新性，有多篇论文是本领域的开创性研究论文，这些论文的作者均是科学计量学领域的泰斗级学者，其中多位荣膺“普赖斯奖”。具体如下：van Eck等[46]发明了科学计量学分析与可视化的重要工具VOSviewer，是科学计量学领域的一篇重要开创性论文；Larsen等[47]发现SCI（Sci‐ence Citation Index）和SSCI（Social Science Citation Index）的文献在计算机科学和工程科学等前沿领域的覆盖率非常低，并指出基于SCI和SSCI的评价指标问题，研究结论具备较高的创新价值和颠覆性；Narin等[48]是研究国际合作的一篇早期重要论文，对未来的国际合作研究产生了深远影响；Moed等[49]创立了全新数据库以整合荷兰的全部论文，属于地域性的创新性研究。Schubert等[50]首次以文献计量学的视角深入研究了国际合作，是科学计量学领域早期的一篇开创性论文；Weingart[51]深入探讨了文献计量指标对科学系统的影响，为后续计量指标的作用机制研究奠定了重要基础；Glänzel等[52]首次较大规模地研究了巴西的引文模式概况、发展趋势以及国际合作情况，属于地域性创新性研究。Glänzel等[53]创新性地提出了自然科学与社会科学之间的层次结构，是主题分类领域的一篇重要开创性论文；van Raan[54]分析了文献计量学方法在评估科学研究和监测科学发展方面的潜力和局限性，是文献计量学领域早期的一篇开创性论文；Katz等[55]创新性地提出了引文与科学合作中的一种非常重要的标定模型；van Raan[56]深入探讨了科学计量与机构评价，创新性地提出了技术和方法问题及解决方案，是科学计量学领域的一篇重要创新性论文。

表2 相对颠覆性指数排名前10篇论文

总体而言，相对颠覆性指数最高的10篇论文均具备较高的颠覆性和开创性。然而，这种开创性可能局限于某一细分领域或地域（国家或地区），因此，未来需进一步分析、处理，才能筛选出最具开创性的论文。

除此以外，由表2可以发现，限制颠覆性指数DI测度有效性的一个重要因素——“参考文献总被引”会显著影响颠覆性指数DI。以相对颠覆性指数RDI排名第一和第二的论文为例，两者的参考文献总被引分别高达8912和10139，导致DI指标分母非常大，从而得出接近0的颠覆性指数DI；而对于参考文献数量总被引少于100的论文，颠覆性指数DI与相对颠覆性指数RDI高度一致，这也从一个方面证明了相对颠覆性指数RDI的优势。

样本中相对颠覆性指数排名最低的10篇论文具备较低的创新性，通常表现为典型的巩固性研究、发展性研究或非原创性研究（derivative research），如表3所示。相对颠覆性指数排名后10位的论文中有8篇是基于h-index的继承研究：Egghe[57]的研究在h-index的基础上提出了g-index，van Raan[58]的研究是基于h-index的实证，Batista等[59]的研究提出了互补指数h(t)，Glänzel[60]的研究初步阐述了h-index的数学内涵，Egghe等[61]的研究是将h-index拓展为信息学的一般框架，Iglesias等[62]的研究是将不同领域学者的h-index纳入同一个量表比较，Braun等[63]的研究是阐释h-index在期刊评价领域的应用以及小规模实证，Sidiropoulos等[64]的研究指出了h-index的部分缺点并做了改进。这8篇论文是对h-index的进一步阐释、改进和实证，属于典型的巩固性研究，相对颠覆性指数均为负值。而h-index论文本身的相对颠覆性指数为0.694，处于研究样本前10%的水平，具有极高的开创性。

表3 相对颠覆性指数排名后10篇论文

在剩下的2篇研究中，Beaver[65]在Katz等[66]的研究基础上，进一步总结了科研合作的发展、现状和未来展望，属于巩固性较强的综述研究；Meyer等[67]对Braun等[68]的研究进行了数据的拓展和改进，属于非常典型的巩固性研究。

值得注意的是，在巩固性论文的测度中，颠覆性指数DI与相对颠覆性指数RDI呈现较高的一致性，表3中全部论文的颠覆性指数DI也位居样本的后10%，说明相对颠覆性指数RDI的相对优势并不能在测度巩固性论文中得到体现。

基于收敛有效性分析，可以认为相对颠覆性指数能够对论文的颠覆性创新水平进行有效的直接测度。一般而言，颠覆性创新水平较高的论文相对颠覆性指数为较大的正值，开创性论文的相对颠覆性指数接近1；创新性水平较低的论文相对颠覆性指数为接近0甚至为负值，巩固性研究论文的相对颠覆性指数往往会很低。此外，还发现颠覆性指数DI无法有效地测度一些“参考文献被引量”较高的开创性论文，相对颠覆性指数RDI在一定程度上解决了这个问题。

3.5 鲁棒性检验

高被引论文仅占据了全部论文的小部分，为进一步分析相对颠覆性指数的测度有效性，对发表于Scientometrics期刊上的全部研究论文（文章类型为article，为保证足够的引文窗口，论文发表时间设定为2010年之前，共检索到2957篇）的DI、DI5与RDI进行计算。3种指标的核密度（kernel density）分布如图5所示，对于参考文献数量不同的论文，DI、DI5的分布呈现明显的异质性（图5a、图5b），参考文献数量处于1～20的论文与其他类别的分布完全不一致，而不同论文的RDI则都形成了较为一致的近似正态分布（图5c）。鲁棒性检验补充证明了上文的结论，即DI、DI5的测度不一致效应，以及RDI在测度不同类型论文的有效性。

图5 Scientometrics期刊全部论文的DI、DI5与RDI核密度分布(彩图请见https://qbxb.istic.ac.cn)

4 总结与展望

近年来，论文数量和被引量的大幅增长并未带来核心领域的创新突破[69]，具备高度颠覆性的开创研究才是科技发展的第一动力。本文梳理了科学研究创新性测度的颠覆性指数，深入剖析了其局限性，并提出了相对颠覆性指数。实证研究表明，相对颠覆性指数可以视为一种相对独立的新指标，它比原始指标具备更好的区分度和一致性，能从参考文献数量较大的论文集中识别出颠覆性论文。但是该指标依然存在着一定的不足之处：①因公式本身及数据库的局限性，部分参考文献数量较少的论文可能会计算出较高的“误差值”。②基于相对颠覆性指数识别出来的高度颠覆性论文可能是局限于某细分领域或地域的开创性研究，需要做进一步分析才能筛选出开创性的研究。③相对颠覆性指数仅仅是对研究颠覆性创新水平的测度，并不能反映论文的影响力。

事实上，相对颠覆性指数不仅适用于论文的颠覆性创新测度，已有研究基于专利数据库引用网络、Github引用网络数据等研究了技术和软件的颠覆性[10]。相对颠覆性指数较高的研究往往具有较高的创新性，其中部分研究代表了领域的关键性突破和开创性成果；相对颠覆性指数较低的论文通常是对既有研究的巩固性研究，但其影响力和价值也不可忽略。

本文受限于Scientometrics期刊所属学科，且收敛有效性部分主观性较强。未来的研究可以考虑更大样本的实证，对比不同学科下相对颠覆性指数的差异，并将数据来源拓展至中文期刊数据库、专利数据库、社交媒体数据等。在指标的收敛有效性验证部分，可与现有同行评议数据库作比较，如医学的F1000 Prime数据库（现已更名为Faculty Opinions）。此外，鉴于相对颠覆性指数的局限性，有必要进一步探索如何处理参考文献数量较少的论文，以及从创新性研究论文中识别出开创性论文的可行方法。

相对颠覆性指数为科学计量提供的潜在价值在于其能够直观地测度论文的创新性，可以与传统指标相结合，以多维度的视角进行测度和评价，这也是未来的探索方向之一。此外，作为一种定量指标，相对颠覆性指数不应仅局限于论文层面的测度，后续研究可考虑将其拓展至对学者、机构、地区的颠覆性创新研究水平的测度。由于相对颠覆性指数较高的论文往往善于打破学科原有范式，也可探索相对颠覆性指数与引文睡美人现象[70]的关系。