动态权重的百分位数指标在跨学科期刊评价中的应用

【摘要】设计一种基于等级百分位区间的动态权重百分位数（D*PRS）指标，实现对现有跨学科期刊评价指标的改进。以JCR数据库中5个学科的317种期刊为研究对象，对期刊的D*PRS和现有的文献计量学指标进行相关性分析，并重点对比分析和实证D*PRS、PRS两个指标的异同。结果表明：D*PRS与PRS、CNCI、SNIP、SJR等指标均高度相关，可用于跨学科期刊评价，且D*PRS更能兼顾各百分位等级区间的数量和质量，具有更精准合理的评价功效。

【关  键  词】百分位区间；动态权重系数；跨学科评价；评价指标

【作者单位】万丙晟，福建教育学院杂志社。

【中图分类号】G237.5【文献标识码】A【DOI】10.16491/j.cnki.cn45-1216/g2.2023.10.013

1955年，尤金·加菲尔德（Eugene Garfield）博士首次提出影响因子的概念［1］，至今该概念已由最初只对期刊的评价逐步发展到广泛应用于个人、机构、地区和国家等科研绩效的评价［2］，但与此同时，仅凭影响因子对期刊进行评价日益受到人们的质疑，尤其是不同学科的论文被引差异明显，以影响因子绝对数值评价不同学科的期刊会产生严重的失真现象。例如，在InCites数据库中，2022年，应用化学学科排名第一的期刊Journal of Energy Chemistry的影响因子为13.599，但其在细胞生物学学科中只能排在第32位。随着现代科学技术的迅猛发展，学科之间往往呈现相互交叉、相互融合的高度综合化特征，对不同学科期刊进行科学合理的学术评价显得愈发重要且必要。

目前，基于文献计量学的跨学科评价方法主要以科研实体（个人、期刊、机构、地区和国家）在给定的时段内待评价科研成果集合的被引频次和发表数量为基础，通过对这两项数值进行差异化处理，从而实现对科研实体质量的跨学科评价。例如，1983年，Schubert等提出相对引用率（Relative Citation Ratio，RCR）指标，即待评价科研实体的论文实际被引频次之和除以该科研实体论文所属期刊全部论文平均被引频次之和。若该科研实体属于某学科论文，则此种方法可实现跨学科学术评价。以莱顿大学的科学技术研究中心采用的皇冠指标（Crown Indicator，又称“CPP/FCSm”）［3］、平均标准化引文分数（MNCS）［4］，以Scopus数据库采用的SCImago期刊排名（SCImago Journal Rank，SJR）、来源标准化篇均影响力（Source Normalized Impact per Paper，SNIP）［5］等为代表的基准线法，均以待评期刊所属学科所有论文的预期被引频次为相对基准值，以待评期刊的实际被引频次除以该基准值，从而实现不同学科引文差距的校正。

然而，由于待评期刊论文集合的被引频次大多呈非正态分布，因此大多数学者认为基准线法不能完全真实反映论文集合学术影响力的情况。近年来，有研究者认为可采用科研实体在所属学科中的排序位置来进行跨学科评价。如：期刊引证报告（Journal Citation Reports，JCR）将某一个学科所有期刊在上一年的影响因子按照降序进行排列，再将其划分为4个比例相等均为25%的区，即一区为前25%，二区为25%～50%，三区为50%～75%，四区为75%～100%，从而实现不同学科直观上的大致评价；2011年，Bornmann等引入百分位等级分数（Percentiles Rank Scores，PRS）；Leydesdorff结合百分位论文的数量和等级设计了I3指标［6］；Vinkler基于对高影响力论文的关注提出百分位数位置（Percentage Rank Position，PRP）指标；刘雪立等将论文集合划分为8个百分位等级，并对每个百分位等级赋予不同的权重，建立了期刊的PR8指标［7］；舒予等提出了一种基于动态权重的DPRS（Dynamic Weight Percentile Rank Score）指标，实现从“量”和“序”两个角度对论文进行跨学科评价［8］。本研究提出一种新的基于动态权重的百分位数指标D*PRS，以对现有的跨学科期刊指标PRS、DPRS进行改进，并选取5个学科进行实证分析。

一、百分位等级区域赋分方法

1．PRS和DPRS指标计算方法

由于参考集合论文的被引频次往往是偏态分布的，因此Bornmann等提出先将所有参考集合论文按照被引频次分为若干个百分位区间并赋予其相应的权重，再计算待评价期刊论文进入各百分位区间的比例，对各个百分位区间的权重和论文比例进行线性加权，最后得到百分位数指数（PRS）［6］，其计算式如下：

式中N表示百分位区间的个数，xi表示第i个百分位区间的权重系数，p（xi）表示处于第i个百分位区间的待评价期刊论文数量与该期刊所有论文的比值。PRS指标的本质是一种线性加权的概率密度算子，其基本思路是对高被引论文所处的百分位区间赋予更高的权重，而对同处于一个百分位区间的论文赋予相同的权重。然而，即便如此，对于处于同一个百分位区间的不同论文被引频次仍存在差距，且这种差距在高被引百分位区间表现得更为明显。如2020年Journal Of Autoimmunity发表的两篇文章，一篇被引频次为1935次，另一篇引频次为248次，但均被划分为Top 1%的百分位区间并赋予相同的权重，这显然与常规认知相悖。2016年，舒予等提出基于动态权重的DPRS指标［8］，其基本思路是以同一百分位区间的预期（学科）篇均被引频次为基准，若待评价论文集合的被引频次高于预期被引频次，则该百分位区间应赋予更高的权重。具体计算式如下：

式中N表示百分位區间的个数，p（xi）表示处于第i个百分位区间的待评价期刊论文数量与该期刊所有论文的比值，为各百分位区间的动态权重系数，ci为待评价的论文集合在第i个百分位区间中的篇均被引频次，ei为第i个百分位区间的学科所有论文的预期篇均被引频次。2019年，舒予等对DPRS指标的应用进行进一步推广，从只对学科实体的评价拓展到对期刊实体的评价［9］。

2．D*PRS指标计算方法

因DPRS指标实际是PRS指标的改进，在计算框架上仍遵循高被引百分位区间应赋予更高的权值原则，但指标中为非线性函数，在对不同百分位区间的权重系数进行调整时会出现调整过大或过小的问题。例如，处于前1%、前（95%，99%］、前（90%，95%］的Cell Reports论文集合权重系数分别为3.78、4.77、3.95，然而处于前1%的论文集合的篇均被引频次高于前（95%，99%］、前（90%，95%］论文集合的篇均頻次。基于此，本研究提出一种新的权重系数调整方法，以保证调整后某百分位区间的权重系数介于上下相邻百分位区间的权重系数，并从同一学科和不同学科下的指标性质对比进行分析验证，具体计算式为：

式中为各百分位区间的动态权重系数，ci为待评价的论文集合在第i个百分位区间的篇均被引频次，ei为在第i个百分位区间该论文集合所属学科篇均被引频次（预期篇均被引频次），、分别为第i个百分位区间该学科所有期刊最大篇均被引频次、最小篇均被引频次。式中将最后一个低被引频次对应百分位区间的x1权重系数赋值为1，是因为处于此百分位区间上的论文集合的篇均被引频次较低，且不同学科间的篇均被引频次相差较小，可认为处于此百分位区间的论文集合学术质量基本相当，且以1作为同一学科下最简单的基准可方便计算和比较。上式既保证了位于同一百分位区间的待评价论文集合不论值相差多么微小，只要不相等赋分就会有所差别，也保证了高被引百分位区间被赋予更高的权重系数，且介于两相邻等级百分位区间所赋权重系数之间。

二、数据获取与计算

1．评价对象的选择

本研究对学科的选择主要考虑到四个方面：一是学科均为自然科学领域；二是学科的篇均被引频次存在明显差距；三是学科具有一定规模（期刊数>20，论文数>50，000）；四是学科具有传统稳定的特征，但在半衰期会体现一定的差距性。依此，本研究在JCR数据库公布的2021年版期刊目录中，按照Web of Science学科分类方法，剔除缺少Web of Science Documents（论文数量）、Times Cited（被引频次）、5-Year Impact Factor（5年影响因子）、Category Normalized Citation Impact（学科规范化引文影响力，简称“CNCI”）、Citation Impact（引文影响力）、Immediacy Index（即时指数）、CiteScore、SNIP、SJR等指标的期刊，分别选取来自Otorhinolaryngology （耳鼻喉科学，21种）、 Chemical Engineering（工程化学，  73种）、Immunology（免疫学，102种）、Statistics and Probability（统计学和概率学，73种）、Astronomy & Astrophysics（天文学与天体物理学，48种）5个学科共317种期刊作为评价对象。

2．数据获取

首先，笔者登录InCites数据库，选择“Analyze（分析）”，点击“Research areas（研究方向）”进入学科检索页面，在页面左侧“Filters（筛选）”的“Publication Date（出版周期）”处将时间周期设定为“2016—2020年”（保证各学科有充分的累积引用周期），在“Document Type（文献类型）”处选择“Article”“Review”（以下统称“论文”），在“Publication Source（出版物来源）”处选择“Journal”，在页面上侧搜索框逐一输入5个学科名称，在“Add indicator（添加指示器）”处选择文献数、被引频次、5年影响因子、学科规范引文影响力、篇均被引频次、即时指数等选项，并下载输入学科的所有期刊。

其次，笔者依次点开输入学科的每种期刊，下载每种期刊的所有论文数据，包括Article Title（论文标题）、Authors（作者）、Source（来源期刊）、Research Area（研究领域）、Document Type（文献类型）、Publication Date（出版日期）、Times Cited（被引频次）等，将所有文献数据以CSV格式文件导出合并，删除部分数据不全的条目，得到共590，068条论文数据。

最后，笔者登录Scopus数据库，在页面上侧“Enter subject area（进入主题区域）”搜索框逐一输入5个学科名称，在“View metrics for year（查看年度指标）”处选择“2021年”，在页面左侧“来源类型”处选择“Journal”，下载5个学科下所有期刊的CiteScore、SNIP、SJR数据，通过和InCites数据库下载数据比对，选择名称完全重合的317种期刊。所有数据获取的截止日期为2023年2月20日。

3．数值计算

以免疫学（Immunology）学科为例，该学科包含102种期刊，2016年到2020年间，免疫学学科相关论文共计发表158，307篇。因PRS设定6个百分位等级区间，为方便比较分析，笔者按被引频次的高低顺序将百分位区间同样设定为Top 1%、95%～99%、90%～95%、75%～90%、50%～75%和50%以下共6个百分位等级区间，可计算出在各个百分位区间的被引频次和篇均被引频次，具体见表1。

以免疫学学科下的杂志Journal of Experimental Medicine（《实验医学杂志》）为例，计算其PRS和D*PRS。首先按上述6个百分位等级区间计算该杂志在各百分位区间的论文比例和篇均被引频次，具体见表2。

其次将表2中的数据结合公式（1），计算出该杂志的PRS ≈ 3.43，将表1、表2中的数据结合公式（4），计算其在各百分位区间调整后的权重系数，分别为

最后，将上述数据结合公式（3）可计算该杂志的D*PRS ≈ 3.55。按上述方法，可同样计算其他316种期刊的PRS和D*PRS指标值。

三、结果分析

理想的跨学科学术期刊评价指标应具有理想的同学科评价功能。为此，笔者先对D*PRS指标在同一学科的评价效果进行分析。

1．同一学科下各指标相关性

同样以免疫学（Immunology）学科为例，利用SPSS 26.0软件对已下载计算的102种期刊的PRS、D*PRS、论文数、被引次数、5年影响因子、学科规范化引文影响力指标、篇均被引频次、即时指数、CiteScore、SNIP、SJR等11个指标做 Spearman 等级秩相关分析，结果见表3。

由表3可得到以下结论。

第一，D*PRS与SNIP、SJR、CNCI等3个指标的相关系数均大于0.8，呈强相关性。SNIP、SJR、CNCI均被公认为具有消除不同学科领域和不同出版年份的论文引文差异、对期刊质量进行跨学科评价的功能，故D*PRS也可用于跨学科期刊质量评价。

第二，D*PRS與CiteScore（2018—2020年发表文

章在2021年的被引频次除以2018—2020年发表论文总数）、5年影响因子、篇均被引频次（2016—2020年的年篇均被引频次）的相关系数分别为0.869、0.924、0.950，呈高度相关性，说明D*PRS同样可有效测度评价期刊的质量。

第三，D*PRS与论文数的相关系数为0.297，呈弱相关性，这说明D*PRS与评价期刊所发表论文的多少并无直接关联，其本质只是一个排序指标，故无法从期刊的研究规模和广度方面反映期刊的情况。

2．不同学科下各指标相关性

笔者利用SPSS26.0软件对耳鼻喉科学、工程化学、免疫学、统计学和概率学、天文学与天体物理学5个学科共317种期刊作Spearman等级秩相关分析，具体见表4。

由表4可知：D*PRS与SNIP、SJR、学科规范引文影响力等3个跨学科评价指标的相关系数均大于0.8，呈强相关性，这进一步验证了D*PRS的跨学科评价功效；再对比表3与表4，D*PRS除与CiteScore相关系数由0.869降至0.755外，其被引次数、篇均被引频次、即时指数等指标相关系数均小于0.7，即由原来的强相关变为弱相关，其原因是这些指标均为同一学科下的绝对数指标，无法实现对不同学科的期刊质量评价。由此说明，D*PRS在跨学科期刊评价中无法从传播广度、传播速度方面反映期刊的情况。

3．D*PRS指标特征

（1） 同一学科下的D*PRS指标特征

第一，D*PRS指标可整体反映期刊的影响力。以免疫学学科下的14种期刊为例，由表5可知，整体上D*PRS与5年影响因子、篇均被引频次在排序上保持正相关，但也出现个别异常情况。如Autoimmunity Reviews和Journal of Allergy and Clinical Immunology两种期刊的D*PRS为前者大于后者，但5年影响因子、篇均被引频次却是前者小于后者。由表6可知，Journal of Allergy and Clinical Immunology和Autoimmunity Reviews在Top 1%、［95%，99%）、［0%，50%）等3个百分位区间的论文比例更小，但在另外3个百分位区间的论文比例更大；同时，Autoimmunity Reviews在除［95%，99%）的5个百分位区间有更高的篇均被引频次，故其获得了更高的D*PRS值。这说明期刊的5年影响因子、篇均被引频次虽可从整体层面反映期刊的学术影响力，但更易受少量高被引和大量低被引论文集合的影响，而D*PRS可以很好地弥补这一缺陷。

第二，D*PRS指标可表征期刊稳定的发展状态。由表5可知，Seminars in Immunology和Journal of Allergy and Clinical Immunology的D*PRS、篇均被引频次均为前者大于后者，但两种期刊的5年影响因子却是后者大于前者，这是因为5年影响因子在数据集选取上只与统计年的被引频次有关，而D*PRS、篇均被引频次均基于5年累计被引频次构造相关计算式，D*PRS更多描述的是发展较为成熟稳定的期刊状态。

（2）不同学科下的D*PRS指标特征

由表3、表4可知，D*PRS和PRS均呈显著相关性。这是因为D*PRS实质是PRS的延伸，两者在计算框架的设计上高度相似。尽管如此，仍有一些期刊的D*PRS和PRS呈现不同的排序。以耳鼻喉科学学科下的期刊Ear and Hearing和天文与天体物理学学科下的Space Science Reviews为例，由表7发现，这两种期刊的D*PRS和PRS指标排序呈负相关。

第一，对比两种期刊的6个百分位区间论文比例情况。Ear and Hearing在Top 1%、（95%，99%］、（90%，95%］、（0%，50%］4个百分位区间的论文比例均低于Space Science Reviews，但在（75%，90%］、（50%，75%］这两个百分位区间的论文比例更高。这说明在高影响力论文比例上，Space Science Reviews明显表现更好，而在中等影响力论文比例上，Ear and Hearing高于Space Science Reviews，且Ear and Hearing的低影响力论文比例也更小，最终计算得出Ear and Hearing的PRS大于Space Science Reviews的PRS。

第二，对比两种期刊相对各自学科的年篇均被引频次情况。表7中，Ear and Hearing在6个百分位区间的实际篇均被引频次均小于预期（耳鼻喉科学）篇均被引频次，Space Science Reviews在Top 1%、（95%，99%］、（75%，90%］这3个百分位区间的实际篇均被引频次均大于预期（天文与天体物理学）篇均被引频次。故Ear and Hearing在学科中处于平均线以下水平，而Space Science Reviews在学科中处于平均线以上水平，后者的学术影响力更大。这也说明仅按各百分位区间论文比例进行固定权重赋分，取线性加权值去评判这两种期刊的学术影响力显得较不公平。

第三，对比两种期刊在各百分位区间调整后的权重系数。由表7可知，在Top 1%百分位区间上，由于Ear and Hearing的实际篇均被引频次小于预期（学科）篇均被引频次，且此百分位区间耳鼻喉科学的21种期刊中，篇均被引频次最小值为68，则Ear and Hearing在Top 1%百分位区间调整后的权重系数为。在Top 1%百分位区间上，Space Science Reviews的实际篇均被引频次大于预期（学科）篇均被引频次，且此百分位区间的天文与天体物理学的46种期刊中，篇均被引频次最大值为522，则Space Science Reviews在Top 1%百分位区间调整后的权重系数为。

第四，对比两种期刊在所有百分位区间的线性加权值。一方面，经调整，两种期刊在Top 1%百分位区间的线性加权差值0.192904，大于调整前的差值0.1836，从而在Top 1%百分位区间Space Science Reviews获得了更大的优势，且在（95%，99%］、（75%，90%］这两个百分位区间亦是如此。另一方面，在（90%，95%］、（50%，75%］这两个百分位区间，虽然两种期刊的实际篇均被引频次均小于各自学科的预期篇均被引频次，但Space Science Reviews的篇均被引频次差距更小，其仍获得权重系数上的优势。结合两种期刊在各自百分位区间的论文比例情况，最终可得Space Science Reviews的D*PRS大于Ear and Hearing的D*PRS。

综上所述，相比于PRS指标，D*PRS指标既考虑了待评期刊论文集合在各百分位区间上的论文比例，即相对数量，又兼顾了待评期刊论文集合相对参考论文集合的质量情况，从而实现了对期刊更细致精准的评价。

四、结语

跨学科研究已成为当前和未来重要的科学研究方向，许多重大的科学创新突破往往依赖多学科之间的交叉融合，因此对期刊进行跨学科科学合理的评价显得格外重要。本研究以5个不同学科的期刊为研究对象，基于PRS指标创建了一种新的基于动态权重的百分位数指标D*PRS，并对其特征进行了初步探讨。D*PRS指标综合了待评期刊论文集合的相对数量和质量，是对现有跨学科评价机制的有益补充。但由于选定对象的局限性，D*PRS指标对于其他学科领域是否同样适用有待进一步验证。同时，由于在计算D*PRS指标值时，需统计的数据较为庞大，且计算式本身较为复杂，故未来如何优化改进，以创建更加科学合理的跨学科期刊评价指标仍需进一步研究。

｜参考文献｜

［1］Garfield E.Citation Indexes for Science：A New Dimension in Documentation through Association of Ideas［J］. Science，1955（3159）：108-111.

［2］刘雪立，申小曼，郭潇，等. JCR中一个新的跨学科评价指标：期刊引证指数（JCI）及其实证研究［J］. 中国科技期刊研究，2022（3）：361-370.

［3］Anthony F.J.v， an Raan. Measurement of Central Aspects of Scientific Research： Performance， Interdisciplinarity， Structure［J］. Measurement： Interdisciplinary Research and Perspectives，2005（1）：1-19.

［4］Opthof T，Leydesdorff L. Caveats for the journal and field normalizations in the CWTS （“Leiden”） evaluations of research performance［J］.Journal of Informetrics，2010（3）：423-430．

［5］Leydesdorff L，Opthof T. Scopus's source normalized impact per paper （SNIP） versus a journal impact factor based on fractional counting of citations［J］. Journal of the American Society for Information Science and Technology，2010（11）：2365-2369．

［6］Leydesdorff L. Alternatives to the journal impact factor： I3 and the top-10% （or top-25%？） of the most-highly cited papers［J］. Scientometrics，2012（2）：355-365．

［7］劉雪立，魏雅慧，盛丽娜，等. 期刊PR8指数：一个新的跨学科期刊评价指标及其实证研究［J］. 图书情报工作，2017（11）：116-123．

［8］舒予，张黎俐. 基于动态权重的百分位数指标在学术影响力评价中的应用［J］. 图书情报工作，2016（11）：93-99．

［9］舒予，胡静，魏丽敏，等. 基于动态权重的百分位数指标在期刊评价实践中的应用研究［J］. 中国科技期刊研究，2019（1）：70-76．