论文学术影响力指标优化的实证分析

孟 璀，吴培群

（北京电子科技学院，北京 100070）

0 引言

对于论文的学术影响力（以下简称“影响力”），实际的学术评价工作中往往采用“被引频次”作为测度指标。用被引频次作为指标评价论文的影响力是否科学有效？除被引频次之外，从各种论文数据库和网络平台上也可以直接获取论文的“被下载频次”信息，被下载频次在一定程度上也能反映论文的学术影响情况。那么，怎样基于被引用和被下载两方面的频次信息构建论文影响力的更科学有效的指标？

另一方面，学术界关于论文影响力的研究，多集中于对学者个人或某一具体成果进行考察和分析[1,2]，针对某类特定研究方法的论文的影响力的实证分析还较为少见。事实上，论文的科学性依赖于研究方法的科学性，而论文的影响力又在一定程度上可以反映出研究方法的科学性、有效性以及在一门学科中应用发展的程度。所以，对一个学科领域中的基于某特定研究方法的论文的影响力进行实证分析，可以为该研究方法的应用和推广及相应学科发展策略提供有力的参考依据。作者基于自己多年运用内容分析法研究教育问题的经验[3,4]，利用CNKI（中国知网）的相关论文数据，探讨两种指标下论文的影响力受其他因素影响的规律。

1 研究方法

本文所用的研究方法被称为“内容分析法”。美国学者伯纳德·贝雷尔森，在1952年出版的《传播学研究的内容分析》一书中，最早给出了内容分析法的定义：一种对具有明确特征的传播内容进行客观的、系统的和定量的描述研究技术[5]。本文用的正是贝雷尔森的这一定义，并在这一定义下与同样具有非接触性特点的文本分析法、文献研究法等方法区分开来。应用这种方法进行研究时，需要先根据研究需要确定要分析的材料（分析单元），选取样本，编制类目体系和相应的编码方法，以此为依据对样本中的非结构或半结构材料逐一分析，将其转化为结构化的、可统计分析的数据，再对数据进行统计分析，对分析结果进行讨论，揭示研究对象的内在规律性。

1.1 样本选取及材料的结构化

在CNKI平台上依次用“教育”和“内容分析法”（或“内容分析”）等关键词对发表在国内所有中文学术期刊、报纸、辑刊上的论文（含学位论文）进行搜索，将搜到的论文又按照上述内容分析法的定义及特点对论文数据进行了清理，最后得到了由873篇论文构成的教育内容分析论文（用内容分析法研究教育问题的论文）样本。同时，作者构建了如下页表1所示的类目体系和编码方法，又据此将样本中的每篇论文的信息做结构化分析并录入到SPSS统计分析软件的数据表中，使其成为可直接统计分析的数据[6]。

1.2 统计分析

1.2.1 变量设定及测度指标

（1）变量设定

要探讨论文影响力的指标优化问题，必须分析新旧指标的优劣情况。显然，如果论文影响力的某一指标值受论文发表时间、论文研究问题所属领域、作者单位类型这些因素的影响更小，则可以认为这一指标更具有普适性，对论文影响力的评价及横向比较，会更科学有效。所以，本文将论文发表时间、论文研究问题所属的领域（以下简称“所属领域”）、作者单位类型三个因素设定为解释变量，被解释变量显然是论文影响力，被解释变量的值就是论文影响力的指标值。

表1 类目体系

（2）论文影响力的测度指标

首先被引频次和被下载频次可以表示论文影响力，但是这两个“频次指标”的值都是随论文发表时间而变化的“累积量”，用这两个频次指标直接衡量论文的影响力及进行相关横向比较时，在科学性上存在问题。所以，为了控制“时间累积”的影响，本文提出并采用“年均被引频次”和“年均被下载频次”作为论文影响力的测度指标，并将这两个指标统称为“率指标”，计算公式如下：

一般说来，年均被下载频次高，代表人们对该论文的关注程度高，意味着该论文有可能对下载者将来的学术研究产生影响，所以可以说年均被下载频次表示的是一种潜在的影响力；而年均被引频次高，则意味着该论文对引用者的学术研究已经产生了实际影响，所以它表示的是实际既成的影响力。

1.2.2 统计分析方法及所用工具

由于本文设定的解释变量中的“所属领域”和“作者单位类型”都属于定类变量，所以本文不采用一般回归分析方法探讨论文影响力的影响因素，而拟对通过各类论文间的影响力进行差异性检验来探讨影响因素问题：若检验结果表明差异显著，则可以断定相应因素是对论文影响力有显著影响的因素，否则，就断定不是影响因素；对于论文发表时间这个因素，则通过对论文影响力指标值的年度变化折线的直观考察进行探讨。

本文所有分析结果包括图形，都是采用统计分析软件IBM SPSS22.0并结合自编程进行分析得到的。

2 结果分析

从1986年7月我国发表第一篇教育内容分析论文，到2015年4月（本文的数据收集时间），历时29年9个月，总共发表教育内容分析论文873篇，月均发表2.53篇，年均发表30.36篇。教育内容分析论文影响力的频次指标值和率指标值的基本统计描述结果见表2。无论采用哪一类指标，教育内容分析论文的影响力都显著高于一般教育论文。

表2 教育内容分析论文的影响力的两类指标值的统计描述

2.1 论文发表时间对论文影响力率指标值的影响低于其对频次指标值的影响

计算出各年度发表教育内容分析论文（以下简称论文）的被引频次和年均被引频次的篇均数值，由此绘出二者的年度变化折线（见图1），用同样的方法绘出各年度发表的教育内容分析论文的被下载频次和年均被下载频次的篇均数值的年度变化折线（见图2）。

图1 各年度发表的论文的被引频次及其年均值的变化

图2 各年度发表的论文的被下载频次及其年均值的变化

可以看出，相对于频次指标值随论文发表时间大幅波动，率指标值则波动很小，表明论文影响力的率指标值受论文发表时间的影响较小。从图1和图2还可以看出，用率指标衡量论文的影响力，新近发表的论文的影响力不像采用频次指标时那么低，这较符合强调学术人员的新研究成果的学术评价原则。

2.2 所属领域对论文影响力的频次指标值影响显著，对率指标值影响不显著

按论文研究问题的所属领域分别统计论文数量，结果如表3的第三列所示。可以看出，运用内容分析法最多的三个领域依次是教育技术和远程教育、高等教育、中等初等教育，这三类论文占教育内容分析论文总数的80%以上。进一步统计各领域论文的影响力的率指标值和频次指标值并列入表3。

表3 不同教育领域的论文的影响力的统计描述

由表3可以看出，用各指标对这三类论文的影响力进行比较，结果都是教育技术和远程教育论文最高，其次是高等教育论文，中等初等教育论文最低。不过，方差分析的结果表明，影响力的率指标值在这三类论文间差异都不显著，但频次指标值差异都显著。所以，研究问题的所属领域对论文影响力的率指标值影响不显著，对频次指标值影响显著。

2.3 作者所属单位的类型对论文影响力的两类指标值均无显著影响

873篇教育内容分析论文中，有1篇未标注作者单位，其他872篇论文的第一作者的单位可以归结为师范普通高校、非师范普通本科高校（不含高职高专）、其他高校（含电大、党校、高职高专、国外高校等）及高校外机构四类，对相应的四类论文的数量分布及论文影响力的两类指标值的统计描述结果见表4。可以看出，采用内容分析法研究教育问题的作者主要来自师范普通高校和非师范普通高校，来自这两类高校的教育内容分析论文占该类论文总数的90%以上。另外，对各指标下四类论文的影响力值分别进行方差分析，结果表明，两类指标下四类论文的影响力均无显著差异，这表明，作者所属单位类型对论文影响力的两类指标值的影响都不显著。

表4 不同类型单位作者的论文影响力基本统计

3 讨论及建议

上述分析结果表明，在论文发表时间、研究问题的所属领域、作者单位类型这三个因素中，论文发表时间、研究问题的所属领域对频次指标测度的论文影响力都有显著影响，但对率指标测度的论文影响力的影响都不显著，作者单位类型对两类指标测度的论文影响力均无显著影响。

基于此种分析结果，本文认为，年均被引频次和年均被下载频次这类率指标更适合作为论文学术影响力的测度指标。目前，学术论文成果评价实践中大多采用被引频次作为学术影响力测度指标，但被引频次数值受论文发表时间影响太大，若其他情况一样，则越是“老论文”，被引频次越大，越是“新论文”，被引频次越小，以此评价学术影响力便会与强调新成果的学术评价原则不相吻合；更重要的，上述分析结果表明，论文的研究问题所属领域会显著影响被引频次，这将带来跨领域、跨学科学术评价和比较中的非科学性和非公平性。而上述分析结果表明，用年均被引频次和年均被下载频次共同作为论文影响力的测度指标，就能较好地解决这样的问题。还有，年均被引频次测度“既成的”、已经实现的影响力，年均被下载频次测度“潜在的”影响力，同时应用这两个率指标进行论文学术影响力的评价会更全面、更客观、更有效。