一种基于CNKI平台的人文社会科学论文评价体系

●王迎春，郑建明（南京大学 信息管理系，南京 210093）

1 引言

人类精神活动与社会活动的特殊性使得人文社会科学与传统自然科学相比有着自身的特点，因而对其研究成果的评价，与自然科学相比在许多方面存在着差异。人文社会科学的复杂性、非理性、变化性，评价理论依据的缺乏，使评价实践的可行性降低，长久以来并没有建立起一套切实可行的评价方法和体系。

囿于价值的主体性、价值判断的主观性，以寻求共识性价值判断为目标的人文社会科学评价，就必须由个体层面的判断上升为适用于评价群体的、可控的、更加规范的价值认定方法。本文即是基于这一认识基础上的尝试。该评价体系设计的目的旨在将优秀的学术论文从海量文献中区分出来，并考虑不同学科的特点，设计出符合该学科发展的评价指标体系。

作为我国三大中文数据库系统之一，CNKI涵盖了国内7000多种期刊、1000多种报纸、300多家博士培养单位优秀博硕士学位论文等众多资源，提供了比较全面和先进的信息服务。它不但是一个学术论文库，同时也是一个庞大的知识库。然而随着人文社会科学学术的繁荣发展，CNKI数据库中的海量信息，使得研究者们在检索某一主题文献时会出现成百上千的数据，人们对更高层次的个性化知识管理与服务需求越来越迫切。如果能够合理利用其中的资源，构建一个学术评价的平台，就可以较为全面地、科学地对研究成果进行评价。选取CNKI数据库的原因即是如此。

2 人文社会科学的评价标准

对人文社会科学研究成果的界定众说纷纭，总的来说，人文社会科学“科研成果”必须具有4个基本特征：

——创新性，指研究成果需提出新的学说、理论、观点和方法，或做出新的事实描述，或应用新方法、新资料得出新的结论。

——科学性，指研究成果的理论依据正确，研究资料可靠、准确，研究方法科学、适用，论证、推理合乎逻辑。

——价值性，指研究成果对解决经济社会发展中的理论问题、现实问题，或对学术发展，具有推动作用和参考价值。

——规范性，指研究成果需符合学术研究规范，并通过一定的方式（如发表、上报）得到社会和学术共同体的承认，成为知识传承的阶梯。

人文社会科学不同于自然科学，更强调“现实关怀”。社会效用是人文社会科学的最高标准，该指标虽表现为主观，然而通过其效用功能的细化，我们力求尽可能地客观、公正地评价人文社会科学研究成果。这4个特征是我们设计评价指标所遵循的原则。

3 评价方法回顾

综观国内各界对科学成果评价问题的认识与研究现状，目前广为使用且有一定效果的评价方法主要是同行评议、定量评价法和综合评价法。

（1）同行评议。同行评议方法是一种定性评价方法。在西方学术界早已通行，并被认为是一种更符合科研特点的评价方法。这一评价方法的优点是可以充分发挥同行专家的智慧和经验的作用，适用于某些因素不能量化背景下的成果评价。不足之处是主观性较强，“在评价过程中缺乏公认的评价标准，加上受诸多学术和非学术因素的影响，容易流于形式”。［1］

（2）定量评价方法。定量评价大致可以分成两个阶段：第一个阶段是指标量化评价时期。该阶段是为了弥补同行评议的不足之处，采取某种评价指标体系来进行定量的评价。但是具体操作起来还是难以把握。该方法第二个阶段是科研计量评价时期，即常说的引文评价。该阶段兴起始于《科学引文索引》（CSCI）和《中文社会科学引文索引》（CSSCI） 的研制成功和应用，目前成为我国主要的科学评价工具之一。但是，这种单纯的计量方式，随着学科领域、学术环境、作者引用动机等不同变因的影响，存在着一定的偏差。

（3）综合评价方法。目前学界普遍认可的观点是将定量评价与定性评价有机地结合起来，互相补充。同行评议能够发挥专家的特长和优势，文献计量学则给专家评议的主观判断提供客观数据作为参考。二者的有机结合，正是定性定量结合的最好体现。在面对一些复杂的对象和问题的时候，综合评价方法成为普遍为学界认可的人文社会科学评价的主要方法。在本文中，作者亦认同此方法。

4 评价体系设计

从评价主体、评价客体、价值判定指标等方面给出该体系的一个总体框架；根据两大判定指标被引次数和好评率对评价标准和依据进行理论化的阐述；最后说明该评价体系的具体实现过程。

4.1 评价主体

评价主体是指评价的实施者，即谁来评价。在这个评价体系中，评价主体是多元的。可以是学者、专家、同行个人或群体、学术机构、科研管理部门等。每个人都可以根据自己的标准对本专业的论文进行评价。我们希望通过这一体系的建立，能有更多的人发挥其评价的主体作用，并最终形成一种学术共同体评价机制。

“学术共同体，是指有着共同学术目标、有着专门学术训练、以学术研究为志业、大体自治的学者组成的群体”，［2］他们比外行更清楚某人或某成果在学术上所达到的高度及应用前景。

4.2 评价客体

学术论文是一种最常见的科学交流形式，是新的科学成果或有创新性的见解和知识的记录，具有科学性、理论性、创造性和规范性。本文仅针对正式发表的论文类人文社会科学研究成果进行评价体系的构建。因此，评价客体就是人文社会科学学术论文。

4.3 评价的价值判定指标

评价指标可以看成是评价标准的细化。在上述理论的指导下，我们设定了1个外部指标和4个内部指标，这4个内部指标即是好评率的具体体现。

（1） 外部指标主要是指被引次数。以CSSCI为例，其提供的引文分析法不失为一种重要手段。也就是说，一篇文章在他人的学术研究中被大量引用，说明该论文对这些学者的研究产生了较大影响。被引次数越多，产生的学术影响力也越大。当然，该指标只是对科研论文的一种测度。某一篇科研论文的被引频次高并不一定完全表明它是一流的。在人文社科领域，“被广泛采用的研究方法或提供基础性资料的论文确实有可能比发现一种新的理论或有学术创建的原始论文更加频繁地被引用”，［3］因此，CSSCI引文分析说明不了科研工作的性质、效用或影响力背后的真正原因。而这些原因只能通过被引材料的内容分析或同行专家的评议才能够探究清楚。其他基于引文的评价系统也存在相同的问题。因此，我们需要引出好评率这一内部指标，这一指标是影响力度的具体体现。

（2）内部指标主要是读者对论文的评价，即好评率。读者在阅读完一篇论文后，有权对该论文的情况做一个评价，这个评价便称为好评率评价。好评率评价规则仅适用于基于CNKI平台的阅读者对其阅读论文的评价操作及查看。每个读者对文章都会有不同的看法，但我们主要从新颖性和效用性方面进行考察。

新颖性评价，即读者觉得文章有所新意即可。所谓“效用”是指研究成果对解决经济和社会发展中的理论问题、现实问题，或对学术发展具有推动作用和参考价值，也就是从理论和应用两方面对论文进行评价。一般来说，“学术研究可以划分为‘为学术而学术’和‘为现实而学术’两种。前者强调学术的纯粹性，后者强调学术的时代性”。［4］由此，引申出3个具体指标：① 阅读者个体感受到的“现实关怀”。研究成果的大小对社会的影响不仅体现在其广度和深度上，更重要的是体现在其研究方向上，所以产生积极正面影响的研究成果就是有价值的。这一指标的特征是开放性。② 作为基础理论研究对该学科的其他研究有价值，符合该学科的学术规范。③ 为研究和解决重大现实问题提出独创性的见解或可操作性的建议，甚至产生显著的经济效益和社会效益。

被引次数和好评率既作为检索项，也出现在读者查阅某一主题文献时一系列文献的外部特征中，目的是对该主题文献进行排序，为读者提供具体参考信息，方便文献的筛选。

4.4 评价的具体实现

评价的总体程序：读者对文献的4个内部指标进行“好、一般、差”的评价，并给出一个文章的综合评价，亦可发表自己的观点。好评率（具体计算方法见下文评价的具体实施）、内部标准的平均得分以及被引次数结合起来作为该文章的综合考虑对象。好评评价越多，好评率越高，文章质量就越高。

（1）读者在阅读完一篇论文后，有权对该论文的情况（即4个内部评价指标）作一个评价，并对文章做一个整体评价。读者评价可匿名，但是需要实名注册。登陆后，每个读者对每篇文章只能评价一次。评价页面中id不显示或部分显示，以防一些不规范的操作行为。

（2） 评价计分：“好”加3分，“一般”加1分，“不好”0分。

（3）引用学术论文的读者，在论文发表的一个月内，需对被引文章作出评价，若未作出评价，系统将自动默认给予“好”的评价。

（4）作为评价的主体，作出评价后都会有一个信用积分。评价一篇文章得1分。积分实行会员奖励机制。

（5） 好评率的计算方法：“好”的数量/（“好”的数量+“一般”的数量+“不好”的数量）

（6） 评价积分的显示：评分成功后，立即生效，一旦生效即无法修改，评价内容和评价者的信用评价将即时在CNKI页面上显示并计分。无论是好评率评价和信用评价都分级别进行。

4.5 评价体系的设计特点

坚持定性评价与定量评价相结合，定性评价采用量化指标；以效用评价为主，注重理论和实践相结合；在评价过程中，既重视理论上的创新性，又重视成果的社会效益和经济效益；尊重学科发展特点，在存异的基础上求同；个别评价与集体评价相结合。

与以往的人文社会科学论文相比，该评价体系的优点采用了综合评价方法，不仅对评价对象综合分值的大小进行评价的排序，而且根据不同的评价指标上的值按最大隶属度原则去评定对象所属的等级；可使用的信息量丰富；方法简单易行。当然也存在一些不足：评价过程大量存在人的主观判断；目前还不能解决评价信息的重复问题。

5 结语

人文社会科学学术评价是个复杂体系，涉及到多方面内容，本文选取的评价客体是基于CNKI平台的学术论文，以寻求共识性价值判断为目标。从知识的三要素可以推论出，所有的评价都可以分成形式评价、内容评价和效用评价3种方式或评价指标的3个方面。在这个观念的指导下本文提出了以凭借社会视野范围的评价理念，以质量为导向，综合运用被引次数和好评率两个指标，从定性定量方面对人文社会科学学术论文进行评价，有利于增强人文社会科学研究者的社会责任感，促进科研资源的合理配置，从而促进学术研究向更加规范化的方向发展。

［1］吴述尧．同行评议的对比研究［J］．中国科学基金，1993（2）：133－137.

［2］叶继元．人文社会科学评价体系探讨［J］．南京大学学报（哲学·人文科学·社会科学版），2010（1）：97－160.

［3］王周谊．论CSSCI引文分析作为人文社会科学评价方式的应用前景［J］．北京行政学院学报，2009 （1）：92.

［4］侯杰．当前历史学研究的内在困境与外部危机［J］．河北学刊，2004（6）：157－161.