四川省医药卫生软科学类第三方科技成果评价指标体系研究

李 倩，魏 巍，郭逸婧，陈 果，覃雪静，曹玉莹

(四川省卫生健康政策和医学情报研究所，四川 成都 610041)

科技成果是指通过科学研究与技术开发所产生的具有实用价值的成果。科技成果评价指受托方根据委托方明确的目的，按照规定的原则、程序和标准，运用科学、可行的方法对科学技术活动以及与科学技术活动相关的事项所进行的论证、评审、评议、评估、验收等活动[1]。四川省科学技术厅2017年7月印发《四川省科技成果评价改革试点方案》的通知指出：“为适应新形势新要求，必须加紧改进和规范科技成果评价，通过采取先行试点、总结经验、稳步推进的工作方式，积极探索科学明晰、规范高效、客观公正的科技成果评价指标、评价规范和评价机构，逐步建立和完善适应社会主义市场经济和科技发展要求的科技成果评价体系”[2]，并授予四川省卫生健康政策和医学情报研究所、四川省科学技术信息研究所、四川省农村科技发展中心等10家单位为试点单位。

医药卫生软科学研究以解决医药卫生发展中的决策、组织和管理问题为主要内容，以促进医学与社会、经济、科技等各方面的协调发展及医药卫生体系内部的协调发展为目标，是应用自然科学、社会科学等理论和方法所进行的多学科、多层次的综合性研究[3]。作为四川省内10家试点单位中唯一的一家医疗卫生机构，四川省卫生健康政策和医学情报研究所组织专家，针对医药卫生软科学类科技成果的特点和要求，通过文献研究法、专题小组讨论、小型专家会议、专家咨询法(Delphi)和层次分析法，建立四川省医药卫生软科学类第三方科技成果评价指标体系。

1 研究对象与方法

1.1 研究对象

分别从四川省内三甲综合医院、医学院校和卫生行政部门中遴选出经验丰富的学者、临床医生、科研管理及卫生行政管理的权威专家学者共15人作为研究咨询对象。

1.2 研究方法

本研究采用文献荟萃分析、专题小组讨论和小型专家会议初步筛选评价指标，形成指标体系基本框架；使用Delphi法确定评价指标；使用层次分析法计算指标权重系数。

2 结果

2.1 形成指标体系基本框架

围绕第三方科技成果评价的主要内容及医药卫生软科学类的学科特点，搜集分析相关文献资料，课题组围绕研究主题进行专题小组讨论，形成相关的指标库。邀请专家进行专家现场会议，从指标库中初步筛选评价指标，形成用于专家咨询的指标基本框架。

2.2 使用Delphi法对指标体系进行筛选

2.2.1 设计调查问卷

根据草拟的评价指标体系设计专家咨询问卷，进行第一轮电子邮件函询。咨询问卷第一部分为对各级评价指标的判断，包括是否同意各指标及对各指标的建议；第二部分为专家基本资料、熟悉程度及判断依据调查表。根据第一轮的结果进行分析、整理、修改进行第二轮函询，包括第一轮咨询问卷的反馈意见、各级评价指标相对重要性程度判定表、评分参考标准。再次整理分析回收的问卷，直至专家意见较为一致时结束调查。

2.2.2 专家的基本情况

专家年龄集中在40～60岁，占80%；本科及以上学历占93.33%，其中博士研究生占40%；全部为副高级职称及以上；工作年限均大于10a，见表1。

表1 专家的基本情况

2.2.3 专家的积极程度

专家对咨询的重视程度由积极系数来反映[4]。积极系数(问卷回收率)=(回收的问卷数/发出的问卷数)×100%。本次研究中第一轮、第二轮咨询专家均发出问卷15份，回收15份，积极系数均为100.00%。

2.2.4 专家的权威程度

专家的权威程度(Cr)是由熟悉程度(Cs)和判断依据(Ca)来决定，Cr=(Cs+Ca)/2。熟悉程度根据不同的熟悉水平划分为：非常熟悉、比较熟悉、一般、不太熟悉、不熟悉5个等级，分别赋值为1.0、0.8、0.6、0.4、0.2；频数依次为：8(53.33%)、6(40.00%)、1(6.67%)、0(0.00%)、0(0.00%)。Cs=∑MjWj/M，本研究Cs=(8×1+6×0.8+1×0.6)/15=0.893。

判断依据可划分为实践经验、理论分析、参考国内外文献、直观感觉4个方面，根据影响程度分别赋值为1.0、0.8、0.6，见表2。Ca=(27×1+26×0.8+7×0.6)/15×4=0.867，通常认为Cr≥0.70 时，该研究具有较好的可靠性[5]，本研究Cr=0.880。

表2 专家判断依据频数频率分布

Cr=Cs+Ca/2=(0.893+0.867)/2=0.880

2.2.5 专家意见的协调程度

专家意见的协调程度用Kendall 协调系数表示，反映专家意见的一致性程度，其范围在0～1，越接近1表明协调性越好[6]。本研究在两轮咨询后，Kendall 协调系数由0.278上升至0.402，且P<0.01，表明经两轮咨询后专家意见一致性程度较高。

2.2.6 确定评价指标

根据咨询结果，计算专家对指标是否纳入指标体系的同意率，80%以上的专家同意作为纳入标准；对专家提出的文字性意见，有2名及以上专家提出相同意见的，则采纳[7]。本研究咨询结果：有3名专家认为一级指标“学术水平”相对于二级指标表述不准确，应改为“科技水平”；有2名专家认为一级指标“学术价值”太笼统，且与其它一级指标内容有重复，建议与其它一级指标合并；2名专家认为软科学研究应体现卫生事业发展的需求，建议增设相关指标；2名专家建议增设“推广应用”一级指标；9名专家认为二级指标“生态效益”与医药卫生特点不符，建议删除。

2.2.7 确定指标权重

权重(Weight)是一个相对的概念，指该指标在整体评价中的相对重要程度。确定权重的主要方法有层次分析法、比例分配法、变异系数法和嫡权法、路径分析法等[8]，本研究采用层次分析法确定一、二级指标权重。基本步骤如下。

(1)建立层次结构模型。本研究评价指标分为三层，目标决策层为医药卫生软科学类第三方科技成果评价，准则层设定4个指标，分别为科技水平、推广应用、成果产出、成果效益。每个一级指标下又包含若干个二级指标。

(2)应用层次分析法建立判断矩阵。第二轮专家咨询问卷中，请专家对4个一级指标与10个二级指标进行同层次的比较，根据指标相对重要程度，用1～9进行打分，最后将数据整理转化成各级指标的判断矩阵。

(3)计算权重。得到各级指标的判断矩阵后，应用软件对一级、二级指标权重进行计算，并进行一致性检验，最终构建出指标体系，见表3。

表3 医药卫生软科学类第三方科技成果评价指标体系

3 讨论

3.1 指标体系建立方法的科学性

研究方法的科学性能保证研究结果的可靠性。我国早期的科技成果评价以定性评价为主，之后注重定量评价，目前以两种方法结合为主。本研究中，采用定性与定量相结合的方法构建指标体系，在指标体系的二级指标中定性指标7个(包括创新性、难易程度或复杂程度、与国家/地方卫生事业发展战略的紧密程度、学术贡献、社会效益、潜在价值、转化价值)，定量指标3个(包括成果产出、对决策科学化和管理现代化的影响程度、经济效益)，并结合了文献研究、专家会议、专家咨询的方法，使结果相对合理和准确，在方法学上相对比较科学。

3.2 指标筛选方法的可靠性

本研究主要采用了Delphi法来筛选指标，在此之前，课题组进行了文献研究与专家会议，广泛借鉴、采纳前人研究的经验与专家的建议，为建立可靠的评价指标奠定了基础。Delphi法广泛用于指标体系的研究和预测，其结果的可靠性主要取决于专家的代表性、积极程度、权威程度、协调程度等因素。

Dephi法成功与否的关键在于专家人数和专家知识这两个方面。一般而言，专家人数根据研究项目的规模而定，以15～50人为宜[9]，本研究专家咨询人数为15人，在数量上也达到了要求。从专家的来源、学历、职称、工作岗位和工作年限看，本研究两轮专家咨询中，所邀请专家专业领域上彼此有交叉，在其工作领域也有较高的建树，各位专家对科技评价工作也比较熟悉，所以专家的知识结构达到了要求。

对于Dephi法咨询的问卷回收，一般认为，当问卷回收率在70%以上时表明专家参与度较高[10]，本研究两轮专家咨询中，问卷的回收率均为100%，说明专家对本研究高度重视，符合研究要求。一般而言，Cr≥0.70 具有较好的可靠性，本研究专家权威系数为0.880，表明所邀请的专家权威程度较高。两轮咨询专家的Kendall 协调系数分别为0.278、0.402，表明经过两轮咨询后专家意见分歧减少，一致性程度较高，协调程度较好。

虽然Dephi法的主观性较强，但根据所选专家的特点，经过统计分析，专家的积极程度、权威程度、协调程度均达到了统计学的要求，所以说指标筛选方法合理，筛选结果可靠。

3.3 指标权重的准确性

本研究采用层次分析法确定指标权重。层次分析法是在主观数据的基础上，采用数量统计的方法计算指标权重。与一般的主观赋权法相比，层次分析法应用数量统计的方法有助于减少主观性，此外，它还提供了一致性检验，以确保专家思想逻辑的一致性。虽然主观数据受专家个人影响较大，但本研究所选的15名专家，具有丰富的专业知识和实践经验，指标权重的设置通过多轮调查至专家协调程度较高，可最大程度降低主观判断的随意性，确保得到的指标权重相对准确。

3.4 指标体系的针对性

《四川省科技成果评价改革试点方案》指出，试点评价机构应当对不同类型成果，采用不同评价指标进行评价。不同类别的成果，如软科学研究、基础理论研究、技术开发研究、成果推广研究等，由于研究目的不同，成果形式的各异，应当有不同的评价方法和评价标准。软科学研究成果评价应注重成果对决策科学化和管理现代化的影响程度，以及与国民经济、社会、科技发展战略的紧密程度等[2]。故本研究在“分类成果评价”的指导思想下，针对软科学的学科特点制定指标体系，所建立的指标体系以创新性、与国家/地方卫生事业发展战略的紧密程度、对决策科学化和管理现代化的影响程度作为重要参考指标，论文的发表和专利的获取等成果产出，以及社会经济效益等在科技人才评价和技术开发研究、成果推广研究中占据重要地位的客观指标相对并不重要。因此，本研究建立的评价指标体系具有一定的针对性。

3.5 指标体系的导向性

一套科学、有效、可操作强的评价指标体系具有指挥棒和风向标的作用。四川省医药卫生软科学类第三方科技成果评价指标体系的建立能够为广大科技工作者明确努力的方向，使其能对照评价指标体系要求，根据需求积极探索开展新研究。首先，医药卫生软科学类研究应与当前卫生政策紧密结合，为有关领导和管理部门进行决策和制定规划提供科学依据。其次推广应用是重要评价指标，研究成果只有实现了转化和利用，才能使其在卫生管理科学化和深化卫生改革中真正发挥作用。

4 结论

本研究在“分类成果评价”的指导思想下，根据医药卫生软科学类的学科特点构建由科技水平、成果产出、推广应用、成果效应 4个一级指标、10个二级指标构成的四川省医药卫生软科学类第三方科技成果评价指标体系。指标体系为科学合理评价医药卫生软科学类科技成果提供依据，对提高科技成果评价质量，推动卫生事业发展有重要意义。本指标体系在后期将投入四川省第三方科技成果评价工作中，进一步对指标进行实证研究，验证其科学性、有效性及可操作性，并根据实证结果进一步优化指标体系。