基于改进的CRITIC法和云模型的科技奖励评价研究

2014-09-27 17:29王瑛蒋晓东张璐

湖南大学学报·自然科学版 2014年4期

关键词：权重专家指标

王瑛+蒋晓东+张璐

文章编号：16742974(2014)04011807

收稿日期：20131030

基金项目：国家自然科学基金资助项目(71340003)

作者简介：王瑛（1964-），女，湖南汉寿人，湖南大学副教授

通讯联系人，E-mail:wangying31106@163.com

摘要：针对科技奖励评价问题，用标准差系数改进CRITIC法对专家评分进行动态赋权，结合云模型用逆向云发生器构造模糊评价矩阵，用虚拟云计算出评价项目的期望、熵和超熵，得出评价结果并排序．既考虑了科技奖励评价过程中专家评分的模糊性和随机性，又实现了定性语言与定量数值之间的转换，减少了专家主观因素的干扰，使评价结果更加准确、客观.

关键词：云；改进的CRITIC法；科技奖励评价

中图分类号：G311 文献标识码：A

Research on the Evaluation of Science and Technological Awards

Based on Improved CRITIC Method and Cloud Model



WANG Ying，JIANG Xiaodong，ZHANG Lu

(College of Finance and Statistics, Hunan Univ, Changsha, Hunan 410079, China)

Abstract: To address theproblems in the evaluation of science and technology awards, this paper proposed an improved CRITIC method, which was modified by coefficient of standard deviation to carry on the dynamic empowerment. And combined withcloud model, the method used reverse cloud generator to construct a fuzzy evaluation matrix and usedthe virtual cloud to calculate the expectation entropy and hyper entropy of evaluated project to get and sort the evaluation results. This method can consider the fuzziness and the randomness of expert score in the evaluation of science and technology awards, and realize the conversion between the qualitative linguistic and the quantitative numerical value, thus reducing the interference of expert subjective factors and making the results more accurate and objective.



Key words: clouds; improved CRITIC method; the evaluation of science and technology awards



科技奖励制度是中国科技工作的一个重要组成部分，也是国家促进科技创新和发展的一种举措，它对于激发科技工作者的工作积极性，鼓舞科技工作者的创造热情，促进科技工作与经济发展相结合等各方面都有重要作用.如何公正、客观、有效地评价科技成果，为指导科技奖励评价提供理论和方法依据，显得尤为重要.因此，研究和完善科学的科技奖励评估机制，并将科学评价理论、方法和技术运用到科技奖励评审工作中成为新时期科技奖励研究的重点内容.

对于科技奖励综合评价方法的探索，不少专家在这方面都进行过研究.如：石磊等[1]用模糊决策理论对科技奖励评价建立数学模型，并探讨用该模型进行科技奖励评价的步骤．李茹等[2]在分析传统综合评价方法的基础上，将主观评价与客观评价相整合，提出了一种基于模糊集理论的组合赋权模糊综合评价方法，对项目完成情况进行横向与纵向的比较后采用组合赋权法进行评价．刘业政等[3]提出根据专家个体决策与群体决策之间的偏离度计算专家权重，并用熵值法计算属性权重，以新的权重计算出专家个体决策与群体决策的差异，保证项目评价的客观性．张立军等[4]建立信度系数分析模型，计算单个专家评分的信度系数，根据单个专家对项目的排序与综合排序之间的一致性，测量专家评议的质量．王瑛等[5-7]提出了EBP科技奖励综合评价智能模型、最小二乘支持向量机模型和基于改进DS证据理论的TOPSIS模型．金聪等[8]采用定性定量相结合的方法，将人工神经网络模型与模糊系统的理论和方法相结合实现对科技成果奖励的智能评审.

湖南大学学报(自然科学版)2014年

第4期王瑛等：基于改进的CRITIC法和云模型的科技奖励评价研究

针对科技奖励评价涉及多个指标、多个专家、多个项目的特点，本文提出了一种新的评价方法, 采用改进的CRITIC法对专家进行动态赋权，结合云模型对科技奖励进行综合评价.该方法既考虑了专家动态权重，又考虑了指标权重，将专家评分的模糊性和随机性相结合，实现了定性语言与定量数值之间的转换，降低了专家评分主观性影响，使评价结果更加科学、准确和客观.

1 基于改进CRITIC法的专家动态权重

在综合评价中，各个专家受其自身知识结构、对评判项目熟悉程度以及个人偏好等因素的影响，对评判项目的评分存在差异，因此，在综合评价中有必要考虑到不同专家意见的重要性，有必要对专家赋权.

根据专家赋权所考虑的因素划分，专家赋权方法可以分为两类：一类是根据专家有关的先验信息为专家赋权，此时赋予的权重是对专家知识、经验、水平等的综合数量表示，据此确定的专家权重被称为主观权重[9]；另一类是根据专家提供的判断信息质量对专家进行赋权，据此确定的专家权重被称为客观权重[10].一般情况下，专家的主观权重是事先赋予的，不随专家给出的评判信息的质量而改变，故主观权重其实是一种静态权重，而专家的客观权重随其给出的评判信息质量改变，因而客观权重是动态的，称之为专家动态权重.本文根据各个专家对各项目的各项指标的评分对专家进行动态赋权.

1.1 CRITIC法的基本原理

CRITIC法是由Diakoulaki于1995年提出的一种新的客观赋权方法，它是以特征的对比强度和特征的冲突性两方面来综合确定特征的客观权重[11].用CRITIC法对专家动态赋权，对比强度表示同一个项目各专家评分差距的大小，用标准差来表示，标准差的大小表明了各专家评分方案差距的大小，标准差越小说明各专家评分差距越小，所赋权重应越大，反之则越小；冲突性则是用专家评分间的相关性来衡量，如果2个专家评分之间具有较强的正相关则说明冲突性较低，所赋权重应较大，反之则越小.

1.2 基于改进的CRITIC法的专家动态权重

设有n个评价项目A1,A2,…，Ai,…，An，m个评价指标P1,P2,…，Pj,…，Pm以及r个评分专家C1,C2,…，Ck,…，Cr，组成评价指标的样本集xkij如表1所示.

表1 专家评分的原始数据

Tab.1 The original data of expert score

C1

…

Cr

P1

P2

…

Pm

…

P1

P2

…

Pm

A1

x111

x112

…

x11m

…

xr11

xr12

…

xr1m

A2

x111

x112

…

x11m

…

xr11

xr12

…

xr1m



An

x1n1

x1n2

…

x1nm

…

xrn1

xrn2

…

xrnm



CRITIC法是用标准差来衡量对比强度绝对变动的方法，用标准差系数这一相对变动来进行改进［12］，以减少专家评分差异程度的影响．

对于特定评审项目Ai，用f(k)ij表示第k个专家Ck对指标Pj评分所包含的信息量和独立性的综合度量，用标准差系数uij来反映对比强度，用∑rl=1γkl来反映专家Ck与其他专家间的冲突性，其中γkl表示第k个专家与第l个专家之间的相关系数，则f(k)ij表示为：

f(k)ij=1uij∑rl=1γkl. (1)

式中：uij=σijij，xij=1r∑rk=1x(k)ij，σ2ij=1r∑rk=1(x(k)ij－xij)2.

因此，f(k)ij越大表示第k个专家Ck评分所包含的综合信息量越多，即该专家的相对重要程度越大，所赋权重也应该越大，所以第k个专家Ck的客观权重w(k)ij应该为：

w(k)ij=f(k)ij∑rk=1f(k)ij，j=1,2,…,m.(2) 

由于专家对每个项目中的每个指标的判断和评分情况都不同，因此对于每个项目中每个指标的各位专家的动态权重可用以下向量来表示：

Wij=(W1ij,W2ij,…,Wkij,…,Wrij) .

从表1可知，对于特定项目Ai，专家Ck的第j个指标值为xkij.专家Ck的第j个指标Pj的客观权重为w(k)ij，则考虑专家权重后第j个指标Pj的得分可以表示为：

ykij=w(k)ijx(k)ij，i=1,2,…，n.(3)

2 云模型

2.1 云的概念及其数字特征

云模型由中国李德毅在90年代初期提出的，它是在随机数学和模糊数学的基础上，用于刻画语言值随机性、模糊性及二者间的关联性的一种方法.云模型综合考虑了不确定概念的随机性和模糊性，实现了不确定语言与定量数值之间自然转化[13].

设U为一论域，U={X}，T为与U相联系的定性语言，GT(X)是U中的元素X对于T所表达的定性概念的隶属度，它是一个具有稳定倾向的随机数，其在论域上的分布称为隶属云，简称为云，每个X称为一个云滴(X,GT(x))[14].GT(X)在［0,1］中取值，云是从论域U到区间［0,1］的映射，即GT(X):U→［0,1］,x∈U,x→GT(X).

云的数字特征用期望Ex,熵En,超熵He 3个数值来表征[15],如图1所示.

云滴

图1云的数字特征示意图

Fig.1 Schematic diagram of the cloud

digital characteristics



期望Ex：云滴在论域空间分布的期望，是论域空间中最能代表定性概率的值，其确定度是1.

熵En：定性概念的不确定性度量，熵既度量了定性概念的亦此亦彼性,又度量了定性概念随机性,它反映了论域空间中可被语言值接受云滴的取值范围,同时代表定性概念云滴的离散程度.

超熵He：熵的不确定性度量，也就是熵的熵，反映了在论域空间代表该语言值的所有点的不确定度的凝聚性.

2.2 云发生器

云发生器，即云模型的生成算法，它是构造不确定性推理的基础，是建立定性和定量之间相互联系、相互依存、量中有性、性中有量的映射关系.

正向云发生器是由云的3个数字特征产生云滴，积累到一定数量汇聚为云，是从定性到定量的映射，它是一个直接、前向的过程，具体来说是从语言值的定性信息中获取定量数据的范围及分布规律.

逆向云发生器是由云滴产生云的3个数字特征，是从定量到定性的映射，它是一个间接、逆向的过程，具体来说是将一定数量的精确数据有效转换为恰当的定性语言(Ex,En,He)表示的概念，并据此代表这些精确数据所反映的云滴的整体，如图2所示.



图2 逆向云发生器

Fig.2 Reverse cloud generator

逆向云发生器是以统计理论为基础，其有2种基本运算方式：一种是包含确定度信息的运算，另一种是不包含确定度信息的运算.本文采用不含确定度信息的算法，算法如下[16]：

输入：样本点xi，其中i=1,2,…，n.

输出：这n个云滴所表示的定性概念的数字特征(Ex,En,He).

算法步骤：

1) 根据xi计算样本均值=1n∑ni=1xi，一阶样本绝对中心距1n∑ni=1xi-,样本方差S2=1n－1∑ni=1(xi－)2；

2) 期望Ex=；

3) 熵En=π2×1n∑ni=1xi－Ex；

4) 超熵He=S2－E2n.

2.3 虚拟云算法

虚拟云[17]是按照某种应用目标，对各个基云的数字特征进行计算，将得到的结果作为新的数字特征所构造的云，对于一个语言变量T,可通过基云定义为：

T{T1(Ex1,En1,He1),T2(Ex2,En2,He2),…，Tn(Exn,Enn,Hen)}.对各个基云进行逻辑运算——软“AND”或软“OR”得到的新云就是虚拟元T(Ex,En,He).

采用虚拟云理论中的一种综合算法，计算公式如下：

Ex=w1Ex1+w2Ex2+…+wnExnw1+w2+…+wn,

En=w21w21+w22+…+w2nEn1+w22w21+w22+…+w2nEn2+

…+w2nw21+w22+…+w2nEnn，

He=w21w21+w22+…+w2nHe1+w22w21+w22+…+w2nHe2+

…+w2nw21+w22+…+w2nHen．

式中：wi为第i个指标的权重；(Exi,Eni,Hei)为第i个指标的云模型参数；n为指标的个数.

3 改进的CRITIC法和云模型结合的科技

奖励综合评价步骤

假设在科技奖励中有n个评价项目{A1,A2,…，Ai,…，An}，m个评价指标{P1,P2,…，Pj,…，Pm}以及r个评分专家{C1,C2,…，Ck,…，Cr}，实施步骤如下：

1) 确定科技奖励评价的指标论域.目前，国家科学技术进步奖(社会公益项目)的评价设定了5个指标，其评价依据主要是技术创新程度P1，技术经济指标的先进程度P2，推广应用程度P3，已获社会、生态、环境效益P4和对科技进步的推动作用P5这5个指标，则评价指标论域为：

P=P1,P2,P3,P4,P5.

2) 确定评价指标的权重.权重是表征因子相对重要性大小的表征量度值,是为了使综合评价能够考虑各影响因素对总体影响程度的不一致性.引入P上的一个模糊子集S，称为权重分配集，S=(s1,s2,…，sm)，其中si>0,∑mi=1si=1. 

3) 确定考虑专家动态权重的模糊评价矩阵.以项目Ai为例，根据式(1)和式(2)计算专家Ck的第j个指标Pj的客观权重为wkij，根据公式(3)计算考虑专家动态权重后指标Pj的得分ykij.采用逆向云发生器计算模糊评价矩阵，得到对于特定项目Ai的评价矩阵：

Ri=r1r2rm=(Ey1,En1,He1)(Ey2,En2,He2)(Eym,Enm,Hem).

项目Ai的评价指标Pj(j=1,2,…，m)的专家评价结果云rj(Eyj,Enj,Hej)，每个专家对每个指标的评分都具有一定的随机性和模糊性，对于评价指标Pj可以打分为Eyj，则不同专家对于这个分数的评定一般在［Eyj－3Enj,Exj+3Enj］范围内，而Hej则进一步体现了主观评定的随机性.

4)利用虚拟云算法，计算项目Ai的综合评价结果：

Bi=S•Ri=s1,s2,…，sm•r1r2rm=s1,s2,…，sm•(Ey1,En1,He1)(Ey2,En2,He2) (Eym,Enm,Hem)=

s1Ey1+s2Ey2+…+smEyms1+s2+…+sms21s21+s22+…+s2mEn1+s22s21+s22+…+s2nEn2+…+s2ms21+s22+…+s2mEnms2ms21+s22+…+s2mHe1+s2ms21+s22+…+s2mHe2+…+s2ms21+s22+…+s2mHemT=(Ex,En,He)．

5) 计算n个项目的综合评价结果并排序. 同理，可以得到n个评价项目的综合评价结果为：

B=B1B2BnT=(Ex1,En1,He1)(Ex2,En2,He2)(Exn,Enn,Hen)T.(4)

由公式(4)得到每个项目的综合评价结果，再结合期望Ex、熵En、超熵He的大小排序，期望值越大排名越靠前，若两者期望相同，再比较熵En的大小，熵值越小(即稳定性越好)排名越好；若两者期望、熵都相同，则再比较超熵He的大小，超熵值越小(即随机性越小)排名越好.

4 实证分析

选取25位专家对中国国家科技进步奖(社会公益项目)24项科技成果的等级评价数据(数据来源: 科技部国家科学技术奖励工作办公室，原始数据略)，运用Matlab7.0软件进行实证分析.

1) 确定科技奖励评价的指标论域.根据原始数据确定科技奖励的评价指标论域为：

P=P1,P2,P3,P4,P5.

2) 确定评价指标的权重.根据给定指标的权重，得到与评价指标论域相对应的模糊子集S=(0.2,0.2,0.2,0.25,0.15).

3) 确定考虑专家动态权重的模糊评价矩阵.以项目A1为例，根据公式(1)和(2)求得25位专家的动态权重，如表2所示.

表2 25位专家的动态权重计算结果

Tab.2 The dynamic weights calculation results of 25 experts

[BHDFG2,WK7，WK5，WK5。4W]P1

P2

P3

P4

P5

C1

0.375 3

0.377 7

0.334 0

0.373 0

0.300 2

C2

0.121 2

0.172 7

0.235 7

0.236 4

0.182 3



C25

0.314 0

0.265 9

0.294 9

0.301 2

0.343 3 

根据公式(3)，得到考虑专家动态权重后项目A1各指标的得分，如表3所示.

表3 考虑专家动态权重后项目A1各指标的得分

Tab.3 Each index score table of projects A1 after 

considering experts dynamic weights

指标



P1

P2

P3

P4

P5

A1

0.750 5

0.242 5



0.942 0

0.755 40.518 0

0.797 7

0.668 1

0.707 1 

0.884 7

0.746 0

0.709 2

1.204 7

0.600 4

0.547 0

1.029 9

采用逆向云发生器计算模糊评价矩阵，根据逆向云发生器计算指标的评价云滴为(0.720 7,0.27 1,0.013 6)．

同理，计算项目A1其他4个指标的评价云滴，得到项目A1的评价矩阵为：

R1=r1r2r3r4r5=(Ey1,En1,He1)(Ey2,En2,He2)(Ey3,En3,He3)(Ey4,En4,He4)(Ey5,En5,He5)=

(0.720 7,0.271 0,0.013 6)(0.685 6,0.259 3,0.088 6)(0.793 5,0.249 0,0.134 5)(0.896 4,0.319 4,0.073 9)(0.800 4,0.423 1,0.103 2)

4)利用虚拟云算法，计算项目A1的综合评价结果.

B1=S•R1=s1,s2,…，s5•

r1r2r5=0.2,0.2,0.2,0.25,0.15•

(0.720 7,0.271 0,0.013 6)(0.685 6,0.259 3,0.088 6)(0.793 5,0.249 0,0.134 5)(0.896 4,0.319 4,0.073 9)(0.800 4,0.423 1,0.103 2)=

(0.781 4,0.295 9,0.080 0)．

5) 确定24个项目的综合评价结果并排序.同理，可计算出24个评价项目的综合评价结果，如表4所示.

表4 24个项目的综合评价结果

Tab.4 Comprehensive evaluation results of 24 projects

项目

综合评价结果

项目

综合评价结果

A1

(0.781 4,0.295 9,0.080 0)

A13

(0.696 0,0.695 4,0.113 9)

A2

(0.645 1,0.645 3,0.073 2)

A14

(0.856 6,0.863 4,0.081 8)

A3

(0.702 5,0.700 4,0.149 9)

A15

(0.948 1,0.949 6,0.061 4)

A4

(0.625 2,0.622 9,0.042 6)

A16

(0.829 6,0.622 9,0.042 6)

A5

(0.630 8,0.640 8,0.065 9)

A17

(1.075 6,1.084 9,0.074 0)

A6

(0.899 8,0.907 5,0.058 7)

A18

(0.964 4,0.971 3,0.048 4)

A7

(0.801 5,0.807 6,0.087 6)

A19

(0.824 6,0.830 7,0.099 8)

A8

(1.018 4,1.027 1,0.078 4)

A20

(0.758 2,0.761 4,0.065 2)

A9

(1.063 0,1.071 2,0.104 4)

A21

(0.781 0,0.779 0,0.042 0)

A10

(0.934 3,0.944 9,0.059 5)

A22

(0.846 0,0.846 8,0.067 8)

A11

(0.837 5,0.839 5,0.118 1)

A23

(0.687 8,0.688 1,0.098 0)

A12

(0.963 4,0.967 4,0.109 9)

A24

(0.879 9,0.884 9,0.064 0)

以项目A1～A4为例进行排序，得到项目A1～A4的综合评价结果云模型图如图3所示.

评价云滴

图3 项目A1～A4的综合评价云模型图

Fig.3 Comprehensive evaluation cloud model

diagram of project A1～A4



由图3可知，项目A1的Ex较大，综合评价结果较好，En较小，离散程度较小，稳定性较好，项目A4的He在4个项目中最小，云滴较薄，确定度的随机性最小.由排序规则，项目A1～A4的排序依次为A1，A3，A2，A4.

同理，可以得到24个评价项目的排序结果，如表5所示.

表5 24个项目的排序结果

Tab.5 Sorting result of 24 projects

项目

排序

项目

排序

项目

排序

A1

A9

A17

A2

A10

A18

A3

A11

A19

A4

A12

A20

A5

A13

A21

A6

A14

A22

A7

A15

A23

A8

A16

A24

9

5 结论

1)利用标准差系数衡量CRITIC法中专家的对比强度，将其与专家间的冲突性相结合确定专家动态权重，计算各项目每个指标的得分，提高了样本数据的代表性.

2)采用逆向云发生器确定评价项目的模糊评价矩阵，考虑了每个专家的评分具有一定的模糊性及随机性，降低了专家评分受主观因素影响的程度.

3)改进的CRITIC法和云模型相结合对科技奖励进行综合评价，得出各个项目的评价结果并排序，实现了定性语言与定量数值之间的转换，与传统的评价方法相比，评价结果更加科学、准确和客观.

参考文献

［1］石磊,苏明.科技奖励评价模型研究[J].现代机械,2004(6):72-73．

SHI Lei, SU Ming. The study of science and technology encouragement model [J].Modern Machinery,2004(6):72-73.(In Chinese)

[2] 李茹,张丽芳,褚诚缘.科技项目模糊综合评价方法研究[J].系统工程理论与实践,2006(9):66-75.

LI Ru, ZHANG Lifang, CHU Chengyuan.The research on the fuzzy comprehensive evaluation of scientific and technical projects[J].Systems Engineering Theory & Practice,2006(9):66-75. (In Chinese)

[3] 刘业政,徐德鹏,姜元春.多属性群决策中权重自适应调整的方法[J].系统工程与电子技术,2007(1):45-48.

LIU Yezheng, XU Depeng, JIANG Yuanchun.Method of adaptive adjustment weights in multi attribute group decisionmaking[J].Systems Engineering and Electronics,2007(1):45-48. (In Chinese)

[4] 张立军,董艳青.科技成果奖励评价中专家评议质量的测度[J].科技进步与对策,2009,26(8):119-121.

ZHANG Lijun, DONG Yanqing.The quality measure of experts assessment in technological achievements reward appreciation[J].Science & Technology Progress and Policy,2009,26(8):119-121. (In Chinese)

[5] 王瑛,赵谦,曹玮.基于EBP神经网络的科技奖励评价模型研究[J].科技进步与对策, 2011,28(10):111-114. 

WANG Ying, ZHAO Qian, CAO Wei. Based on EBP neural network model for intelligent evaluation of science and technology award[J].Science & Technology Progress and Policy,2011,28(10):111-114. (In Chinese)

[6] 王瑛,罗丽雯,欧阳显斌.基于最小二乘支持向量机的科技奖励评价模型[J].统计与决策,2013(6):51-53.

WANG Ying,LUO Liwen,OUYANG Xianbing.The application of LSSVM model in the evaluation of scientific and technological achievements[J].Statistics and Decision, 2013(6):51-53. (In Chinese) 

[7] 王瑛,李自光,陈吴丽.基于改进的DS证据理论的TOPSIS模型在科技奖励评价中的应用[J].统计与信息论坛,2013,28(2):93-97.

WANG Ying,LI Ziguang,CHEN Wuli.The application of TOPSIS model based on improved DS evidence theory inthe evalution of science and technological awaeds[J].Statistics & Information Forum,2013,28(2):93-97. (In Chinese)

[8] 金聪,彭嘉雄.科技奖励的智能评审模型[J].软科学,2002,16(5):6-9.

JIN Cong, PENG Jiaxiong, An intelligent evalution model for the science and technology reward [J].Soft Science,2002,16(5):6-9. (In Chinese)

[9] 王硕,费树岷,夏安邦.关键科技选择与评价的方法论研究[J].中国管理科学，2000,8(11):69-75.

WANG Shuo, FEI Shumin, XIA Anbang.A research on the methods of keytechnology[J].Chinese Journal of Management Science，2000,8(11):69-75. (In Chinese)

[10]刘向阳.专家权威性权重与改进的群体决策AHP法[J].中国管理科学，1994(3):41-48.

LIU Xiangyang. Experts authoritative weight and improved AHP group decisionmaking method[J]. Chinese Journal of Management Science,1994(3):41-48. (In Chinese)

[11]DIAKOULAKID，MAVROTAS G，PAPAYANNAKIS L.Determing objective weights in multiple criteria promblems: the CRITIC method[J].Computers & Operations Research, 1995,22(7):763-770.

[12]曹玮,王瑛.基于改进的CRITICCPM的科技奖励评价模型[J].科学学与科学技术管理,2012,33(2):17-20.

CAO Wei, WANG Ying.The improved CRITICCPM evaluation model in science and technological awards[J].Science of Science and Management of S & T,2012,33(2):17-20. (In Chinese)

[13]宋远骏,杨孝宗,李德毅,等.多机多任务实时系统云调度策略[J].计算机学报,2000,23(10):1107-1113.

SONG Yuanjun,YANG Xiaozong,LI Deyi,et al.The cloud scheduler politics of multiprocessor multitask real time systems[J].Chinese Journal of Computers,2000,23(10):1107-1113. (In Chinese)

[14]LI Deyi, HAN Jiawei, SHI Xuemei. Knowledge representation and discovery based onlinguistic atoms [J].KnowledgeBased Systems, 1998, 10(7):431-440.

[15]张莹,代劲,安世全.基于云模型的定性评价及在学评教中的应用[J].计算机工程与应用，2012,48(31):210-215.

ZHANG Ying, DAI Jin, AN Shiquan. Qualitative evaluation based on cloud model and application in student rating of teaching[J]. Computer Engineering and Applications, 2012, 48(31)：210-215. (In Chinese)

[16]刘常昱,冯芒,戴晓军，等.基于云X信息的逆向云新算法[J].系统仿真学报,2004,16(11):2417-2420.

LIU Changyu,FENG Mang, DAI Xiaojun,et al.A new algorithm of backward cloud[J].Acta Simulata Systematica Sinica,2004,16(11):2417-2420. (In Chinese)

[17]罗胜,刘广社,张保明,等.基于云模型的数字影像产品质量综合评价[J]．测绘科学技术学报，2008,25(2):123-126．

LUO Sheng, LIU Guangshe,ZHANG Baoming,et al. Evaluation model of digital map quality based on cloud model[J].Journal of Geomatics Science and Technology,2008,25(2):123-126. (In Chinese)