综合评价方法研究进展评述

2012-02-14 11:12朱建平
统计与决策 2012年9期
关键词:赋权灰色权重

李 红,朱建平

(厦门大学 经济学院统计系,福建 厦门 361005)

1 综合评价方法

综合评价是指人们确定评价目的后,根据影响评价对象的因素或者指标的个性数据,选择恰当的评价方法,将影响因素或指标的共同信息提取出来,综合反映评价对象的总体特征的过程。不同的研究领域都会涉及到评价问题,针对具体的问题和研究背景,评价方法也迥然相异。

1.1 单一评价方法

1.1.1 基于灰色系统理论的评价方法

灰色系统理论[1]最早由邓聚龙(1982)提出,是一种研究“少数据、贫信息”不确定性问题的方法论,主要用来解决包含未知因素的“灰色地带”的问题。综合评价尤其是多目标综合评价问题,通常涉及的指标非常多,一般来说兼有定性和定量指标,各指标之间关系并不明确,可以认为处于“灰色地带”。很多学者便使用以灰色系统理论为基础的数据分析方法来处理这一类处于“灰色地带”的指标之间关系的问题。

这类灰色方法可以避免要求大样本以及样本需要有较好的分布规律、计算的工作量大、评价结果与定性分析的结果不符等问题,数据也不必进行归一化处理。比较有代表性的评价分析方法是灰色关联分析[2]和灰色聚类分析,其主要原理是将统计数据用曲线表示,各曲线的形状约相近,走势越平行,就认为其相似性大、关联度高。因此可以评价各个方案与最优方案之间的距离来判断方案的优劣。

在评价过程中,面对权重的确定问题,目前研究中常见的是将层次分析法或者熵权法与灰色关联分析或者灰色聚类分析进行组合的综合评价方法。但是这类方法在应用时,仍要考虑确定评价指标的权重,权重确定方法的科学与否对基于灰色理论的评价结果也会造成很大的影响。为了解决这个问题,很多学者将灰色理论与模糊数学及粗糙集理论相结合,力求发挥三者的优势,得到更优的综合评价方法。

灰色关联方法有一个较明显的缺点,就是其关联度的取值不可为负,表示因素之间的关系均为正向,这与现实不相符,因为现实中很多事物之间的关系是反向变化。而且仅仅通过曲线形状是否平行或者相似来评价因素的之间的相关性的方法是否正确。当因素之间是反向关系时,曲线间的形状和趋势也会呈现巨大的变化,交叉、背道而驰都有可能,通过灰色关联度得到的结果已经无法表现因素间真实的关系,因此就这个问题学者也可以进一步进行探究。

1.1.2 基于模糊数学与粗糙集理论的评价方法

模糊的概念是1965年美国加利福尼亚大学的一位控制论专家L.A.Zadeh教授在他的一篇题为《Fuzzy Sets》的论文中首次提出地,文章第一次用精确的数学方法描述了模糊概念,宣告了模糊数学的诞生。从此开始,众多学者开始借助模糊数学的工具进行综合评价方面的研究,产生了模糊综合评价(Fuzzy Comprehensive Evaluation)——FCE方法。这一类方法以模糊数学为基础,其突出的能力是可以通过隶属度函数和一些模糊统计方法,将界定模糊或者难以量化的指标或者因素量化。然而隶属度函数是凭经验或者由专家给出的,具有一定的主观性,并且在多目标评价时,要确定多个隶属度函数,过程比较繁琐。

粗糙集理论是波兰科学家Z.Pawlak于20世纪80年代初提出来的一种数学工具,主要用来研究不完整数据以及模糊和不确定性知识,分析、推理和挖掘数据之间的关系,发现隐含的知识,探寻数据间潜在的规律。建立在粗糙集理论上的综合评价模型,重点仍然是对于权重的确定,主要将评价模型中的权重问题转化成为了粗糙集中属性重要性评价问题,利用粗糙集理论中的知识依赖性和属性重要性评价方法计算权重,从而进行综合评估。这种方法是一种纯数据基础的方法,无须建立数学模型,也不需要提供研究对象的任何先验信息,因此避开了传统的综合评价中的主观因素,使得评价过程和结果更加客观。

正因为粗糙集理论有以上优点,很多学者以其为基础进行综合评价方法的研究,多次尝试与模糊数学理论、灰色系统理论以及人工神经网络理论相结合[3][4][5],产生了如粗糙集模糊聚类[6]、粗糙集灰色聚类等更有效的评价方法,简化了使用人工神经网络方法进行综合评价时的训练集,在不影响数据信息量的前提下删除多余的数据,提高了训练速度,增强了神经网络由于综合评价的执行力。

1.1.3 基于数据包络分析(DEA)的评价方法

数据包络分析是美国著名运筹学家查恩斯和库伯教授在“相对效率评价”概念的基础上发展起来的一种数学规划模型,主要以凸分析和线性规划为工具,计算比较决策单元之间的效果和效率,进而对评估对象进行评价,从统计角度可以将其看做是一种非参数统计估计方法,它能充分考虑对决策单元本身最优的方案,尤其适用于多输入-多输出的有效性综合评价问题。因为DEA模型不是直接对数据进行综合,而是根据输入输出数据,将决策单元分为有效单元和无效单元两类,因而不仅无须将数据进行事前的无量纲化处理,也不必进行任何的权重假设,因此可以理想、客观地反映评价对象自身的信息和特点。很多学者因为认识到DEA模型这种自身最优化的特点,使用其进行综合评价[7][8][9]。

可是,也正是因为DEA模型这种极度“利己”的方式,对于指标单元之间的关系较少关注,会导致当决策单元的数量相对于指标总数偏少时,无法正确的区分有效、无效单元。有学者为了解决这个问题,在DEA的基础上进行了多种方法的改进和综合,如可以反映偏好的锥比率CCWH模型[10],在模型中加入虚拟单元[11],结合灰色理论中的灰色关联约束锥建立了改进的DEA模型[12]。这些方法增强了DEA模型进行正确评价的效果。另外也有学者将DEA理论与模糊理论结合,提出了很多评价方法[13],将模糊数据引入DEA模型中[14]。

但是,即使区分了有效、无效单元,单纯的DEA模型对其单元各自优劣的程度也无法进一步去区分,如有学者使用AHP作为DEA模型中权重的确定方法,构建DEA/AHP模型;以网络层次分析法ANP确定权重建立ANP-DEA模型;以CCR模型为基础,建立超效率DEA(SE-DEA)模型、交叉评价模型[15]、可变权重模型;使用动态DEA模型等方法进行有效、无效单元的进一步区分。除此之外,DEA模型通常只能对短期效果及内部效果进行评估,无法考虑模型中的长期因素及外部,学者们就此提出了DEA-Tobit两步法、DEA两阶段法以及DEA与Malmquist指数[16]相结合的方法来分析不同时期决策单元的效率演化状况,扩大了DEA模型的利用面。

1.1.4 基于结构方程模型(SEM)的评价方法

结构方程模型是一类处理多变量之间因果关系的模型,主要基于变量的协方差矩阵来分析变量间的关系,它既能够考虑模型中因子的内部结构,又能够体现因子之间的因果关系,这恰好适合用来解决复杂的综合评价的问题。现实生活中需要研究的问题的影响因素,有一些是无法用指标直接进行度量的,这类问题的解决就需要依靠结构方程模型,结构方程模型将此类无法直接度量的抽象的变量称为隐变量,并且可以通过一些方法,如偏最小二乘法对隐变量之间、隐变量和显变量之间的关系进行研究。结构方程模型最常用来处理社会学、心理学、行为组织学中的评价问题,如对城市、地区或者行业、企业创新能力、因素或影响方面的机制研究。

目前用于综合评价的结构方程模型较以往的模型无论从评价对象的层次还是结构上都发生了变化,分层结构方程模型、群组结构方程模型及的出现,解决了许多大型机构层次结构复杂,无法系统进行评价的问题,如通过银行支行的客户满意程度推断分行乃至总行的客户满意程度等。

1.1.5 基于统计学习理论(SLT)的评价方法

统计学习理论是在传统统计学基础上发展起来的机器学习方法,这类方法的产生原因是传统的统计学研究的是样本数目趋于无穷大时的渐进理论,而现实生活中有很多问题的样本数目有限,使用传统的统计方法处理就会产生误差,20世纪60年代起Vapnik开始致力于基于小样本情况的研究,至90年代统计学习理论逐步发展成熟,可以从小样本的原始数据出发通过训练集找到规律,并利用这些规律对未知的数据进行预测。这类机器学习方法有严格的理论基础,能够很好的解决小样本、非线性、高维数和局部最小点等问题,因此有学者将其应用在综合评价方法的探讨中,如利用神经网络进行结构选择、找寻局部最小点、支持向量机等方法对现实问题建立模型并进行评估。

近年来,系统科学理论的加入,壮大了统计学习理论的研究技术力量,数据挖掘技术的成熟以及系统模拟和仿真等计算机技术的使用,拓展了综合评价的应用范围。过去由于高阶次、非线性等复杂特点而无法使用一般的统计评价方法进行评价的高速公路、水利工程等大型工程建设的领域,如今都可以通过这些方法技术进行研究和测评。

1.2 组合评价法

组合评价实际上是将两种或两种以上评价方法或评价思想集成在一起进行评价的技术。事实上,很多学者在评价中实际上已经不知不觉使用了这种方法,如模糊灰色系列方法、模糊多元统计方法等。

组合评价是多种评价方法取长补短结合起来进行评价,既要求方法之间有差别,又要求方法可以相容。傅荣林等(1999)在此基础上提出了基于“兼容度”与“差异度”概念的优化模型。随后学者们将注意力集中到如何确定方法组合的权重问题上,毛定祥[17](2002)利用线性规划求解方法,以最小二乘思想为基础,提出组合模型的权重要与各种主客观赋权评价所得权重的偏差平方和最小的方法。彭猛业等(2004)拓展了上述思想,提出了加权平均组合方法,其权重由各评价结果与平均评价值的相关系数来确定。刘丽等(2004)使用遗传算法确定组合评价方法的权重,郭亚军等(2006)提出了一种基于整体差异的客观组合评价法,即存在一种评价结果(最佳组合),各评价方法投影到该评价结果后方差最大,体现了少数服从多数的思想。陈国宏、李美娟等(2003,2004,2009)[18]等相继探讨了组合评价中的一些相容方法以及多方法赋权问题,提出了以粗糙集确定的相容方法集为基础的可能组合评价集,从而建立评价集化模型;运用合作博弈的原理,应用多种单一评价方法所得结论的偏差相对于组合评价结论总偏差的贡献对单一方法进行赋权,进而进行评价。陈国宏(2011)结合云理论,提出了一种针对定性数据的组合评价方法,将问卷调查中模糊性评价以及随机性评价转换成具有解释意义的具体数值。

通过排序进行方法的组合是组合评价的一种思想,基于这方面的研究发展较快。常用的组合方法有均值法、Borda法、Copeland法,这些方法的主要区别是其排序方法的差异,其中如何衡量子方法的优劣仍是值得讨论的一个课题。另外,以一种理论为基础,不同方法与之结合产生新的方法组合,如模糊Borda法、改进型模糊Borda法等。

组合评价目的是取各种方法的优点,结合在一起摒除其缺点,相互补充相互协助,更好的进行评价。苏为华[19](2007)详细的总结归纳了各种国内外综合评价集成方法的原理、特点与具体操作方法,并且提出仍有一些基于区间变量、粗糙集理论、可拓学理论及ANN方法的评价问题尚未解决,为方法的组合提供了理论积淀。

值得注意的是,组合评价方法的应用有几个前提。首先,各评价方法独自使用时结果要有差异,这样在组合评价时才能发挥各自的特点;其次,组合的过程要注意各方法的兼容性;再次,各方法独自评价时其结论要具有可比性,比如都是排序问题的评价,或者都是指数问题的评价等。要注意的是并不是所有方法都可以进行组合。具体什么样的方法可以组合,用什么样的方法进行组合,需要进一步探讨。

2 综合评价中权重问题的研究进展

权重问题是综合评价中十分关键的一个环节,很多学者就此问题进行广泛的讨论。以下通过文献梳理,比较了综合评价中权重确定技术的利弊及最新进展。

2.1 主观赋权法

主观赋权法主要包括专家评分法、Delphi法,相邻指标比较法等。其中,层次分析法(Analytic Hierarchy Process,AHP)是应用较为普遍的一种。AHP主要用于结构比较复杂、决策准则层较多的决策与评价问题,主要是将评价对象分为多个层次和指标,然后综合决策者的主观判断和客观推理,依照不同的权重,将评价过程进行量化的描述,避免因为单纯依靠决策者主观判断造成的逻辑错误等问题。

由于使用AHP决定权重时需要满足一定的前提,可是对一些现实问题进行综合评价时通常无法满足其条件,因此很多学者对AHP方法进行了改进。

首先,AHP的实施前提是指标体系内部具有独立的递阶层次结构,可是一般的综合评价构建的指标体系中,各指标之间难免具有相互依存的关系,并非独立,从而不能简单的使用AHP法。1996年,美国匹兹堡大学的T.L.Saaty教授提出网络层次分析法(ANP)[20],这种方法有效的解决了综合评价指标之间具有非独立递阶层次结构的决策问题。

其次,AHP在应用时关键是构造、检验和修正判断矩阵的一致性,以及计算判断矩阵中各要素的权重。可是目前对于判断矩阵的修正多比较主观,没有客观、统一的修正标准。针对这一问题,有学者将判断矩阵的一致性问题归结为非线性优化问题,提出了使用遗传算法(GA)以及加速遗传算法(AGA)[21],对判断矩阵进行检验和判断,模糊综合评价模型。

此外也有学者针对层次分析法进行评价时判断矩阵的排序问题进行了深入研究,提出了梯度特征向量排序法、区间数广义χ2法、广义最小平方法(GLSM)等方法。以上方法的提出与改进,都充实了以AHP为权重确定方法的综合评价模型,完善了评价过程,提高了评价的正确性。

2.2 客观赋权法

主观赋权法使评价结果波动性较大,可比性与研究持续性较差。因此,近年来学者们将注意力转向寻找更加客观、科学、简便的权重确定方法,主要有以下几类。

2.2.1 神经网络法

综合评价是一个复杂的过程,指标或者因素之间通常不独立,具有一定的相关性,且这种相关性往往不是简单的线性关系,而是复杂的非线性关系。处理这种非线性关系问题,人工神经网络是一个很好的工具。ANN是一种非线性科学,无须建立数学模型,而是通过网络训练从数据中概括出知识,并将其存储于神经元中,构成网络知识进一步对相似的对象进行评价或者预测。这一类评价方法能够模拟人脑的一些思维模式,具有自学习、自组织、自适应等特点。它的出现结合了专家学者的经验和客观判断模式,降低了评价过程中主观偏误的可能性,克服了一般综合评价方法无法反映评价指标的动态变化过程的问题,同时提高了问题解决的效率。

以ANN为基础衍生出来的综合评价中权重的确定方法,如三层BP神经网络法[22]、Hamming神经网络法[23],可以解决以往评价指标体系不够全面、设定权重不够客观以及无法动态反应指标变化的问题,弱化权重确定过程中的人为因素。但是,这一类方法受限于神经网络本身无法客观确定隐含层的数目的弊端,从而不能完全的避免主观因素。同时,当评估对象数目多、评价规模比较大的时候,神经网络节点的个数通常会比较多,庞大的网络结构会降低其推广能力,评估时间也会很长,并且经常会陷入局部最小的困境。学者针对这些问题的出现提出了重置变结构神经网络方法[24],GA-ANN方法加快了网络收敛速度,避免了陷入局部最小的困境。除此之外,虽然神经网络方法确定权重比较客观,但是其训练集的选择是一个难点。并且目前没有好的解决办法。

2.2.2 TOPSIS法

按与理想解的相似性定序偏好的方法(technique for order preference by similarity to ideal solution,TOPSIS)主要用于有限方案的多目标决策分析。TOPSIS赋权法的思路是先在归一化的原始数据矩阵中找到最优方案,然后以评价对象与最优方案的距离评价其优劣程度。这种方法对样本的分布及样本量没有严格的要求,计算过程不复杂,因此受到很多学者的钟爱。但是,由于最优方案是在原始数据的归一化之后,根据矩阵中的无量纲数据,通过主观设定权重求得,权重具有一定的随意性,导致结果不够客观;另外随着数据的变化,最优方案也会发生变化,最终的评价结果不具有稳定性和唯一性;余雁(2003,2004)以上述基本理论为基础,提出了双基点法,建立靠近理想解和远离负理想解两个基准改善了TOPSIS法。钱吴永等(2009)[25]在双基点法的基础上给出了加权TOPSIS方法,并通过实例验证其有效性。

2.3 组合赋权法

主观和客观赋权法在确定权重时有不同的侧重点,各有利弊,为了能够兼顾决策者的主观判断和评价对象的客观特点,众多学者将主观、客观两类赋权法有机结合,产生了一类新的权重确定方法——组合赋权法。王先甲(2011)在灰色系统理论基础上,将AHP和DEA两种方法有机结合[26],共同确定方案的综合指标权重向量,进而得出方案之间的关联度,对方案进行有效、合理的评价。程启月(2010)在熵理论的基础上,将专家意见法与模糊分析法相结合,给出了结构熵权法[27],通过“典型排序”及“盲度”分析,对潜在的偏差数据进行统计分析,从而确定权重系数结构。苏为华(2004,2010)[28]]研究了Delphi-AHP组合赋权过程中专家意见分歧的度量,在此基础上进一步探讨了专家一致性的统计检验问题,建立P阶对称指标来度量专家意见一致性,通过极差法和蒙特卡洛模拟法给出了两种确定阙值的方法。余雁(2004)[29]以模糊理论为基础,通过模糊偏好与现行TOPSIS赋权法的结合,提出了一种改进的TOPSIS-FP新模型。钱吴永等(2009)将加权TOPSIS法与灰色关联度结合,建立有效的评价模型。

3 结论与启示

3.1 数据与方法匹配问题

离散数据与连续数据采用的统计方法不同,处理低频数据与高频数据的方法亦有别,而目前很多研究疏于对各种方法应用条件的考虑,特别是对不同数据类型的要求,从而造成评价结果的不准确甚至错误。一般来说在评价之前要结合方法的应用条件考虑数据以下几个方面:

(1)数据的形式。选取的方法可以处理定性数据还是定量数据或者二种皆可;尤其近些年来高频数据、超高频数据的出现,对研究及评价的方法提出了新的挑战。

(2)样本量的大小。样本量大小直接影响着评价方法的正确性,很多方法的应用前提是要求大样本条件;否则结果会出现极大的偏差甚至错误。随着人们对数据信息的重视,很多行业建立了自身的数据库,拥有了大量甚至海量的数据,数据挖掘技术的成熟为这类数据的评价提供了新的契机。但是,如何挑选其中正确的方法进行评价,也是学者需要提前考虑的。

(3)数据的量纲。有些方法要求数据无量纲,或者要求量纲统一,这就需要学者在收集到数据之后仔细查看数据量纲的形式,按照方法的要求选择是否要进行归一化或者无量纲处理。

3.2 检验标准不统一

综合评价与生活联系紧密,因此评价的对象很多,宏观层面上有整个国家甚至全球经济或某方面的评估;中观层面有区域性或者城市之间某方面能力或者特点的比较;微观层面有某行业、某企业各自或者彼此之间的评估或排名,评价也分为单目标或者多目标决策等等。因为评价对象的多样性,就需要我们根据方法的适用性及研究对象的特点选取适合的方法进行评价,并不能一个方法放之四海而皆准。就方法的挑选问题,目前还没有一个较为客观、准确的标准进行参考,学者通常都是根据自己的主观判断进行方法的选择,或者直接利用一些新颖的方法进行评价,没有考虑其是否适合研究对象的特点。

组合评价虽然结合了多种评价方法,能起到扬长避短的作用,但是就组合方法集中各方法的挑选问题,仍然依靠学者的主观判断,没有统一的选入标准,相信这也是无论单一评价法还是组合评价法都无法避免和解决的问题。

3.3 评价过程操作性较差

综合评价的最终目的是对研究对象或者研究的问题进行客观、准确的评估,所使用的方法只是手段。方法确定之后,很多学者会面临一个问题就是指标数据难以搜集。通常,每个学者研究的问题都有一定的特殊性,所需用到的指标也有其各自的特点,传统的通过上网查找统计数据、年鉴的方式已经难以满足研究的需要,而很多问题因为其数据涉及到一些企业或者地区的“隐私”,通过调查也未必得到满意的结果,即使问卷收集回来,缺失值等现象的存在也是不可避免。这给综合评价研究增添了困难,是急需解决的问题。

近几年统计学界很多理论如空间计量理论、数据挖掘理论的交叉应用,许多新的统计分析方法如分位数回归、函数型全信息回归、面板数据聚类、HHT方法及数据挖掘方法等不断涌现,评价对象的指标数据形式由传统的定性数据、时间序列数据、截面数据,扩展到面板数据、高频数据、超高频数据等;研究对象的数据数目从大样本、小样本也发展到了拥有超大规模的数据量。无论是数据形式的改变,还是数据量的扩大,研究问题的多样化均要求我们的评价方法要更加准确并且有针对性,这便给学者们提出了新的挑战;另外,目前流行的云理论也渐渐广泛的应用于统计评价中,这一领域值得学者进一步探讨。

[1]邓聚龙.灰理论基础[M].武汉:华中科技大学出版社,2002.

[2]唐万梅.基于灰色关联分析的多层次综合评价研究——风险投资项目综合评价模型[J].系统工程理论与实践,2006,(6).

[3]Jelonek J,et al.Rough Set Reduction for Attributes and their Domains for Neural Networks[J].Computational Intelligence,1995,11(2).

[4]Peng C,et al.Multi-valued Neural Network and the Knowledge Acqui⁃sition Method by the Rough Sets for Ambiguous Recognition Problem[C].Proc.of the IEEE International Conference on Systems,Man and Cybernetics,Beijing,1996.

[5]Yasdi R.Combining Rough Sets Learning and Neural Learning-meth⁃od to Deal with Uncertain and Imprecise Information[J].Neurocomput⁃ing,1995,7(1).

[6]黄定轩等.基于属性重要性的多属性客观权重分配方法[J].系统工程理论方法应用,2004,(6).

[7]曲文毓等.工业经济效益综合评价的DEA方法[J].系统工程与电子技术,1998,(10).

[8]杜栋.企业技术创新评价的DEA方法[J].系统工程理论方法应用,2001,10(1).

[9]王应明,傅国伟.一种用于工业经济效益综合评价的模型和方法[J].系统工程和电子技术,1993,15(3).

[10]魏权龄.评价相对有效性的DEA方法[M].北京:中国人民大学出版社,1998.

[11]刘英平等.有效区分决策单元的数据包络分析方法[J].系统工程理论与实践,2006,(3).

[12]许祥鹏.基于改进的DEA模型在效率评价中的应用[J].财金研究,2011,(6).

[13]李志亮等.基于模糊数变换的DEA模型与应用[J].模糊系统与数学,2004,(4).

[14]柳顺,杜树新.基于数据包络分析的模糊综合评价方法[J].模糊系统与数学,2010,(4).

[15]史成东等.物流公司绩效的DEA交叉评价[J].系统工程,2010,(1).

[16]徐小钦等.基于DEA与Malmquist指数法的区域科技创新效率评价——以重庆市为例[J].数据统计与管理,2009,(11).

[17]毛定祥.一种最小二乘意义下主客观评价一致的组合评价方法[J].中国管理科学,2002,(5).

[18]陈国宏等.基于方法集的综合评价方法集化研究[J].中国管理科学,2004,(1).

[19]苏为华等.综合评价技术的扩展与集成问题研究[M].北京:中国统计出版社,2007.

[20]赵国杰,邢小强.ANP法评价区域科技实力的理论与实证分析[J].系统工程理论与实践,2004,(5).

[21]金菊良等.计算层次分析法中排序权值的加速遗传算法[J].系统工程理论与实践,2002,(11).

[22]戴文战.基于三层BP网络的多指标综合评估方法及应用[J].系统工程理论与实践,1999,(5).

[23]金聪.基于Hamming神经网络的经济效益综合评价模型[J].系统工程理论与实践,2001,(2).

[24]徐晋,彭娟.重置变结构神经网络及其在风险投资项目评估中的应用[J].系统工程理论方法应用,2005,(2).

[25]钱吴永等.基于灰色关联定权TOPSIS法及其应用[J].系统工程,2009,(8).

[26]王先甲,张熠.基于AHP和DEA的非均一化灰色关联方法[J].系统工程理论与实践,2011,(7).

[27]程启月.评测指标权重确定的结构熵权法[J].系统工程理论与实践,2010,(7).

[28]苏为华,吴鉴洪.Delphi-AHP构权过程中专家意见一致性的统计检验问题研究[J].统计研究,2010,(7).

[29]余雁等.一种新的基于模糊偏好的TOPSIS方法[J].系统工程,2004,(8).

猜你喜欢
赋权灰色权重
论乡村治理的有效赋权——以A县扶贫项目为例
基于赋权增能的德育评价生态系统的构建
企业数据赋权保护的反思与求解
权重常思“浮名轻”
浅灰色的小猪
试论新媒体赋权
为党督政勤履职 代民行权重担当
灰色时代
她、它的灰色时髦观
感觉