一种基于测试指标的集成决策产品评估模型搭建与应用研究

高帅

（对外经济贸易大学统计学院，北京 100029）

1 概述

测试是产品研制流程中的一个重要环节。当产品中的各模块调试完成后，将进行产品的装配与集成，并最终通过各项测试验证后交付到用户手中。产品的测试过程旨在交付前期全面验证产品质量特性是否满足用户要求。产品质量特性的各项测试结果是其是否具备产品交付条件的重要评判依据。

以往产品测试结果仅给出各功能性能指标的测试报告或是测试表单，以此逐一验证产品各项功能性能指标是否满足要求和规范，但并没有将产品各功能及指标的测试数据进行综合的定量评估。本文提出的评估模型，针对产品研制的特点与获得测试数据的实际情况，集成灰色白化权函数聚类法、层次分析法与德尔菲调查法中的要素与方法，形成了利用已有测试数据进行打分评估的流程方法。

2 评估模型的搭建

本文所述模型结合了灰色白化权函数聚类法、层次分析法与德尔菲调查法中的要素与方法。主要过程可归纳为建立指标体系、构建指标打分方法、分析指标权重与计算评估得分几个步骤。

2.1 评估指标体系的建立

应当建立与产品相关的覆盖面尽可能全的指标体系。本文中产品的指标体系建立分为两级，第一级为产品级的指标，这一级指标主要是结合质量验收协议对各类指标进行综合分类，从而形成不同类别的一级指标。第二级主要为各一级指标下具体包含的功能性能指标，该层级指标数据是测试过程中可直接获取的客观的数据与状态。

2.2 指标打分方法

指标的打分方法是评估体系建立的一个核心问题，将每个指标的测试结果进行合理的打分，是得到合理的产品得分的前提。评估指标的计量单位不同，若直接进行数据分析，则会造成较大偏差，影响判读结果，因此，指标打分需要进行无量纲化。灰色白化权函数聚类法是一种将未知类别的对象进行聚类的方法。该方法中所使用的白化权函数，能够解决产品各类指标打分的无量纲化问题。

为某指标得分设计得分函数f(·)如图1 所示，函数纵轴代表指标的评价值，最大值为1，横轴代表技术指标测量结果，X(1)，X(2)，X(3)，X(4)是函数的转折点，得分函数的转折点可根据指标分布特点自由制定，若将测试指标每次测量所得结果看作一个连续型随机变量，则该测试指标测试结果概率密度函数可用正态分布函数进行描述，则有，这表明当某质量特性X ～N（）时，其特性值落在区间（）内的概率为99.73%，因此，可将X(2)～X(3)转折点区间对应区间，而X(1)～X(2)，X(3)～X(4)转折点区间对应以外的区间。可见，得分函数f(·)可将不同的测量结果与最终评判分数之间建立起分段线性函数的关系。

2.3 分析指标权重方法

图1 得分函数

图2 系统级指标得分函数

指标权重的建立，基于对测试指标不同重要性的考虑。不同模块的指标有着不同的重要性，越重要的指标对评估分数的贡献越大，反之亦然。层次分析法是20 世纪70 年代提出的一种定性与定量分析相结合的分析方法，可根据用户对各个指标相对重要度比较的打分结果获得指标的权重。具体方法是对同一层次指标构造两两比较的判断矩阵，比较结果利用标度法表示：若标度值为1，表示两个指标相比同样重要；若标度值为3，表示两个指标前者比后者稍微重要；若标度值为5，表示两个指标前者比后者明显重要；若标度值为7，表示两个指标前者比后者强烈重要；若标度值为9，表示两个指标前者比后者极端重要；若标度值为(2、4、6、8)表示上述两相邻判断的中值。若元素i 与元素j 的重要性之比记为，那么元素j 与元素i 的重要性之比为。

公式（2）中RI 为相应的平均随机一致性指标。当CR＜0.1 时，认为判断矩阵一致性可以接受，否则，须重新构造判断矩阵。本文提出，判断矩阵A 的构造使用德尔菲调查法。德尔菲调查法可以比较精确地反映专家们个人的主观评价意见。对于一个具有严谨科学态度并具有广泛代表性的专家组，他们相对集中的意见具有较大的可信度。德尔菲调查法既能充分地利用专家个人的知识和经验，又能最大限度发挥专家集体的智慧，是一种比较科学的调查方法。

2.4 计算评估方法

综合考虑同一级别的指标得分及指标权重，通过指标的得分进行加权求和，得到结果η 是该级别指标的评估得分，可表示为：

若对二级指标进行计算，得到的便是对应的一级指标得分，如对一级指标进行计算，所得为最终产品评估得分结果。

3 评估模型的应用

本文以某产品为例，利用已掌握的指标测试结果对其质量特性进行评估。为清晰表达应用流程，本实例对指标体系进行简化，所纳入的指标仅为部分关键指标。建立两个层级的指标体系，一级指标包括：一般指标、接口指标、功能性能指标、系统级指标。对应一级指标又可具体细分为不同二级指标，其中一般指标包含3 项，接口指标包含6 项，功能性能指标包含8 项，系统级指标包含6 项。

第二步，将指标进行分类，赋予不同的得分函数。系统级指标属于下限测度白化权函数，根据在产品级测试中发现并解决的问题数量来对其性能进行评价。若至产品交付，仍存在未解决超标项，f 为0。若均解决，f 取值视首次测试超标项目数量而定，满足图2 得分函数关系。

功能类指标与性能类指标分别定义得分函数。对于功能类指标，若针对该功能测试从未发生过问题则f 为1；若该功能在测试及试验阶段发生过问题，但问题得以解决，则f为0.8，若该功能未实现，则f 为0（如图3）；对于性能类指标，将规范要求的指标范围上下限设计为指标得分临界点即技术指标与技术要求一致，则f 函数值为0.8；将规范要求的指标范围上下限设计在中心50%范围内，即产品性能优于规范要求指标范围区间为规范要求的子集，则f 函数值为1；在临界点外超出规范要求，函数为0。若至交付前仍超标，f 为0，（如图4）。

图3 功能指标得分函数

图4 性能指标得分函数

评估实施采取先二级指标后一级指标自下而上的方式，最终获得产品得分。以功能性能指标的8 个二级指标为例，根据各指标的得分函数获得得分向量F 为：

依托德尔菲调查法，获得的功能性能指标的8 个二级指标的两两比较判断矩阵A 见图5。

图5 功能性能指标判断矩阵

对W 归一化后得到：

利用以上方法，可以获得其他一级指标得分及对应权重，如表1，通过公式（3）可得产品得分η=0.9251，换算为百分制为92.51 分。

4 结语

基于测试指标的集成决策产品评估模型，综合了产品各个模块指标的测试结果，用打分的方式对产品进行评价，与传统的测试报告相比，具有标准、直观、定量的特点，是测试及试验数据分析的发展产物，为产品研发部门与用户决策提供了一种新的支持方式。本文所描述的模型仅是其中一种具有较好操作性的实现方法，可作为一次有益的尝试，具有一定参考借鉴价值。

表1 某项目产品一级指示权重与得分