高校信息系统应用满意度评价研究—— 基于多属性决策方法

刘友武，余高锋，王 晶



高校信息系统应用满意度评价研究—— 基于多属性决策方法

刘友武1，余高锋2，王 晶2

（1. 三明学院 现代教育技术中心，福建 三明 365004；2. 三明学院 信息工程学院，福建 三明 365004）

基于用户角度采用多属性决策方法对高校信息系统应用满意度进行评价。首先，通过文献参考法、政策参考法及用户访谈法，构建高校信息系统应用满意度评价指标体系；其次，采用实数、区间数、三角模糊数、直觉模糊数等5种不同类型表示高校信息系统应用的评价信息，根据各个系统应用相对贴近度的计算方法，并对满意度进行排序，给出评价步骤；再次，通过实例说明方法的有效性和合理性。

高校信息系统；满意度；多属性决策

高校信息系统应用用户满意度是系统用户在一定客观环境下对系统应用的期望和实际使用过程中感知所用服务或业务整体的认可程度的结果。服务质量的优劣以用户对服务质量的感受为基础[1]，用户满意度的程度影响着高校信息化建设水平，因此用户对信息系统满意度评价对高校教育信息化建设与管理具有重要意义。目前关于高校信息系统应用满意度评价的研究较少。如文献[2]从期望角度对高校信息系统绩效评价进行了讨论。文献[3]从功能层面出发对教育信息化的评价标准进行论述。文献[4,5]提出将模糊论及层次分析两种方法应用于教学质量评价。

综上所述，目前国内用户满意度研究主要表现在以下几个方面。一是，目前的满意度研究方法大多集中在对系统应用服务的层面，很难对主观因素和环境因素进行量化评价。二是，用户满意度评价指标研究大多通过网络、应用层等技术层面，而没有从用户角度进行考虑。三是，基于满意度评价主要集中在满意度测试体系[6]、满意度指数测评模型[7]、基于期望－感知差异分析满意度[8]。在现实用户满意度问题中，评价指标体系往往会涉及到信息系统应用中不同的定性和定量信息，评价信息也会表现以不同的形式。针对定量指标，可以通过实数、区间数或三角模糊数给出[9]，高校无线网络满意度评价时，可以通过区间数给用户大致的范围；对信息系统应用投诉评价时通过三角模糊数(0.3, 0.5, 0.7)表示；针对定性指标，例如，信息系统接口开放性进行评价时，用户往往会采用“良好”“一般”等语言变量来表示；对信息系统应用服务管理进行评价时可能会给出以0.7的隶属度满意，以0.2的非隶属度不满意，可能还存在着0.1的不确定是否满意三方面的信息。以上可以通过采用直觉模糊数<0. 7，0.3>表示给出。为此，本文参照一种具有多类型评价信息的高校信息系统应用满意度评价方法，为高校信息系统应用满意度评价提供一种新的方法。

1 高校信息系统应用满意度评价指标体系构建

1.1 评价指标体系的选取

首先，对信息系统应用满意度相关文献进行梳理，从用户视角探讨用户对高校信息系统应用满意度的评价指标，选取了信息系统运行环境、信息系统资源、服务管理三个方面评价指标[10]。通过用户层面选取背景、期望、用户身心状态、用户体验经历4个指标[12]。

其次，借鉴《国家中长期教育改革和发展规划纲要（2010-2020）》以及《教育信息化十年发展规划（2011-2020）》等相关政策文件，选取顶层设计、标准兼容、开放互联、安全保障、配套服务5个指标。

再次，通过用户访谈方式，从用户角度了解高校信息系统应用满意度评价的影响因素，补充并选取了数据汇通、信息畅通、精准服务、精准决策、特殊保障5个指标。通过以上步骤，遴选出高校信息系统应用满意度评价16个指标。

1.2 评价指标体系主成分分析

通过主成分分析构建一套相对完整的指标体系。该指标体系主要从用户层面、服务层面和技术层面三个方面对高校信息系统应用满意度进行评价考量。构建的具体指标如表1所示。

表1 高校信息系统应用满意度评价指标

本文所构建的高校信息系统应用满意度评价指标体系所涉及的指标值类型包括实数（1）、区间数（2）、三角模糊数（3）、直觉模糊语言值数（4）和直觉模糊数（5）。以实数形式表示的指标主要有体验经历、信息系统种类等。对于个人期望值、网络快捷性、个性化服务等受多种不确定因素的影响，在不同时间段，不同个体表现出一定的波动性，因此采用区间数的形式表示。对于服务投诉次数，指标会因个体差异、时间、情绪的影响在一定范围内波动，因此采用三角模糊函数表示更贴近实际。针对定性指标中的资源丰富性、资源共享性、数据汇通及接口开放等指标，通过相关专家的语言描述，以语言值的形式衡量[13]。通过体验可能会给出满意、不满意、一般等情况的身心状态、系统反应速度等指标采用直觉模糊数表示。

2 决策方法

2.1 规范化方法[12]

令

则实数规范化为

区间数

规范化为

其中，

三角模糊数

规范化为

其中，

直觉模糊语言变量

规范化为

其中，

其中，

和

定义为用户犹豫度。

2.2 基于相对贴近度的多类评价信息决策方法

设x表示第个信息系统在第个评价指标的评价数值，为了更好地对高校信息系统用户满意度进行比较，选用两个参考点，定义为多类型评价信息的正、负理想解，分别记为+和-。

其中，

其中，

同理，

其中，

2.3 用户多属性的权重确定

设多属性权重向量

其中

由于用户本身个体存在差异性，如知识、经验和对事情的认识程度不同等，权重信息将不完全，因此，可将权重信息不完全分为5种不同情况：

其中，

和t≥0，用H记权重信息不完全信息集。则方案的评价信息正理想解的相对贴近度为

其中

根据相对贴近度，给出高校信息系统应用满意度的排序。确定属性权重目的是让属性对各方案的相关贴近度达到最小。建立如下模型：

根据上面的讨论，将高校信息系统应用满意度评价的具体流程及步骤归纳如下：

（i）识别高校信息系统满意度评价指标；

（ii）抽取高校信息系统应用满意度的各个评价指标值；

（iii）利用公式(1)-(4)将各个指标评价值规范化；

（iv）根据公式(5)-(9)，建立模型(10)；

（v）利用LINGO软件求解式(10)，得到属性权重值；

（vi）计算各个方案的相对贴近度，并得到最优方案。

3 实例计算与分析

设某高校对其校内信息系统应用满意度进行评价：5个信息系统的16个指标（如表1）。根据回收的相关信息，得到如下信息。

根据(1)-(4)矩阵进行规范化，结果如下：

利用(5)-(6)得到正负理想解，结果如下：

结合(7)-(8)，建立求解属性权重模型如下：

利用LINGO软件求解式(11)，得

利用(7)各个信息系统应用的相对贴近度为

1=0.785，2=0.452，3=0.512，4=0.625，5=0.522。

根据以上数值对各个信息系统应用满意度进行排序：2>3>5>4>1，故用户对信息系统应用满意度最高的是2。

4 结束语

本文根据高校信息系统应用的特点，通过多属性决策方法对应用满意度进行实证评价，与文献[14-15]相比具有以下优点：一是，本文设计的信息系统应用满意度评价指标涉及不同定性和定量的信息表示。二是，通过一种新的多属性决策方法对满意度进行实证评价研究，克服了评价过程中的主观臆断，评价结果贴近实际。

本文的评价决策方法在高校信息系统应用中具有较广的应用价值，如可以应用到系统安全评价、系统稳定性评价等方面。本文在指标体系构建过程中，由于调查的受众对象以学生为主，并没有对高校的管理者、关系受众、系统管理员等进行完整调查，所以不能对指标进行更细致全面地解析，将在今后进一步做完善研究。

[1] 冯娜.基于模糊综合评价的高校图书馆读者满意度评价[J].唐山师范学院学报,2017,39(2):141-143,147.

[2] 岳洪江,徐欢.基于期望-满意测评的高校信息系统绩效评价研究[J].现代情报,2016,36(7):51-57.

[3] 丁婧. 功能层面的教育信息化评价标准研究[D].南京:南京师范大学,2011.

[4] 张维全,卫中亮.高校教学管理现代化管理信息系统开发研究之二——模糊论在教师课堂教学质量评价中的应用[J].工业技术经济,1999,(6):58-60.

[5] 张维全,卫中亮.高校教学管理现代化管理信息系统开发研究之一——层次分析法在教师课堂教学质量评价中的应用[J].工业技术经济,1999,(5):65-67.

[6] 董观志,杨凤影.旅游景区游客满意度测评体系研究[J].旅游学刊,2005,20(1):27-30.

[7] 王群,丁祖荣,章锦河,等.旅游环境满意度的指数测试模型[J].地理研究,2006,25(1):171-181.

[8] 马秋芳,杨新军,康俊香.传统旅游城市入境游客满意度评价及其期望-感知特征差异分析[J].旅游学刊,2006, 21(2):30-35.

[9] 李登峰.模糊多目标多人决策与对策[M].北京:国防工业出版社,2003.

[10] 祝智庭,余平.智慧城市教育公共服务评价指标体系研制[J].开放教育研究,2017,23(6):49-58.

[11] 林闯,胡杰,孔祥震.用户检验质量(QOE)的模型与评价方法综述[J].计算机学报,2012,35(1):1-10.

[12] Li D F, Huang Z G, Chen G H. A systematic approach to heterogeneous multiattribute group decision making [J]. Computers &Industrial Engineering, 2010, 59: 561-572.

[13] 曾祥添,李登峰,余高锋.具有多类评价信息的旅游景区游客满意度评价方法[J].运筹与管理,2017,26(7): 171-174.

[14] 岳洪江,徐欢.基于期望-满意测评的高校信息系统绩效评价研究[J].现代情报,2017,36(7):51-57.

[15] 吴亚丽,胡克瑾.基于模糊综合方法的高校信息化评价研究[J].教育理论与实践,2010,30(7):7-9.

Research on the Application Satisfaction Evaluation of University Information System Based on Multi-Attribute Decision Making Method

LIU You-wu1, YU Gao-feng2, WANG Jing2

(1. Modern Education and Technology Center, Sanming University, Sanming 365004, China; 2. School of Information Engineering, Sanming University, Sanming 365004, China)

The system application satisfaction in colleges and universities is evaluated by multi-attribute decision-making method.Firstly, the evaluation index system of application satisfaction of information system is constructed through reference method, policy reference method and user interview method. In fact, the real number, interval number and triangular fuzzy number and the number of intuitionistic fuzzy said five different types of colleges and universities information system application evaluation information, according to the various systems using the calculation method of relative closeness. The satisfaction degree is sorted and the evaluation steps are given. Finally, the validity and rationality of the method are illustrated by examples.

the university information system; satisfaction; multiattribute decision-making

G203

A

1009-9115(2019)03-0039-06

10.3969/j.issn.1009-9115.2019.03.011

三明学院科学研究发展基金项目（JT180512），福建省中青年教师教育科研项目（B201823）

2018-10-11

2019-03-11

刘友武（1983-），男，福建尤溪人，硕士，实验师，研究方向为教育信息化。

（责任编辑、校对：赵光峰）