基于组件对象的教学评估系统研究与设计

蔡贤资 岑冠军 魏福义

摘 要 教学评估是教学过程的常态活动，科学高效的评估有利于教学质量的持续改善。基于Web并结合外部统计软件，以集成组件对象方式建构一个包含完整流程的评估系统，可以扩展应用边界，能较大程度提高评估质量和效率。

关键词 组件对象；Web；教学评估系統

中图分类号：G642.0 文献标识码：B

文章编号：1671-489X（2018）02-0031-04

1 前言

高等教育服务满意度评估基于原应用于企业服务的顾客满意度指数CSI（Customer Satisfaction Index）发展而来，其以定性与定量的方式从各视角评估高等教育对学生智力、身体素质、社交和道德发展等方面的作用和影响，利用评估和反馈来促进学校各项政策的改进和发展，调整和改善教学内容和相关教学流程，促进教学改革[1]。

Web方式下利用网络接收相关数据并使用动态接口集成外部软件实现统计分析，同时把结果反馈回用户桌面或者移动端，可以极大改善效率，便于扩充数据来源和影响范围，能够在较大程度上提高教学工作效率和效益[2]。

2 基于Web的评估系统

目前的教学满意度评估系统的主要缺点有：1）松散不严谨的问卷结构，导致信度和效度不好；2）低效松散的问卷收集方式；3）数据分析单独使用统计软件或组件如R或SPSS等，整个评估流程数据耦合度不好；4）相关评估过程和结果的展示或推送不方便。

本文提出一个集成评估流程中各个任务，以组件对象方式按标准评估流程整合成一个完整的教学评估系统。整个评估流程包括评估模型建立、问卷创建、数据采集、信度效度分析、T检验、单项数据统计分析、相关度统计分析以及各种图表报表生成等步骤。本文从组件角度，尝试把以上步骤以对象集成方式构建一个较完整的教学满意度评估系统。

3 系统流程的组件对象

评估模型组件 评估通常通过问卷的方式进行，问卷对象涉及学生、教师、教学部门与用人单位，教材评估还要涉及出版社等，因而针对不同的调查范围，所涉及对象有所不同，建构的评估模型也不同。仅涉及一类调查对象的调查问卷只需要简单的一元模型，然后根据评估需要进行一二级或更多级的问卷设计；如果涉及两个或以上对象的调查评估，则需要分别建立对应的问卷。一元模型把调查对象归为一类，只需创建一个问卷；多元模型针对不同调查对象创建不同问卷，同时需要指定不同问卷中有关指标变量的相关度。一元模型只需要设计分级指标和对应的问题并赋予相应权重，多元方式还需要指定相关指标项，以供后期统计分析。

以一个针对实践教学教材的满意度调查评估为例，所涉及的对象包括学生、教师、作者和出版社，如果通过调查学生和教师来获取满意度数据，作者和出版社形象也会成为相关指标。

如图1所示模型，令ξ1，...，ξ4分别为出版社形象、学生感知成本、作者形象和教师感知成本，η1，...，η4分别为学生期望、学生感知质量、教师期望和教师感知质量，η5，...，η7分别为教师满意度、学生满意度和实践教材综合测评，ζ是残差项组成的矩阵，则图1所示模型建立的结构方程模型为：

其中，η是η1，...，η7组成的矩阵，ξ是ξ1，...，ξ4组成的矩阵，Β和Γ为系数矩阵。这是一个典型的二元结构，需要建构两个调查表来进行调查，在后期数据分析时就可以结合模型公式进行计算分析。

评估系统提供若干标准计算模型供后期数据计算分析。这些计算模型也是以组件对象的方式提供，用户在创建问卷时可以进行选择。一般情况下，一元和二元评估模式是最常见的两种模型，调查问卷应该在评估系统提供的模型模板中选择并以此为基础进行设计。选择对应模板后，后续的指标设计和相关度分析将基于模型进行。

问卷生成组件 选择相应的模型后就要建构对应的问卷，按指定参数设定分级指标并赋予名称和相应的权值，二元模式还需要指定不同问卷中指标的相关度。

权重的确认有比较多的方式，如专家法、调查统计法、数理统计法和层次分析法等。在教学评估中，专家法和调查统计法比较常见。专家法由用户按专家意见直接填写权重，或者以Web方式邀请专家按Delphi法等方式进行填写后再计算权重。调查统计法则以Web征询方式邀请被征询者按选项进行打分，并用频数截取、聚类求均值等方式计算权重。

Web与R接口模块 R是一个优秀的统计分析软件，由于其开源免费的特点而得到广泛应用，与其他编程语言和数据库有良好的接口，应用系统可以方便地通过调用R的模块来实现数据的统计分析。R与其他编程语言的接口方式包括RCpp（C++）、RPy（Python）、RJava等，由于是紧耦合方式且不易扩展，因此，独立的Rserve服务得到更广泛的使用。Rserve是一个基于TCP/IP协议并允许R与其他语言通信的C/S结构服务程序，支持C、C++、Java、Python、Ruby、PHP和Nodejs等。Rserve提供远程连接、认证和文件传输等功能，作为应用系统的后台服务来处理统计建模、数据分析和绘图等任务[3-4]。

跟R的连接集成较为简单，如下面Java代码就是连接的简单实现：

RConnection c = new RConnection（）； //创建连接

double d[] = c.eval（“rnorm（10）”）.asDoubles（）； //获取10个随机样本

Rserve目前最新版为2017年6月发布的1.8-5版本，其服务体系结构如图2所示。

信度检查模块 信度（Reliability）指问卷的可信程度，主要表现为检验结果的稳定性和一致性。设计合理的调查问卷应该具有可靠性和稳定性。教学评估主要是考虑量表的内在信度，即项目间是否具有较高的一致性，常用Cronbachs α信度系数来评价，计算公式为：

α=k/（k-1）*{1-sum[var（xi）]/var[sum（xi）]} （2）

公式（2）中k表示变量的个数，sum[var（xi）]为各变量方差之和，var[sum（xi）]为各变量求和后的方差。若一份问卷是不经考虑随意填写的，那么各变量方差之和會变大，而对各变量求和后的方差影响不大，因此，它的信度系数会降低[5]。

信度系数应在0～1之间，通常0.8以上表示量表信度较好，0.7～0.8之间表示量表信度可以接受，0.6～0.7之间表示量表有些项目需要修订，低于0.6表示量表需要重新编排。

效度检查模块 效度（Validity）即有效性，指所用工具能够准确测出被测事物的程度，分为内容效度、准则效度和结构效度三种。效度越高表示测量结果越能显示其所要测量的特征效度。通常在分析教学问卷调查方面只作KMO（Kaiser-Meyer-Olkin）因子分析，KMO值大于0.7，说明问卷的结构效度良好。

T检验组件 T检验可以在样本数量较少时用于比较两个平均数差异是否显著，在教学满意度评估应用中，主要用于比较期望值与实际感受值的偏差，从而在分析偏差的基础上进行相关的教学活动调整，以改善教学质量。此组件可以利用产生的样本调查数据进行偏差计算，并以图表方式显示相关结果，供评估者参考。

其他组件 其他组件包括单项数据分析、相关度分析等，相关的统计分析都是通过调用R对应的计算模块实现。基于以上研究的评估系统模型设计如图3所示。

4 系统验证

基于R3.3.3、MySQL5.5、JDK1.8和Window7环境并以上文教材评估调查为例，测试集成相关流程组件的评估系统的可行性。使用浏览器选择模型后设定相关指标，同时通过专家法以Web模式获取相应权重，数据采集页面如图4所示。

按常见教材评估模式，以内容等三个一级指标进行建表[6-7]，在专业学生小范围采集100个样本，部分问卷数据（实际感受值）如表1所示。

系统将问卷数据加工后导入csv文件，计分法采用李克特五分量表法，将最差的一项抛弃，采用前四项数据，再将每个选项乘以对应的权重得出相关数据，通过调用R模块计算信度相应信息如下：

> x<-read.csv（“d：＼＼test＼＼student.csv”，header=T）

> attach（x）

> length（x）

[1] 13

> length（x[，1]）

[1] 100

> for（i in 1：100）（x[i，14]<-sum（x[i，1：13]））

> y<-c（1：14）

> y<-as.data.frame（y）

> for（i in 1：14）（y[i，1]<-var（x[，i]））

> a<-（13/12）*（1-sum（u[i：13，1]）/y[14，1]）

> a

[1] 0.7474812

>

由输出信息得知信度约为0.747，是处于可以接受的水平。然后评估系统调用R的“factanal（）”函数进行效度计算，得到p-value为0.635>0.5，表示结构效度亦处于可接受范围（信度效度分级值可以动态调整）。测试数据计算结果推送到对应系统页面，如图5所示。

T检验的R命令为“t.test（x，y，paired=TRUE）”，其中x和y分别表示样本均值以及个人感受值，得出的p值为0.976。假设问卷数据服从正态分布（α=0.05），而p值比α大则接受假设，个人实际感受值与问卷数据的均值无显著差别。T检验页面如图6所示。

除以上基本组件外，系统还需对每个单项进行计分来分析各分项情况和指标相关度，根据结果打分，同时根据最大隶属度原则给出评价，如优秀、良好、合格和不合格等。测试例子把样本问卷每道题的每项所占百分比作为矩阵对应的一项，通过权重向量与模糊矩阵相乘，得出一个1×4的矩阵。按最大隶属度原则，哪项的比重较大，就给予其对应项评价。此处《标准C语言基础教程》属于较好的评价，分析的样例代码如图7所示，评估分析结果如图8所示。

由测试样例得出，基于组件对象构建的集成评估系统能较完整地完成评估流程的基本工作。由于系统是组件对象方式的集成架构，后期各个组件的独立优化互不影响，更为高效。

5 结束语

教学质量评估是教学过程中一个持续不断的活动，良好的评估体系和高效准确的评估反馈对持续改善教学质量有积极帮助。本文提出的一个基于Web并结合外部对象R完成数据分析的集成评估系统平台，经验证具有可行性，对提高教学领域评估效率和效益有较积极作用。

参考文献

[1]洪彩真.高等教育服务质量与学生满意度研究：以福州、厦门、泉州高职院校为例[D].福建：厦门大学，2007.

[2]蔡贤资，黄小虎.集成外部对象实现Web模式下数据分析与统计[J].软件导刊，2015（2）：152-154.

[3]The R Foundation. Introduction to R[EB/OL].https：//www.r-project.org.

[4]RForge. About Rserve[EB/OL].http：//www.rforge.net/Rserve/index.html.

[5]Wikipedia. Cronbachs alpha[EB/OL].https：//en.wikipedia.org/wiki/Cronbach%27s_alpha.

[6]党韦强，吕宜平，杨科正.高等教育大众化阶段教材使用满意度调查研究[J].现代教育科学，2015（3）：92-97.

[7]周义军.关于建立高校教材评价体系的思考[J].现代出版，2011（3）：24-26.