新时代高职院校混合式教学质量评价指标体系构建

杨浩 付艳芳

摘 要 为了提高混合式教学质量评价的可靠性、真实性和适应性，以《深化新时代教育评价改革总体方案》为指导，在借鉴相关研究成果和广泛调研的基础上，构建了新时代高职院校混合式教学质量评价指标体系。该指标体系包含德育养成、学习方法、学习能力、实践能力、责任意识、社会适应能力、专业知识和技能水平、终身学习能力8个方面，既突出达成课程教学目标的重要性，又体现教育部关于深化新时代教育改革评价相关要求，是对混合式教学质量全要素、全过程的综合评价，在一定程度上具有混合式教学质量评价的通用性。

关键词 混合式教学;教学质量;评价指标体系;高职院校

中图分类号 G718.5 文献标识码 A 文章编号 1008-3219（2021）35-0067-06

一、研究现状

混合式教学模式是我国职业教育教学改革的重要组成部分，我国学者對其开展了一系列本土化探索[1]，初步形成了适应我国高职教育实际需求的混合式教学模式[2]。如何高效可靠、客观准确地评价混合式教学模式下的教学质量成为亟待解决的问题，但是目前尚未形成公认的理论体系，评价维度、评价要素及评价指标的取舍都比较随意，主观性很强，对评价指标体系信度与效度的研究也很少[3][4][5][6]。李馨借鉴国内外工程教育CDIO模式下的教学质量评价体系构建思路，基于第四代评价理论、成效教学理论等，提出了构建翻转课堂教学质量评价体系的普适性原则、方法以及路线图，并指出不同的学生层次、不同的学科，评价指标体系也不同，但其并没有就评价指标体系的信度与效度检验进行论述[7]。蒋立兵等人以发展性评价、过程性评价及表现性评价为理论基础，构建了包含4个一级指标、8个二级指标、23个三级指标的翻转课堂教学质量三级评价指标体系，但也没有对评价指标体系的信度与效度进行必要的检验[8]。李逢庆、韩晓玲基于学习成果导向理念、协作学习理论、混合式教学理论构建了混合式教学质量评价体系，给出了所构建评价体系的信度与效度，并验证了评价体系的科学性和可靠性，但未对信度与效度的检验过程进行详细论述[9]。刘艳等人对混合式教学质量评价指标体系的指标权重赋值方法进行了研究，并依据详实的文献资料论述了混合式学习评价是混合式学习研究中的重要内容，但尚未形成成熟的理论体系[10]。杨浩构建了比较全面的混合式教学质量指标体系，但指标较多，可操作性不强，也没有进行必要的信度与效度检验[11]。

信度与效度是任何一种测量工具都必须具备的基本条件，只有可靠、有效的教育测验工具才能为教育工作者提供可靠的信息，为教育预测和决策提供客观真实的依据[12]。混合式教学的开展急需一种可靠、稳定的测量工具，来检验学生在这种教学模式下的学习效果和质量，并为师生进行教学改进提供依据[13]。

二、调查问卷编制

2020年10月，中共中央、国务院印发的《深化新时代教育评价改革总体方案》为高职院校混合式教学质量评价研究提供了全面的政策指导。在充分考虑新时代教育评价改革对高职院校教育教学评价总体要求的基础上，本研究结合已有研究成果，疏理了评价混合式教学质量的48个因素并作为初始指标池，这些因素既反映了高职院校专业人才培养的宏观目标，又体现了课程教学的微观目标。接着，本研究采用德尔菲法，邀请12位预测专家对指标池中的48个指标与评价结果的相关性、可信度、有效性进行预测。预测前，本研究对指标体系的特点、用途等进行相应的介绍，并将同类研究成果、国家有关评价的政策、高等职业教育人才培养的宏观目标、成果导向教育理念、混合式教学质量评价价值等背景资料以书面形式发给各位专家，然后请专家各自作出判断。经过3次反馈后，专家意见大体接近，经整合、筛选，挑选出与教学质量最相关的27项初始指标，见表1。

为了进一步调查研究27项指标与混合式教学质量的相关性，课题组向高职教学一线教师和教学管理、研究人员发放问卷130份，问卷积分采用Likert五级量表，“1”表示“非常不重要”，“2”表示“不重要”，“3”表示“一般”，“4”表示“重要”，“5”表示“非常重要”。课题组共回收有效问卷113份，采用Spss统计软件对问卷进行基本处理。

三、信度与效度分析

（一）信度分析

要判断量表中各项目能否可靠地评价教学质量，就必须对评价指标体系的信度进行分析，同时，信度分析也可以很好地识别那些与整个指标体系关联性不大的项目，为进一步修改指标项目提供依据[14][15]。评价指标体系的信度分析包括内在信度分析和外在信度分析，内在信度是指一组评价指标的内在一致性，反映的是这些指标是否测量同一个内容，一致性程度越高，评价结果的可信度就越高;外在信度反映的是同一量表在不同时间对相同被测进行重复测试时评价结果的一致性，一致性程度越高，评价结果的可信度越高。通常主要考查量表的内在信度[16]，内在信度检验方法一般采用Cronbach's α信度系数法。

Cronbach's α信度分析法是心理学和教育测量中常用的信度评估方法。Cronbach's α值越大，量表的信度越高，反之则量表信度越低。通常认为 Cronbach's α在0.5以下时，整个量表及其层面的信度都不理想，需要舍弃;当其值介于0.5和0.6之间时，整个量表信度不理想，需舍弃，量表层面信度可以接受;当其值介于0.6和0.7之间时，整个量表信度勉强接受，量表层面信度较好;当其值介于0.7和0.8之间时，整个量表信度可以接受，量表层面信度高;当其值介于0.8和0.9之间时，整个量表信度高，量表层面信度理想;当其值在0.9以上时，整个量表及其层面的信度都非常理想[17]。另外，某个指标项目是否值得保留，可以依据“删除该项后的Cronbach's α”来判断，如果“删除该项后的Cronbach's α”大于Cronbach's α，则说明删除该指标后使得Cronbach's α值增加，所以将该项指标删除[18][19]。

经统计，该指标体系的Cronbach's α为0.877，说明整个量表信度是比较高的，而量表层面的信度很理想。删除该项后的Cronbach's α的值见表2，其中，只有a17的值（0.878）大于整体指标体系的Cronbach's α值，说明删除a17后可以提高整个指标体系的Cronbach's α值，所以删除该项。

经斯皮尔曼等级相关性分析得知，除了a17与量表整体的相关系数为0.301外，其他所有项目与量表整体的相关系数介于0.421和0.575之间，且相伴系数介于0.00和0.008之间，表明在置信度（双侧）为0.01时，是显著相关的，各指标与量表整体具有较强的一致性。

（二）效度分析

对于特定的测量工具，信度是效度的必要条件，信度高，不一定效度就好，但是效度优良的测量工具其信度通常也较高。所以在前述信度分析的基础上有必要进行效度分析。效度用来反映测量结果在多大程度上接近真实情况，效度越高，测量就越准确[20]。

效度分为效标关联效度、内容效度和结构效度。效标关联效度，也称实证效度，用来反映测量结果与相应外在效标之间一致性程度的，由于目前尚未存在一致认可的参考标准，所以本研究暂不进行效标关联效度的评估[21][22]。内容效度用来反映项目指标对预测的内容和行为范围取样的适当程度。结构效度是指测量结果在多大程度上反映了理论假设。

1.内容效度分析

课题组组织8位专家对指标体系中的26个指标（删除a17）的内容效度进行了评判。内容效度系数R的计算公式为[23]：

其中，N为专家人数，Ne为评价指标能很好地测量相应评价内容的专家人数。经统计，各指标的内容效度评判结果见表3。

表3显示，认为指标a12、a13和a16能很好反映相应评价内容的专家数有7人，占总人数87.5%;认为其余23个指标均能很好地反映相应评价内容的专家数有8人，占总人数100%。所以該指标体系的内容效度是非常符合要求的，在项目指标内容上，可以实现对学生课程学习的全面考核。

2.结构效度分析

去除项目a17，采用因子分析法检验量表的结构效度。通常当KMO值大于0.5时，Bartlett球形检验的显著性概率小于0.05时，指标体系才具有结构效度，才可以采用因子分析法。经统计，该量表的KMO值为0.713，Bartlett 的球形度检验的近似卡方值为780.516，伴随概率Sig.的值为0.000，所以该量表具有良好的结构效度，适合进行因子分析。

KMO检验后，进行因子分析，采用主成分法抽取特征值大于1的因子，旋转方法选择最大方差法，选中“按大小排序”和“取消小系数”两个复选框，小系数的绝对值设置为0.40，进行探索性因子分析，旋转在20次迭代后收敛，分析结果如表4所示。

由表4可知，课题组进行结构效度分析时共提取公因子8个，其中因子1包含4个题项（a7、a6、a5和a8）、因子2包含4个题项（a12、a13、a14和a16）、因子3包含4个题项（a4、a3、a2和a1）、因子4包含3个题项（a19、a20和a15）、因子5包含3个题项（a22、a23和a24）、因子6包含2个题项（a10和a9）、因子7包含4个题项（a27、a26、a25和a11）、因子8包含2个题项（a21和a18）。对8个公因子进行克隆巴赫信度分析，结果显示Cronbach's α的值介于0.633和0.776之间，表明各公因子的信度较高。

四、权重确定及指标体系建立

结合各题项的实际含义，分别为8个因子依次命名为：学习能力、学习态度、德育养成、责任意识、社会适应能力、实践能力、专业知识与技能水平、终身学习能力。建立评价指标必须考虑各指标项在整个评价中的相对重要性。本研究采用层级分析法（Analytic Hierarchy Process，简称AHP）来确定混合式教学质量评价指标体系的权重体系。

（一）建立层次结构模型和AHP评价尺度

以8个因子（一级指标）为第一层次、26个题项（二级指标）为第二层次，并根据因子分析结果，建立第一层各项目与第二层相应项目的对应关系，构建指标体系的层次结构如表5所示。本研究采用九级比例标尺，两两对比建立赋值表，赋值尺度为1、3、5、7、9，介于其中的值依次为2、4、6、8。AHP评价尺度定义如下[24]：“1”表示两个项目同等重要;“3”表示其中的一个项目稍微重要;“5”表示其中的一个相当重要;“7”表示其中一个明显重要;“9”表示其中一个绝对重要;“2”表示重要程度介于“1”和“3”之间;“4”“6”和“8”的尺度含义依次类推。上述9个数值的倒数的含义为：如果项目X与Y比较时被赋值为1至9的某个数值，则Y与X比较时就被赋值为该数值的倒数。

（二）建立判断矩阵

本研究共邀请了8所高职院校相关专家15名，在详细介绍指标内容及相关背景的基础上，由每位专家按照上述评价尺度，通过两两比较独立填写判断表（涉及到倒数时暂不填写），然后取平均值，并把值为倒数的单元格补齐，作为最终判断值，形成第一层判断矩阵A和第二层判断矩阵B1、B2、…、B8。以第一层为例，判断矩阵A如表6所示。

（三）计算层次单排序和总排序

采用方根法来计算各层次中与上层某项目对应的各项目的权重值。第一层只计算层次单排序，第二层除了计算层次单排序外，还要计算总排序。以判断矩阵A为例，计算层次单排序过程如下：

首先，计算判断矩阵A的每一行的乘积Mi（i=1，2，…，8）;其次，计算Mi的n次方根Ri（i=1，2，…，8;n为矩阵的阶数）;最后，进行归一化处理，得到本层次中与上层某项目对应的各项目的权重值。计算公式为：

按上述过程计算出判断矩阵A的层次单排序（即各项目的权重值）结果为：德育养成B1（0.052）、学习态度B2（0.098）、学习能力B3（0.102）、实践能力B4（0.148）、责任意识B5（0.062）、社会适应能力B6（0.049）、专业知识与技能水平B7（0.394）、终身学习能力B8（0.095）。用同样的方法求出矩阵B1、B2、…、B8的层次单排序，结果如表7所示。

接下来计算第二层总排序，与第一层中项目B1对应的B第二层中的项目为C1、C2、C3和C4。令B1的单排序结果（即权重）为b1，C1、C2、C3和C4的单排序结果依次为c1，c2，c3和c4，则C1、C2、C3和C4的总排序结果依次为c1b1，c2b1，c3b1和c4b1。依次类推，求出第二层所有项目的总排序，结果如表7所示。

（四）一致性检验

判断矩阵是通过对指标项目两两比较后建立起来的，人们对事物的判断不可能做到完全一致，因而存在一定的估计误差，而且矩阵阶数越高，误差也越大。只有一致性偏离程度在一定范围内时，判断矩阵才能被接受。本研究主要采用一致性指标（C.I.）和随机一致性比率（C.R.）两个参数来衡量矩阵一致性。C.I.的值越小，表明判断矩阵偏离完全一致性程度越小，由于判断矩阵的阶数n越大，人为造成的偏离一致性指标C.I.的值就越大，所以当判断矩阵阶数n较大时，还需引入随机一致性比率C.R.，当C.R.=0时，认为判断矩阵具有完全一致性;当0<C.R.<=0.1时，表明判断矩阵具有满意一致性;当C.R.>0.1时，表明判断矩阵不具有一致性。以矩阵A为例判断一致性过程如下：

第一步，计算矩阵A的最大特征值λmaxA。利用MATLAB软件求得λmaxA=8.241。

第二步，计算一致性指标C.I.A。计算公式为：

C.I.=（λmax-n）/（n-1），其中n为判断矩阵阶数，求得判断矩阵A的一致性指标C.I. A=0.034。

第三步，计算随机一致性比率C.R.A。计算公式为：C.R.=C.I/R.I.，其中R.I.为随机一致性指标，当阶数n=8时，R.I.=1.41，所以，判断矩阵A的随机一致性比率C.R.A=0.034/1.41=0.024。

计算表明，判斷矩阵A是满意一致性矩阵，接受该判断矩阵。用同样的方法求得第二层8个判断矩阵的最大特征值λmaxB、一致性指标C.I.B、随机一致性比率R.I.B及层次单排序一致性检验结果如表8所示。

表8结果表明，第二层8个判断矩阵的一致性程度非常高，接受该判断矩阵。

层次总排序一致性检验按如下计算过程进行：

第一步，计算层次总排序一致性指标C.I.总。计算公式为C.I.=biC.I.i，本研究只需检验第二层总排序一致性，所以，n为第一层指标项目总数，bi为第一层各指标项的权重，C.I.i为第二层8个判断矩阵的一致性指标。求得总排序一致性指标C.I.总=0.0055。

第二步，计算层次总排序随机一致性指标R.I.总。计算公式为R.I.=biR.I.i，求得总排序一致性指标R.I.总=0.3237。

第三步，计算层次总排序随机一致性比率。C.R.总= C.I.总/R.I.总=0.0055/0.3237=0.017<0.1，表明层次结构中二级指标的层次总排序一致性程度也非常高。

由此建立的混合式教学质量评价指标体系如表7所示。共包含8个一级指标和26个二级指标。

五、结束语

本研究详细论述了构建混合式教学质量评价指标体系的系统方法，并在《深化新时代教育评价改革总体方案》及相关教育教学理论的指导下，建立了新时代高职院校混合式教学质量评价指标体系。评价内容涉及德育养成、学习方法、学习能力等8个方面，符合新时代教育改革评价总体要求。表7中的权重系数显示，该指标体系既突出了达成课程教学目标的重要性，又体现了教育部关于全面提高高等职业教育教学质量[26]的有关要求，是对混合式教学教学质量的全要素、全过程评价，在一定程度上具有混合式教学质量评价的通用性。

在传统教学条件下，要将该教学质量评价指标体系应用于教学实践，势必要花费教师大量的时间和精力，基于此，本研究建议开展基于智能教育机器人的“双师课堂”构建研究，由智能机器人辅助（或替代）教师完成学生数据收集与处理、评价反馈等事务性的工作，把教师从繁重、琐碎的事务中解放出来，从事更具生命特征的育人工作[27]，或者开展智慧课堂研究，利用以人工智能、大数据、云计算及物联网为核心的智慧化信息技术，实现数据的自动采集、智能处理与评价，这也是课题组后续研究的重点。

参考文献

[1]杨浩，付艳芳.基于微课的混合式教学实践与效果分析[J].中国职业技术教育，2017（17）：45-49.

[2]谭伟，顾小清.面向开放教育的混合式教学模式及效果评估指标研究[J].中国电化教育，2019（2）：126-130.

[3]王晓跃，习海旭，等.基于SPOC混合式学习模式的学习支持服务构建研究[J].电化教育研究，2019（3）：48-53+117.

[4]赵嵬，姚海莹.基于蓝墨云班课的混合式教学行为研究——以“现代教育技术”课程为例[J].现代教育技术，2019（5）：46-52.

[5]马宁，李亚蒙，何俊杰.群体知识建构视角下教师混合式研训的组内交互及知识建构层次分析[J].现代教育技术，2019（4）：47-53.

[6]杨歌谣.混合式教学模式下教学评价的文献综述与展望[J].高教论坛，2019（2）：64-67.

[7]李馨.翻转课堂的教学质量评价体系研究——借鉴CDIO教学模式评价标准[J].电化教育研究，2015（3）：96-100.

[8]蒋立兵，陈佑清.翻转课堂教学质量评价体系的构建[J].现代教育技术，2016（11）：60-66.

[9]李逢庆，韩晓玲.混合式教学质量评价体系的构建与实践[J].中国电化教育，2017（11）：103-108.

[10]刘艳，陈仕品，刘礼想.混合学习的绩效评价框架及指标体系研究[J].远程教育杂志，2017（6）：41-48.

[11]杨浩.高职院校混合式教学质量评价指标体系构建与应用实践[J].中国职业技术教育，2019（11）：69-75.

[12]蔡芸，石邦宏.高等教育质量测量要素模型的改进[J].中国高教研究，2019（4）：74-79.

[13]冯晓英，王瑞雪，吴怡君.国内外混合式教学研究现状述评——基于混合式教学的分析框架[J].远程教育杂志，2018（3）：13-24.

[14]杨晓宏，周海军，周效章，等.国内在线课程质量认定研究述评[J].电化教育研究，2019（6）：50-57.

[15]孙雅波，范厚明，刘益迎，等.基于信度和效度分析的海运强国评价指标体系构建[J].上海海事大学学报，2017（4）：26-31

[16]张树东，张文秀，夏学楠，等.《学前儿童数感发展测验》的编制及信效度验证[J].教育研究与实验，2019（2）：85-90.

[17]虞珏，江恬，季诚.护理专业学生礼仪素质状况评价指标体系的信度和效度分析[J].重庆医学，2011（27）：2771-2773.

[18]王改花，傅钢善.网络环境下学习者特征模型的构建及量表的研制[J].远程教育杂志，2018（3）：67-74.

[19]孙家庆，李晓媛，韩朝阳.交通强国评价指标体系[J].大连海事大学学报，2019（2）：36-42.

[20]李灿，辛玲.调查问卷的信度与效度的评价方法研究[J].中国卫生统计，2008（5）：541-544.

[21]吴明隆.问卷统计分析实务[M].重庆：重庆大学出版社，2010.

[22]汪邦军，耿金凤，戴伟，等.航空软件研制过程质量评价及信度效度分析[J].计算机集成制造系统，2016（9）：2175-2186.

[23]张炳江.层次分析法及其应用案例[M].北京：电子工业出版社，2014.

[24][25]付艳芳，杨浩.基于SPOC的混合式教学模式设计与实践[J].职业技术教育，2017（26）：36-41.

[26]教育部.关于全面提高高等职业教育教学质量的若干意见[Z].教高[2006]16号，2006-11-06.

[27]汪时冲，方海光，等.人工智能教育机器人支持下的新型“双师课堂”研究——兼论“人機协同”教学设计与未来展望[J].远程教育杂志，2019（2）：25-32.