基于AHP的“MOOC+翻转课堂”学习评价指标体系研究

严春燕

摘要：“MOOC+翻转课堂”混合式教学模式被逐渐引入到教学中，学习评价作为保障学习质量和学习效果的重要措施，是该教学模式能否顺利实施的重要环节。因此，构建基于“MOOC+翻转课堂”学习评价指标体系具有重要的意义。本文分析了“MOOC+翻转课堂”学习评价的研究现状，借鉴了MOOC和翻转课堂的现有成果，初步构建了“MOOC+翻转课堂”学习评价指标体系，并通过层次分析法确定了各级指标的权重，最终形成一个科学合理的评价指标体系，充分体现了“MOOC+翻转课堂”混合式教学模式的教学特色。

关键词：MOOC;翻转课堂;学习评价;层次分析法

MOOC（massive open online courses，大型开放式网络课程）拥有优质课程资源，促进了世界范围内的知识分享。翻转课堂（Flipped Classroom，Inverted Classroom）重新调整了课堂内外的时间，其以现代信息技术为支撑，实现了以教师引导、学生为中心的教学模式。 “MOOC+翻转课堂”的教学模式有机整合了MOOC在线学习和以讨论为主的课堂学习，融合了MOOC及翻转课堂的优势，促进了学习者的个性化学习和深度学习。随着越来越多的教育者开始引入MOOC课程资源进行翻转课堂的研究与实践，如何科学、全面地评价学习者的学习效果，如何进行课程考评，帮助学生认识自我、促进知识技能的发展成为教育者不得不考虑的问题。因此，构建“MOOC+翻转课堂”学习评价指标体系能有效地评价学习效果，提高教学质量。

1、“MOOC+翻转课堂”学习评价研究现状

目前国内外对“MOOC+翻转课堂”混合式教学模式下学习评价研究文献较少，对学习评价的研究或侧重于MOOC，或侧重于翻转课堂。MOOC以多元化的评价机制冲击了传统的教学评价方式，借助大数据的信息搜集和决策实现了个性化的信息反馈。刘志军指出：现有的MOOC平台难以实现复杂的学习评价，MOOC平台多为机器评价，难以实现对高层次的思维能力的评价[1];郑志高对Coursera、edX和Udocity_大平台课程进行调研，发现只有不到18%的课程使用了过程性评价功能，MOOC的学习评价主要还是面向学习结果的评价[2]。国外也有学者基于MOOC平台设计了自动评价，如SanchezAcosta和Esribano Otero研究了采用预先校正算法的自动评价工具[3];Chiou和Shih改进现有评价系统，提出自动分组及同伴评分系统[4]。MOOC在学习评价中有其自身难以突破的局限性，但是，基于MOOC的课堂“翻转”能够促使学习评价从二元对立转向多元评价体系。苏仰娜利用Moodle的平台实践“多媒体课件设计与制作”课程，结合多元智能原则指导课堂评估[5];姜玉梅调研分析MOOC和“翻转课堂”理念下高校思想政课程教学评价体系[6]。目前在评价“MOOC+翻转课堂”学习效果的过程中，专门的学习评价的研究较少，定性研究远大于定量研究，在定量研究中也存在评价指标覆盖不全面、指标交叉重叠、指标获取困难等现象，缺乏科学的评价指标体系，尤其是缺少对学习评价指标进行科学的权重赋值。因此，本研究综合运用文献分析法和层次分析法建立一套系统、规范的“MOOC+翻转课堂”学习评价指标体系，以期为该教学模式下学习评价提供理论支撑和实践参考。

2、“MOOC+翻转j堂”学习评价指标内容设计

2.1 "MOOC+翻转课堂”学习评价总架构

翻转课堂的教学模式颠倒了课堂内外时间，学生的学习活动、教学过程、教学方法和教学结构都发生了变化。传统课堂的学习评价手段不仅难以在“MOOC+翻转课堂”混合式教学模式下科学地识别学生的学业水平，而且不能激发学生主动参与的积极性，忽视了学习过程中的评价。因此，学习评价指标的设计不仅要考虑结果评价，还要考虑过程评价。

“MOOC+翻转课堂”教学模式主要包括线上和线下两个学习场景，课前、课堂、课后三个教学环节，过程和结果两个评价维度。线上学习场景主要在MOOC平台，对应课前环节，学习评价对应MOOC平台的线上评价。线下学习场景主要在教室、实验室和其他学习场地，对应课堂和课后环节，学习评价对应教师评价、同伴互评、移动支持评价。课堂教学活动中引入移动辅助工具，可以对学生的学习情况及时跟踪及监测。“MOOC+翻转课堂”的过程评价包含了课前、课堂、课后三个教学环节，结果评价包含了平时期末考核以及课程拓展加分。

2.2 “MOOC+翻转课堂”学习评价指标的选取

查阅翻转课堂与MOOC在实施学习评价方面的研究文献，进行梳理、分析筛选后得出“MOOC+翻转课堂”混合式教学模式下学习评价的指标，得出评价指标体系，见表1。根据评价维度可分为过程评价和结果评价。在线学习评价主要是针对学生课前在MOOC平台学习设计，主要包括课前资源资料的学习情况、课前测试以及课前的讨论等。线下学习评价主要针对学生的课堂表现和课后作业完成情况设计，主要包括课堂任务完成情况、教师与学生和学生之间的互动，课堂的互动以及课后作业的完成情况。

3、“MOOC+翻转课堂”学习评价指标权重分配

层次分析法（The analytic hierarchy process）简称AHP，是一种定性和定量的系统分层分析方法，在处理复杂决策问题方面具有实用性和有效性。本文采用該分析法，参考表1构建一个多层次模型。层次分析法的基本原理是通过两两比较方法确定判断矩阵，并将对应判断矩阵的最大特征根对应的特征向量的分量作为相应的系数，进而综合出各指标的权重。

3.1 构造判断矩阵并赋值

AHP构建“MOOC+翻转课堂”学习评价指标体系模型的判断矩阵，采用1-9的标度法对重要性程度进行赋值。根据表1构造判断矩阵A，研，B2，B3，得出对应的特征向量w，w1，w2，w3。

3.2层次单排序（计算向量）与检验

使用MTALAB计算判断矩阵的最大特征根及其相对因的特征向量后，得到各层要素对应上层某要素的重要性次序，建立相对权重向量。

在层层排序中，要对判断矩阵进行一致性检验。判断矩阵的一致性检验：

上式中：CR为随机一致性比率，当CR3.3 层次总排序与检验

总排序是指每一个判断矩阵各因素针对目标层（最上层）的相对权重。这一权重的计算采用从上而下的方法，逐层合成。这一过程同样利用CR=CI/RI这一计算式对于整个层次的一致性进行检验。根据本研究的判断矩阵可以得出层次总排序（见表3）及层次总排序的CR=0.027<0.1.所以层次总排序具有满意一致性。

从表3可以看出，各指标在总排序中所占的份额比重，例如C12代表的是期末考核，具体指“期末理论、实践成绩”，这是权重值（0.4）最大的一个指标。传统的考核方式中期末成绩占比较大，在基于MOOC的翻转课堂教学模式下比重相对弱化，而加入了在各个学习环节设置学习评价指标，充分体现了多元化的过程性学习评价特点。

4、总结

“MOOC+翻转课堂”混合式教学涉及MOOC平台、课堂技术支持、教师、学生等诸多因素，本文基于MOOC和翻转课堂评价体系，构建了“MOOC+翻转课堂”学习评价指标体系，由3个一级指标和13个二级指标组成。所建指标体系较好地覆盖了各个重要学习环节，能够较好地评测该教学模式下的学习效果。运用层次分析法对各个指标进行了权重的计算，对大量定性指标作量化处理，以期建立更加科学完善的学习评价指标体系。笔者在电子商务专业课程教学的实践过程中发现，MOOC平台在知识传承类、认知类课程的学习中效果良好，而实验类课程、实训、实践类的课程，线下学习过程更重要，因此制定学习评价指标体系还需要重视课程内容、目标等具体因素，适当调整线上线下指标的比重。

参考文献：

[l]刘志军，冯永华.“颠覆论”下的MOOC反思——兼论基于MOOC的课堂“翻转”[J].课程.教材.教法，2015，35（09）：16-23.

[2]郑志高，张立国，张春荣.xMOOC的学习评价方法调查研究[J].中国电化教育，2014（11）：44-49.

[3] Acosta E S， Otero J J E.Automated assessment of freetext questions for MOOC using regular expressions[J].Information Resources Management Journal （IRMJ），2014.27（2）：1-13.

[4]Chiou Y， Shih T K.Auto grouping and peer gradingsystem in massive open online course （MOOC） [J].International Journal of Distance Education Technologies（IJDET）， 2015，13（3）： 25-43.

[5]苏仰娜.基于多元智能理論与Moodle平台活动记录的翻转课堂学习评价研究——以“多媒体课件设计与开发”课程实践为例[J].电化教育研究，2016，37（4）：77-83.

[6]姜玉梅.在MOOC和“翻转课堂”下高校思政课教学评价体系的构建[J].黑龙江教育（高教研究与评估），2018（04）：49-52.