移动互联情境下的课堂教学质量评价研究

何海波+何嘉扬+李林海

【摘 要】为改进课堂教学质量评价方法，本文以模糊综合评价法为依据，设计适用于APP的评价指标，构建相应的评价模型，并开发移动评价系统进行为期一学年的应用研究。与常见的一次性评课系统相比，移动评价系统通过发挥用户（学生）导向、便捷、实时互动、即时反馈等功能，有效减少了使用障碍并提高了参评积极性，从而提升了评价的效度。

【关键词】移动互联 教学质量 教学评价 模糊评价 移动评价系统 设计 应用

【中图分类号】G 【文献标识码】A

【文章编号】0450-9889（2017）02C-0120-04

作为教学管理的一个重要环节，课堂教学质量评价备受研究者和管理者关注。近年的研究发现，网上评教已基本上取代了纸面评价，评价指标也因为确立了学生主体观而日趋完善，教师和学生对课堂教学评价的认可度也达到了较高的水平。总体上看，无论是在评价方式改革还是在评价指标改进等方面，课堂教学质量评价体系都有了长足的进步，但仍然存在需要改进的问题。当前，绝大部分高校都采取事后一次性评价的模式，即教学管理部门在学期末集中组织学生对该学期所开设的全部课程进行一次性评价。这种模式至少有两大弊端。其一，因评价选项较多、工作量较大又有一定的时间限制，加上课堂印象已被冲淡，导致部分学生随意评价，甚至应付了事。其二，由于评价是单向的，缺乏及时、互动的反馈机制，学生不知道自己的评价意见是否会送达评价对象，也不清楚教师是否会根据意见来改进教学，导致学生参与评教的积极性不高，代评现象较为普遍。上述两种情况都会影响到评教结果的客观性，需要引起重视并寻找解决的对策。本研究先应用模糊综合评价法来构建评价模型，接着以该模型为指导设计、开发移动评价系统，然后收集该系统投入使用后的评价数据进行验证研究，尝试通过引入互联网思维来改进课堂教学质量评价方法。

一、相关文献

模糊综合评价法是一种基于模糊数学的综合评价方法。模糊综合评价的优势在于可以用模糊集合的概念反映边界不是很清晰的问题，或者将不适合用传统数学量化的事物用模糊集合来反映，然后借助集合与矩阵的数学方法进行分析处理，从而得出评估值。模糊综合评价法被广泛应用于信用评价、满意度评价和自然灾害评估等领域的研究。这一方法也被应用于教学管理的研究，并取得了较好的成果。李强等（2008）应用这一方法构建了包括领导及督导、同行、学生等多主体评价的课堂教学质量综合评判模型；宋虎珍（2012）和魏洁（2014）基于模糊评价法建立了较为完善的高校教师绩效考核评价体系；Jeng-Fung Chen等（2015）综合应用模糊层次分析法和模糊综合评价法构建了高校教师教学效果评价的指标体系。尽管上述学者的研究，基本上还停留在模型的理论构建层面，缺乏充足的应用实证，但却为本研究建立模糊评价模型提供了方法借鉴。

相比模型方法，评价指标是课堂评价更为核心的问题。科学合理的评价指标是有效评估课堂质量的前提条件。近年来，学者从不同的角度对此进行了较为深入的研究。章小辉（2006）以实证研究的视角，从教学目标、教学内容、教学方法、教学手段、教学效果等五个维度37个课堂评价指标中筛选出了15个有效指标，提出重点突出、注重师生交流、学生能力获得提高、虚心接受意见并改进教学等指标在教学评价中有更大的价值。喻方元（2008）基于教学评价的发展观提出了从教师教学发展性、学生学习发展性和教学协调发展性来构建教学评价指标体系。高维春（2014）等从有效教学评价的视角入手，将在国际上认可度较高的《大学教师教学效果评价问卷（学生用）》（简称 SVEQ）量表引入并进行改进研究，注重从学生视角的层面来设计评价指标，用学习价值感而不是教学效果来衡量课堂的价值。综合这几位学者的研究成果不难发现，尽管基于不同的体系框架，但注重学生本位、师生互动沟通、学生能力提升等是他们对有效评价指标的共识。上述学者的研究成果成为本文进行评价指标设计与选择的重要依据。

二、评价指标体系的设计与模型构建

（一）评价指标及等级维度设计思路。具体如下：

1.从学生视角来设计评价指标。突破要素分析法的局限，借鉴章小辉和高维春等学者的研究成果，以学生看得懂、能理解、好判断为基本出发点，力求设计让学生容易感知、能产生共鸣的指标。

2.用模糊言语取代精确数值来描述评价等级维度。基于模糊数表述模糊感觉和不确定问题方面的优势，用“好评、中评、及格、差评”等模糊语言来进行评价等级衡量，而不是用100、80、60、40等精确数值来衡量授课质量的优劣情况。

3.考虑指标体系与手机APP技术的适应性。为方便用手机APP进行评价，评价指标层级应简单明了，数量应少而精，力求在一个手机页面显示全部评价指标，以方便操作，避免由于APP占用过多手机资源而可能导致的使用阻碍。

（二）指标选取和等级维度确定。采取专家法进行指标选取和评价等级维度确定，先后组织两轮筛选和集中研讨。第一轮，由二级学院的教学评价工作小组（由二级分管教学副院长、教务科科长、学科带头人组成）在借鉴相关学者研究成果的基础上，结合本单位的教学情况进行讨论，提出10项备选指标。第二轮，召集7位教学管理专家进行集中评议（成员包括学校分管教学的副校长、学校督导员、学校教务处处长、二级学院院长、分管教学副院长、教务科长、科学带头人代表），对第一轮选取的指标进行审核和修订，以获得多数认可为决策规则，最终确定“重点突出、师生互动、学习收获和仪容仪表”4项指标（详见表1）。

三、移动评价系统开发与应用分析

（一）移動评价系统功能设计。从技术层面看，目前流行的评教系统主要是用WEB1.0开发的，若引入WEB3.0则能顺利地解决原评价体系存在的互动不足的问题，加上移动互联技术，则能够解决反馈不及时的问题。基于WEB3.0的思维，应用上述评价模型，项目研究小组与软件开发人员共同开发了一款兼容PC和手机终端的移动评价系统（Mobile Evaluation System，以下简称MES）。该系统嵌入了模糊综合评价模型，并开发了以下功能：

1.实时评价。上课当日，在学习委员确认教师到课并在系统上签到后的72小时内，学生可对该次课的教学情况进行评价，教师可同步看到每一位学生对该次课的即时评价。

2.师生互动。学生除了评价外，还可以对教师授课情况进行评论，可以发表鼓励意见，也可以提出不满或建议。教师可以通过系统回应学生的评论，也可以给选定的学生发送学习指导意见。

3.协调沟通。借鉴淘宝网对卖家的评价机制，设计了师生协调机制。若学生给教师中评及以下等级，则要说明具体原因，否则不能提交评价。教师看到学生的意见后，可以通过系统与学生进行沟通，而有效评课时间（3天）内学生若改变了想法则可以修改原来的评价。当然，是否进行协调由教师自行决定。

4.匿名评价。为鼓励学生发表真实的意见，在MES中教师看不到给自己评价和发表评论的学生姓名，只能看到“学生”字样，以防备教师可能对给差评的学生采取不利行为。

5.自主评价与默认好评。不强迫学生每次课后都进行评价，学生只需对三分之一的课次进行评价即达到评教次数标准。学生可根据自己的听课体会选择评教时机，如学生当次课不评价，则系统默认为好评。

（二）移动评价系统使用基本情况。MES系统开发成功后，于2014年春学期开始在南宁职业技术学院商学院试用，经调整完善后于2014年秋学期正式投入使用。以2014年秋学期和2015年学秋为例，平均每学期有131门课程和110位教师的数据输入MES系统，有1750名学生应用MES系统进行评教（具体情况见表2、表3）。

（三）新、旧系评价统数据对比分析。考虑到新开发的MES系统有一个逐步完善的过程，为保险起见，学校实行新旧评价系统并用的政策，要求商学院的学生除了平时用MES系统进行评教外，期末照常参加旧系统的网上评教，这恰好为对比研究提供了很好的机会。旧系统按要素分类法进行评教，共分为5大项，约20个指标，仍旧采用期末结课后由学生对所有课程进行一次性评价的模式。为方便进行数据比较，项目研究小组将新系统成生的综合评价数值经加权处理后转换成百分制。

从表4可以发现，95分以上的教师比例超过95%，平均分高达97.7分，其中99分、98分和97分三档数值的教师数占比为80.8%。从总体上看，这一组数据区分度很低，并且与课堂教学实际情况严重不相符。可见，旧系统所生产的评价数据的效度是比较低的。这会产生至少两种负面影响。其一，导致负激励。由于评教分值是教师年度绩效考评的重要组成部分，一般占比在50%左右，应用这一数据会产生不良的后果，教学质量好的教师没有得到应有的嘉奖，教学质量差的教师也没有改进教学的压力。其二，缺乏正反馈。因为评教分值区分度过低，极可能会导致大部分教师无法合理评估学生对自己教学的满意程度，以及自己的教学水平在团队中所处的位置，从而无法发挥教学评价以评促教的导向功能。其副作用是认真评教的学生会越来越少，因为他们发现自己认真与否对评教与教学的影响没有区别。

表5中，获95分以上的教师占比为9%（表4中此项为95%），最集中的分值段为81-86分，占比达50%，最低分为70分，最高分为98分，平均分为87.5分（表4中此项为97.7分）。对比分析，不难发现，由MES系统获得的评教分值有较好的区分度，分布也更为理想。尽管这一数值分布情况还达不到标准正态分布，但已能较为客观地反映实际教学的情况，若应用于绩效考核将会产生正向的激励作用。

四、原因分析

移动评教系统优于旧系统，主要是因为在评价方法和评价方式方面进行了创新。

（一）模糊评价方法有效减少了使用障碍。基于学生视角设计的模糊评价体系，能更好地帮助学生理解和把握评价标准。例如就评价指标而言，学生通过听课可能不能确定某位教师是否具有扎实的理论功底或掌握了学科发展的前沿动态，但却能够判断自己听课后是否有“学习收获”。又如，学生可能分不清问题导向或小组研讨等教学方法，但却能够判断课堂中是否有“师生互动”。就评价等级而言，要评价师生互动程度，面对80分还是85分这样的区分度较难把握，但若是从“好、中、及格、差”这样的维度来衡量，学生很更容易就可以作出判断。此外，MES系统只有四个评价指标，一目了然，很快就能完成操作，减少了可能产生的抵触情绪。显然，减少使用障碍提高了评价的客观性。

（二）引入互联网思维的评价方式极大地提高了使用意愿。首先，MES评价体系为学生提供了及时表达和获得及时反馈的机会。借助手机端，学生可以对每一次课程进行即时评价，能将对课堂的感受及时地表达出来，使得评价更鲜活并且更真实，而教师的及时回应和师生之间的互动则形成了正向反馈，让学生感受到评教的价值，提高了他们参与评教的积极性。其次，MES评价体系让学生掌握了评教的主动权。学生可以在每次课结束后三天内的任何时刻进行评教，减少了由集中评课、时间紧迫等原因导致的草率评价行为，尽可能降低了干扰因素，同时因为学生有多次自主选择权，代评行为也会减少，这些都会使得评价更为客观。总之，即时、互动、用户自主等具备互联网思维的设计理念提高了学生的使用意愿，使评价更为真实。

五、结论与展望

移动互联技术为课堂教学质量评价改革注入了新的動力。基于移动互联情境下的课堂教学质量评价模型及其应用研究显示，以WEB3.0为技术支持的移动评价系统的评价效度远远高于旧系统。本文认为，将用户（学生）导向、便捷、实时互动、即时反馈等互联网思维引入评价系统，能有效减少使用障碍和提高参评积极性，而这应该成为未来课堂教学质量评价改革的主导方向。本文尝试将互联网思维植入课堂评价体系，建立了移动评价模型并验证了其应用价值，为课堂教学质量评价研究与实践提供了新的案例。

本研究存在以下两个方面的局限：第一，验证分析的数据仅来自一所院校，研究的普适性可能不足；第二，对移动评教系统的评估主要根据评教数据结果进行推断，没有对参评学生进行深入、全面的调查。后续研究可以将移动（下转第157页）（上接第122页）评价系统的普适性验证和参评主体对新系统的评估作为重点。

【参考文献】

[1]鞠建国.学生网上评教的新问题评析[J].中国科教创新导刊，2008（20）

[2]吴钢.于光磊.各类高校学生评价教师课堂教学的调查研究[J].高校教育管理，2012（1）

[3]黄晓兵.韩磊磊.大学生参与课堂教学质量网上评价状况实证分析[J].高教发展与评估，2010（1）

[4]陈晓红，杨志慧.基于改进模糊综合评价法的信用评估体系研究——以我国中小上市公司为样本的实证研究[J].中国管理科学，2015（1）

[5]邢权兴，孙虎，管滨，等.基于模糊综合评价法的西安市免费公园游客满意度评价[J].资源科学，2014（8）

[6]Chengguang Lai，Xiaohong Chen，Xiaoyu Chen，Zhaoli Wang，Xushu Wu，Shiwei Zhao.A fuzzy comprehensive evaluation model for flood risk based on the combination weight of game theory[J].Nat Hazards，2015（77）

[7]李强，黄玉珍，本科课堂教学质量评价的模糊数学方法[J].南通大学学报（自然科学版），2008（6）

[8]宋虎珍.基于模糊综合评价的高校教师绩效考核研究[J].教育探索，2012（11）

[9]魏洁，汤建奎.基于模糊综合评价的高校教师绩效考核研究[J].江苏高教，2014（6）

[10]Jeng-Fung Chen，Ho-Nien Hsieh，Quang Hung Do，Evaluating teaching performance based on fuzzy AHP and comprehensive evaluation approach[J].Applied Soft Computing，2015（28）

[11]章小辉，陈再萍.高校课堂教学质量的有效教学评价体系结构研究[J].现代教育科学，2006（2）

[12]喻方元.高校教师课堂教学质量评价体系研究[J].高教发展与评估，2008（3）

[13]高维春，江务学.高职院校教师课堂教学质量学生评价的问卷编制及信效度检验[J].现代教育管理，2014（2）

【基金项目】2013年度广西高等教育教学改革工程项目“广西‘2+3中高职财经类专业课程衔接研究”（2013JGA321）；2015年度广西职业教育教学改革项目“基于移动互联网的实时课堂教学评价体系研究与实践”（桂教职成〔2015〕22号）

【作者简介】何海波（1979— ），男，广西南宁人，讲师，在职研究生学历，南宁职业技术学院商学院副院長；何嘉扬（1976— ），男，广西上林人，讲师，大学本科，南宁职业技术学院电子商务专业负责人；李林海（1976— ），男，广西宾阳人，副教授，中南大学博士研究生，南宁职业技术学院教师。

（责编 黎 原）