学习者在线学习行为投入新探索

2023-08-26 05:22蔡旻君
中国电化教育 2023年8期
关键词:评估模型在线学习

摘要:作为线上学习质量的重要凭据,学习者的在线学习投入备受关注。纵观已有的在线学习投入研究,有基于行为数据的分析研判,也有结合认知、情感和社会因素的综合评判,但仍有诸多未解之谜,需进一步深入持续地分析探讨。从当前网络信息获取及应用的有效方式来看,大量的行为数据是在线学习投入质量分析的重要信息内容。从学习行为的外显性和内隐性两个属性对学习者在线学习信息进行分类探索,有助于综合考虑影响学习质量的行为、认知和情感等因素。在此分类基础上,结合点、线、面研究方法各自的特点,先后通过百分等级量表、单维和多维Rasch分析技术的应用,分别构建了针对学习者在线学习行为投入强度、效度及精准度评估的模型。最后通过准确获取在线学习的过程信息、全面掌握线上学习的质量结果,以及主动反思在线学习参与的实效性等应用验证了评估模型的有效性。

关键词:在线学习;行为投入;评估模型;象限图法;Rasch分析

中图分类号:G434 文献标识码:A

本文系全国教育科学“十三五”規划课题“大学教学现代化的战略愿景与理论创新研究”(课题编号:BCA180085)阶段性成果。

近年来,我国相继出台多项政策,持续强调高等教育数字化转型的强大引擎作用。2022年1月,全国教育工作会议明确提出“实施教育数字化战略行动”。2023年1月,全国教育工作会议又提出“纵深推进教育数字化战略行动,重点做好大数据中心建设、数据充分赋能、有效公共服务、扩大国际合作四件事”。数字化转型的核心包括知识和数据驱动[1],数据驱动的目的在于因材施教,通过对学生进行大数据分析,发现学生的优点特长,从而实施精准培养[2]。数据作为数字化转型的基础,成为其显著的特征。美国高等教育信息化协会发布报告《2023 年高等教育趋势观察》,总结了2023年高等教育中涌现的诸多趋势,其中一个显著的态势就是,将基于数据的决策纳入现有的高等教育机构规划和管理活动的流程中,也可以将其编入应用程序中,为学生、教师和其他成员生成实时、个性化的建议[3]。互联网智能时代的课堂教学已从过去简单的“舞台剧”式的教师独白,逐渐变成虚实结合、生动有趣、实时交互的“大片”[4],疫情期间的“紧急远程教学”模式也将由用“混合在线教学”模式所取代。无论采取何种形式的教学,学习质量始终是教学的生命线。众多研究均已表明,学习投入是学习结果产出的必要保证,也是学习质量评估的一个显性指标。对于学习投入的构成要素,从最初的“行为”“认知”两个维度到“行为、认知、情感”三个维度,后来增加了社交投入维度,形成四维框架[5]。线上学习的过程信息为学习投入研究提供了直接的数据支持,学习者的在线学习投入研究引起了课程开发及相关管理服务工作者的持续关注。高等教育教学数字化转型的本质是人的转型[6],而网络环境下学生的学习投入状况将直接反映出学生是否真正成为学习的主角。

在线学习信息的记录和累积为揭示在线学习者的学习投入状况提供了一种可能,学习者的在线学习投入研究正经历从传统自我报告向多模态信息获取转变的过程。目前研究者基于海量文本与图像等结果数据,实现了跨模态理解与生成,如GPT-4。相对于大量的学习结果信息,学习过程中所能获取的过程数据还有待进一步深挖。就目前线上学习中所能记录的数据只是学习者的行为表现,对其学习过程中深层次的认知思考及情感态度还无法大面积地获取。在一些实验控制状态下借助特殊仪器可以获取学习者生理学的、心理学的或行为学的、社会学的数据,试图对学习者的学习投入进行多模态的分析评估,但其应用场景非常有限,无法满足当前大规模在线学习数据分析的需要。尤其像脑电图模式下的个体差异需要一个更复杂的教育投入评估指标[7]。因此,基于行为数据的学习投入研究依然是当前在线学习质量评估的主要路径。从行为科学的角度来看,人的外显行为和内在的心理特性之间有着必然的联系。因此,如何将学习行为分析与人的内在情感及认知投入结合起来考虑是对线上行为数据加以合理利用的有效方式,也是针对当前学习者学习投入评估问题而采取的必要补充措施。

促进学习者的有效学习投入被认为是提升线上教学质量的关键,相关研究主要围绕学习者的在线学习行为投入水平、效果及适切性程度展开。

(一)有关在线学习行为投入水平的研究

对于学习者学习投入水平的研究,众多学者表明学习投入实际上是学习者用于学习的时间问题或交互性水平等,经常也简称为投入度。首先从不同的学习投入行为分类开始,基于不同的分类结果,众多研究对在线学习投入水平结果进行了描述。兰丽娜等从学习动力、学习态度、学习效率、学习毅力、创造思维和学习方法六个方面采集平台数据,通过“六模”分析,对学习行为进行评估,将学习者的学习行为状态进行分类,用学习行为模型评估表来计算学生学习行为要素值,由此实时动态反映学生学习行为投入水平[8]。沈欣忆等构建了MOOCAP在线学习行为和学习评价模型,将学习行为按偏好分为规律型、均衡型、积极参与型、序列型和张弛型,以此来对学生学习投入强度进行排列分类[9]。张思等人通过收集网络空间中的在线学习数据,从参与、专注、规律、交互四个维度测量学习投入,包含学习者登录网络学习空间的次数、平均时间、登录间隔、点度中心性等16个变量,通过计算均值与标准差描述学习投入的基本状况[10]。韩锡斌等人提出利用学生学习投入量表,通过排序、相关性分析、分布描述统计、四分位距统计方法来对学生不同学习行为投入水平做出测量,能够全面定量地描述学生在主动学习、师生交互、小组协作、策略运用、自我管理和情感投入六个维度上的表现[11]。李爽等编制远程学生学习投入评价量表,通过量表测量学生投入现状,并通过均值计算对学习行为投入进行排序[12]。Dixson依据编制的“在线学习投入量表”从四个维度探究在线学习环境下学习投入水平:技能、情感、参与和表现,并对其包含的行为投入进行高低排序[13]。也有研究通过相关性分析、滞后序列分析和聚类分析等对在线学习行为序列和参与模式进行了实证探索,将学生样本根据其行为序列特征划分为五种类型,并定义出五种在线参与模式:即低投入式、浅层次投入式、绩效投入式、循序渐进式和随机参与式[14]。王洪江等人还根据xAPI标准所提出的在线学习活动,确定当前能反应独立自主学习活动的三类数据——教学视频播放行为数据、视频观看时长和并发学习行为数据,提出在线学习投入度算法,实现了对自主学习投入度的实时观测与计算[15]。

除了单一的在线学习行为投入分析之外,相关研究也尝试将其与学习者的认知、情感等要素结合起来分析学习投入水平状况。王改花、傅纲善从认知、情感和意志三个维度编制了网络环境下学习者特征量表,并通过在线行为数据的聚类分析将在线学习者分为高沉浸性型、较高沉浸性型、中沉浸性型、低沉浸性型四种群体,通过分类剖面图直观呈现每个属性及其分布,由每种群体中的人数判断学习者学习投入整体水平[16]。李艳燕等从认知投入、行为投入、社交投入、情感投入四个维度构建了在线协作学习中小组学习投入的分析模型,采用标准差方式对于行为投入基本情况进行排列,以此表示学习者行为投入水平,其中行为投入中发帖量最能体现学生在线学习的投入强度[17]。

尽管前人的研究均已表明,学习者的在线学习投入类型不同其强度也各有差异,但总体上并没有形成学习者在线学习投入强度评估的常模量表,即缺乏一个客观衡量学习者在线表现优劣的标准。相关研究也只是较多傾向于针对学习者的在线学习行为类型进行相互比较,每一种学习行为相对于其它行为都有一个相对意义上的学习投入水平高低,但针对同一类型学习者的同一学习行为投入水平评估则缺乏一个可参照的依据,并不能从绝对意义上刻画出每一位学习者的在线学习行为投入水平或强度。

(二)有关在线学习投入效果的研究

在线学习投入效果或有效性主要是指学习投入的时间、交互等问题与学习质量之间的关系。Carrol曾提出影响学生学习结果的个体内部因素和外部条件最终均可还原为时间,以学习时间来表示[18]。Andrew & Ronald的研究证明,学习投入能够促进学生的学业成就,提升专业成熟性,降低辍学率,并与学习绩效呈显著的正相关[19]。Ji Won You通过调查大学生的课程数据发现,学生的学习规律、作业迟交数量、课程登录频率等学习行为都可以预测学生的课程成绩[20]。胡小勇等人针对大学生群体的研究发现,在线学习投入对在线学习绩效具有直接正向影响[21]。Adrienne E.Williams等对MOOC学习的第一周成绩和线上学习行为做了相关分析,发现第一周的学习成绩与在线学习行为投入呈正相关,且增加外部刺激会有助于提升学习效果[22]。Hughes Glyn等探讨了技术对开放学习的影响,通过捕获和分析学生表现的数据,发现积极参与、较高互动和良好出勤对应了较高的分数[23]。P.G.Barba等调查了动机和参与对学生学习MOOC的影响,结果发现绩效的最强预测指标是参与度[24]。Li N等人在研究中也验证了在线学习参与和学业表现之间的相关性[25]。Chia-Lin Tsai等则提出在线学习中投入更多互动的学生对学习结果最有利[26]。李艳燕等人得出在小组学习投入中行为投入、社交投入与小组成绩呈显著正相关关系的结论,而积极、消极、困惑三类情感投入则与小组成绩呈负相关关系[27]。R.Conijn等在研究中进一步使用相关性、多元回归和过程挖掘分析了学生总的活动频率、对待特定课程项目的频率和活动顺序用以预测学生的表现,发现65%的特定课程项目活动与期末成绩显著相关[28]。Robert L.Peach等人利用贝叶斯模型和时间序列数据框架,分析描述了在线课程中个人和小组学习者的行为,发现高成绩学习者对于课程的投入度更高[29]。

由此可见在线学习投入与学习成绩、学习效果之间存在必然的联系,也突显出学习行为研究对学习效果的预测价值。而针对学习投入,它永远离不开时间因素,如何推进解释、预测学习时间与学习结果之间复杂关系的研究将成为学习研究领域持续关注的课题。从早期的学习时间与学习结果关系探讨中也可以发现一些不足:如诸多研究过于强调时间,而忽视了学习任务性质;较少考虑不同时间段学习者学习效率的变化;缺少嗜好、态度和价值对学习时间影响的考虑等。

(三)有关在线学习投入适切性的研究

关于学习投入的适切性或精准度主要涉及学生如何学习的问题,即综合考虑行为类型与投入时间共同对学习效果的影响作用。单从学习投入类型对学习的影响作用来看,已在学习投入强度和效果研究中有所体现。如张琪等利用学习者对信息交换活动的适应性调节过程分析了学习行为投入的状态,建立起周期反馈循环模型,确定了包含持续性、反思性、主动性与专注性的“PRIC”评测维度,对其中的学习行为投入进行了权重计算,提出位于持续性的行为权重最高,其次是主动性、反思性与专注性,勾勒出学习行为投入各维度及指标的重要程度[30]。尹睿等人构建了“行为投入、认知投入、情感投入和社会交互投入”的理论模型,分析出在线学习投入各结构要素对总体在线学习投入有不同程度的影响,其中社会交互投入影响最大,接下来依次是认知投入、情感投入和行为投入[31]。总体来看,目前对于学习投入精准度的研究尚缺乏全面细化的投入分析模型,但从投入类型和投入时间两方面结合分析的研究已陆续展开。W Peng结合网上学习过程的行为特征提出了“三维度四层次”的学生分析框架接触模型,运用不同的方法对学生学习投入的三个维度进行精准分析研究[32]。宗阳等人在RFM模型基础上依据xMOOC在线学习过程特点,提出中国MOOCs学习者的价值衡量模型ML-RFT,采用模型指标原始值与所有学习者平均值比较的方法将MOOCs学习者分为八大类[33]。R Deng等人设计了衡量学习者投入度的量表,该量表由四个维度组成:行为参与、认知参与、情感参与和社会参与,用来精确评估学习者在MOOC教学中的投入,并简单分析了更有益于学习效果的行为投入强度[34]。

从已有的研究成果看,众多研究主要采用描述性统计或回归分析,仅能表征少量行为投入的简单线性关系,缺少对不同阶段认知、行为及情感投入综合影响关系的结构化考查。同时,研究结果仅停留在对于学习行为投入维度的划分上,缺乏对投入时间系列与学习质量关系的对比分析,对于学习者某一具体学习行为表现的最佳阈值区间还缺乏系统科学的论证。

目前在教育研究領域存在一种点、线、面类型的方法系谱[35]。“点”式方法,是从一个概念、一个假设、一个理论出发,或者一对范畴、或者从点构成的三角关系出发而展开的教育研究。如傅钢善等从认知、情感和意志三个维度编制了网络环境下学习者特征量表,以及从行为、认知和情感三方面研究在线学习投入就是典型的“三点式”;而假设学习者的学习投入会影响到其学习效果,就是“一点式”的研究。“线”性方法是指按照某种一元化标准对研究对象进行的两个以上的分段或分类。具体来说,“线”性方法可分为阶段法、分类法与连续体方法。如李爽等将36个行为序列分为五类在线参与模式,即低投入式、浅层次投入式、绩效投入式、循序渐进式和随机参与式。诸如这样采用线性方法开展的分类或分段研究较多。象限图分析法就是相对于“点”式方法与“线”性方法而言的“面”上研究方法,其分析构成要素包括“两维”与“两极”,由两维与两极构成的象限形成一个平面,称作“面”上研究。当下“点”式方法是教育研究的主流方法,“线”性方法则有待进一步深化,“面”上方法,即象限图分析方法却很少被研究者关注。有关在线学习行为投入的研究目前也主要集中在点式或线性方法的交替应用上,采用面上方法开展的研究则不常见。

“面”上研究方法中的二维象限法最早起源于管理学,并受到认同和广泛的应用[36]。广义上的象限图方法是指以事物(事件、工作、项目等)的两个重要属性为分析依据,进行分类分析,找出解决问题办法的一种分析方法。运用象限图法的分析思路并不复杂,但实际价值却不容小觑。具体使用过程就是通过分析找到研究对象最重要或影响力最大的两个方面分别构建“两维”和“两极”。“两维”是指建立分析坐标的两条轴线,分别用A、B表示;“两极”是指同一坐标系轴线两端所代表的方向完全相反的描述性标准,由“两维”和“两极”构成的象限是一个平面。只要A、B两方面区分合理、相互独立且每个维度的标准统一、两极对立,就很容易将研究问题的一个新维度或新类型扩充出来,由此延伸下去,可以开拓出有意义的研究新方向,从而提出许多有意义的观点。因为二维象限分析的基本特点是同时采用两个分析维度,且至少把研究对象分成四种情况来加以考虑,其主要价值是可以拓展研究者的思维,超越狭隘封闭的一元化思维和简单的线性模式。因此在教育现象研究中,运用象限图法能够在假设提出、类型划分和模型构建等方面发挥其独特的作用。

学习行为不仅存在各种外在表现形式,也反映着不同学习者的心理状态。在心理学中,内隐是个体对事物所持的积极或消极的认知、情感或反应,由不自觉的以往经验或不能归因于以往某一确定经验所引起。认知心理学和社会心理学中常用的内隐态度定义来自于Greenwald & Banaji对内隐认知相关概念的定义:即内隐态度是无法省识(或准确识别)的过去经验痕迹,它调解着对社会上的事物喜欢或不喜欢的情感、认知和反应[37]。行为治疗理论也把行为分为内隐和外显两种,其中内隐性行为包括思想、想象、感觉和情绪等。该理论认为,外显行为和内隐性行为同出一源,处于同一连续体上,两者的重要性是相同的。外显行为可以转化为内隐行为,影响内隐行为;反过来内隐性行为也可影响外显行为,两者之间具有交互作用。内隐性行为和外显行为一样受学习原理特别是操作条件作用原理的支配,其交互作用也遵循同样的规律。因此,对学习者在线学习行为的分析便可借助二维象限分析法,将具体在线学习行为从外显性和内隐性两个维度考查,探究每一种学习行为的内部动机程度,综合分析学习行为表现与学习效果的关系,形成多角度、多层次的评价指标体系,从而对在线学习行为投入做出更全面、更有应用价值的评估结果。

从目前在线学习规模和针对在线学习质量研究的现实落差来看,在线学习行为投入分析亟需探索新的设计思路与方法来提升研究的品质和实际效用。鉴于对在线学习投入研究真实状况的分析了解,本研究拟从线上学习中最易获取的行为数据入手,将从外显性和内隐性两个属性对其进行深度分析,综合应用点、线、面三级方法,试图构建在线学习行为投入评估模型,以期对学习者的在线学习投入状况进行全面评估。该评估模型将集中讨论以下三项研究内容:(1)有效评估学习者的在线学习投入水平;(2)准确评估在线学习行为投入过程与学习结果之间的关系;(3)科学评估学习者在线学习行为投入的最佳阈值区间。

(一)基于“点”式的评估

构建基于“点”式的评估模型,首先假设行为投入度越高,学生的学习绩效越好,然后建立在线学习行为投入度的百分等级量表。

1.建立每一种学习行为的百分等级常模

学习者在线学习的每一种行为都将有一个外显特性和一个内隐特性,进而形成在线学习行为投入评估的基础条件。选取一定数量的学生样本,从平台获取学生的相关学习行为之后,在前期分类的基础上,分别建立每一种行为外显数值的百分等级量表和内隐数值的百分等级量表(如表1所示)。建立学习行为投入的百分等级量表是后续研究的基础,其客观程度一方面需要样本数量的支持,同时也需要教师线上的精心指导和对学生学习状况的综合考虑,保证现有条件下的线上学习行为投入水平呈正态分布样态。

2.计算每位学习者学习行为投入的百分等级位数

当通过取样建立了某一行为的百分等级量表以后,针对某一学习者的学习行为投入就可以计算出其在学习者群体中所处的相对位置。基于此,可对学习者做出比较准确的反馈,对教师教学指导甚至为平台自动化预警提供有益帮助。但这只是单纯的描述性信息,其数量大小对学习结果的影响作用还需要进一步深究。

(二)基于“线”性的评估

目前大多数关于在线学习行为投入的研究采用了线性方法,根据其对学习效果的影响作用大小将直接检验到的学习行为重新定义分类,形成一组抽象的学习行为类别,其在某一方面已经暗示着投入的有效性。本研究在前期假设的基础上,通过Rasch模型进一步分析呈现不同学习行为类型与学习绩效之间的相关性,进而呈现出新的行为关系结构类型。Rasch模型是丹麦数学家乔治·拉希(Georg·Rasch)提出的一种基于概率的潜在特质模型。它主要的特点是能克服样本依赖,并且能将数据放置在同一个Logit尺度中。本研究中建议可以将每种行为(某一外显特性或某一内隐特性)类型看作是难度不同的测试项目,在行为数据样本足够多的情况下,将学习结果(成绩)与学习行为类型放在同一量尺中,通过Rasch分析直接比较两者之间的联系,探索行为类型与学习结果的具体关系。这里使用单维Rasch模型进行具体数据分析,大致可以分为以下两种情况:

1.学习者外显行为投入与学习效果的关系

比如对学习者登录总时长、登录总次数等外显行为与学习成绩进行单维Rasch分析(如图1所示),将学习者登录总时长、登录总次数等外显行为,依据百分等级常模中角定的标准来衡量,低于标准的投入赋值为0,高于标准的投入赋值为1,全部外显行为在怀特图右侧展示,左侧分别代表学习者的学习成绩。怀特图中左边的学习者学习成绩,越靠近顶端,代表学习者学习效果越好;右边代表外显行为的类型,自上而下依次降低。越是处于上部的学习行为代表学生越好的结果,也即这些行为投入对学生的学习成绩影响越大。如果将学生所有的外显学习行为按自下而上或自上而下地排列分成几阶或几段,依据影响学习效果的外在行为因素可以形成一个新的线上学习行为分类结果,以突出主要的行为外显特征。

2.学习者内隐行为投入与学习效果的关系

比如对学习者登录平均时长、平均登录间隔等内隐行为与学习成绩进行单维Rasch分析,将学习者登录平均时长、平均登录间隔等内隐表现,按照标准来衡量,低的赋值为0,高的赋值为1,全部内隐行为在怀特图右侧展示,左侧分别代表学习者的学习成绩。怀特图中左边的学习者学习成绩,越靠近顶端,代表学习者学习效果越好;右边代表内隐行为的影响程度,自上而下依次降低。越是处于上部的学习行为代表學生越好的学习效果,即这些行为对学生的学习成绩影响越大。如果将学生所有的内隐学习行为按自下而上或自上而下地排列分成几阶或几段落,依据影响学习效果的内在行为因素同样可以形成一个新的线上学习行为分类结果,以突出主要的行为内隐特征。

(三)基于“面”上的评估

为兼顾学生的线上线下学习和其它课程内容的学习,在有限的学习时间范围内,试图分析学习者线上学习行为投入的最佳域值区间,为教师的合理引导提供证据支持。由于学生的学习总时间量是固定的,学生用于线上学习的时间如何分配,也即线上学习投入强度大小还缺乏具体的判断准则。从已有研究结果看,就大学生的学习投入状况如何并没有给出一个明确结论。虽然各类研究均表明在线学习投入与学习结果有一定的关系,但针对是否存在适切的在线学习投入度(即精准度)并没有给出答案,而且也缺乏对学习行为彼此交互影响关系的全面分析。这就需要突破原有的线性研究思路,通过面上研究方法的应用找到一些新的规律,在明晰行为投入强度与学习绩效关系的基础上,进一步分析不同的内隐行为与外显行为对学习效果影响的一致性,并对其行为投入效果的最佳域值区间有比较准确的掌控。

1.在线学习行为的二维象限分类研究

将平台上可能出现的学习行为序列已按外显属性和内隐属性两个方面进行分类,再借助二维象限分析法将其分为高低组合的四种类型,分别处于四个象限中(如图2所示)。外显行为属于频率性投入,受单一的行为表现因素影响;内隐行为属于实质性投入,受较多的认知因素和情感因素影响。其高低划分的标准主要是依据“点”式研究中所确立的百分等级量表,将学生学习行为数据由低到高进行排序,选择50%的中间点作为标准。当外显性行为投入和内隐性行为投入值的百分位数都大于50时,属于高频次投入,小于50时属于低频次投入。这样不同程度的行为投入者就会进入不同的象限,具体分布在某一象限的学习者数量比较直观地呈现出来。

2.外显行为与内隐行为投入的组合分类

在前期点式和线性研究的基础上,学习行为投入的频次高低(强度)以及和学习成绩的关系(效度)都已明确,此时需进一步细化分类,将同处高投入的内隐、外显行为再分别划分为“非常高(H3)、中等高(H2)、一般高(H1)”三个层级,这样在A象限(高内隐高外显)上由不同的内隐、外显行为层级分割成9个区域。同样将低投入的内隐和外显行为也划分为“一般低(L1)、中等低(L2)、非常低(L3)”三个层级,结合A象限的划分层级,这样在B象限(高内隐低外显)和D象限(低内隐高外显)上同样被分割成9个区域。

3.用多维Rasch分析确定学习行为投入的精准度

通过单维Rasch分析分别确定了外显行为和内隐性行为对学生学习成绩的影响之后,再通过多维Rasch分析来判断外显行为和内隐性行为共同影响下与学习成绩的关系,进而确定学习行为投入的最佳阈值,即精准度。

具体作法是构建出“学习成绩——某一行为的内隐性表现——某一行为的外显性表现”的多维Rasch模型,在A象限和B、D象限,内隐性行为投入和外显行为投入都已分为三个层级(如图3所示)。为便于使用Facets分析软件,分两步确立最佳行为投入区间。第一步,针对A象限,假定满足A象限的行为数据规定为“1”,落在其它象限的数据则定为“0”。第二步,针对B、D象限,则规定满足B、D象限的行为数据为“1”,落在其它象限的数据则定为“0”。此时,分析内隐和外显同时作用下的行为类型对学习者成绩的影响,包括高内隐性高外显、高内隐性低外显及低内隐性高外显三种情况下的行为投入,得到双重作用下对学习者学习效果的影响结果。

通过上面的分析得到了能体现学习者更高能力水平的学习行为,由此继续分析这些学习行为究竟处于哪一区间最能影响学习者的学习质量,进一步用Rasch多维分析来判断这些内隐与外显行为表现落在“非常高(低)、中等高(低)、一般高(低)”三个层级组合形成的9个区域中的具体位置。多维Rasch模型允许分析多种因素与学习效果的关系,因此可以将学习成绩、行为的内隐性表现及行为的外显性表现结合分析,构建出“学习成绩-内隐性投入-外显性投入”的多维Rasch分析模型。应用Rasch多维模型,将学习者某一学习行为模块中的两种行为表现数据录入多维分析软件进行具体数据的加工处理,生成多维怀特量尺层面图。在投入高低一栏中,越靠上的层次是对成绩影响权重值越大的行为投入,越靠下的表现行为投入对成绩的影响权重值越小。

为了细化分析每一种外显性行为或内隐性行为与学习成绩的关系,此时只需要将某一种行为的内隐性表现和外显性表现按已有的高低层次划分并进行等级赋值,将数据导入分析软件就可以得到同一类学习行为中内隐性投入和外显性投入的不同组合结果。最后,再根据其与前期划分好的三个层级间的关系来判断9个区域中哪一个组合与最优成绩的相关性更高。以此方法对平台记录数据进行分析,进一步明确在线学习行为投入强度与学习成绩的复杂关系。

高等教育数字化转型归根结底要落实到教师的思想和行动上,其中一项就是教师能够准确诊断教学中存在的问题,借助数字技术解决问题,据此持续改进教学[38]。基于“点、线、面”研究方法的综合应用,建立学习行为投入评估模型,对于推动在线学习发展有一定的应用价值。本研究通过对Moodle平台上自建课程学习者行为数据的分析挖掘,可以进一步展示该评估模型在应用于获取学生在线学习的过程信息、全面掌握学生的线上学习质量和主动反思在线学习参与的实效性等方面的潜在价值。

(一)準确获取学生在线学习的过程信息

学习行为百分等级量表呈纵向分布,一方面可简单为某门课程学习中所有参与者的每一类学习行为分布趋势描绘一张张图表,可以评价所有学生的学习行为投入强度。教师可以根据此表了解班级学生整体投入现状,以及时调整教学内容、教学策略等,帮助学生提升在线学习投入水平。另一方面,通过建立的一个百分等级量表将直观呈现学生某一类行为的投入水平,作为学习者个体可以通过此表直观计算其在线学习行为投入具体表现状况,对照检验自己某一行为投入水平处于班级水平的位置,达到反映个体学习者学习投入强度的目的。

研究中对登录、文档资料、作业、测验和课程视频等五类行为发生模块中的11种外显行为和11种内隐性行为建立百分等级量表,22种行为百分等级量表中的百分等级位数即反映每个学习者在不同行为层面的投入水平。从总体上来看,在行为的外显性上,对于教师布置的测验、课程视频和作业等学习任务投入的时间精力较多,而对于文档浏览等自我决定的学习任务参与积极性程度不高。在行为的内隐性上,学生对于在线学习中任务导向的单元测验、作业提交等模块重视程度高,而在质量导向的学习规律性和作业检查频次方面则表现一般。

总体上对于每一类行为投入都会有一个整体性认知,高水平的分布区间和低水平的分布区间及相关人员都会有明确标识。同时,结合不同的行为投入百分等级量表,可以总体上把握每一位个体学习者的学习行为投入水平,进而可以准确获得学习者的学习过程信息。如表2所示,在登录行为发生模块,“登录总时长”为43267秒,投入强度为84.1,与之对应的内隐行为“每周平均登录时长”为2404秒,投入强度为84.4,这说明该生的登录行为高于总体84.1%的学生,学习的自主性较高。

(二)全面掌握线上学习的质量信息

为了掌握某一课程学习中学生所有学习行为投入的有效程度,并不是单纯依赖频次进行高低排序,而是依据其与学习结果的关系进行排列,单维Rasch分析得出的怀特图就能直观呈现其分布情况。即越往上表明学习行为投入越难达到,完成后对学习结果的影响越大;越往下表明行为投入越容易达到,其对学习结果影响越弱。从行为的外显性上来看,E2-1单个视频最后观看时间距课程结束时的平均天数等衡量学习持久性的行为是最难达到的;B1-1文档浏览总时长、B2-1文档浏览总次数、D1-1单元测验完成平均分数、D3-1完成测验时间距截止时间的平均天数是学生较难完成的学习行为;C2-1作业完成平均字数、D4-1单元测验平均完成时长、C1-1作业提交总次数、A1-1登录总时长、E1-1视频平均观看进度是学生完成得较为容易的学习行为;而D2-1单元测验完成的总次数是学生最容易实现的学习行为。因此,该教学过程中应引导学生加大主动学习投入的力度。从行为的内隐性来看,B2-2文档有效浏览次数这一行为是学生最难达成的行为,也是对学生学习成绩影响最大的行为;D4-2单元测验的相对时长差、E1-2视频平均观看时长、C1-2完成期末测验与作业超时提交次数、D3-2单个测验平均提交时间间隔、E2-2视频平均观看间隔、D1-2单元测验分数进步则比较难达到;而B1-2单个文档平均浏览时长、C2-2作业完成的低相似度、A1-2每周平均登录时长、D2-2单个测验最高答题次数是学生最容易完成的行为。如图4所示,学生在测验方面的投入水平较高,处于高内隐与高外显的投入和高内隐与低外显的投入都较高。由此可知,该课程学习中学生在绩效投入方面水平较高,而其他内隐性行为投入较低,故在教学中应该加大学生的主动投入、自我管理投入和规律性投入力度。

(三)主动反思在线学习参与的实效性

诸多研究证明,学习投入与学习结果呈正相关,即时间付出越多学习效果越好。但学生学习的总时间是有限的,对每一门在线课程的学习时间也需要合理分配,不仅不同的学习行为投入对学习效果的影响大小各异,而且外显行为与内隐行为投入水平的不同组合也影响到学习结果。二维象限分析可以直观呈现所有人的行为投入状况,并且以学生学习成绩为参照,借助多维Rasch分析对外显性与内隐性行为在投入程度上的影响力大小进行研究,通过多维怀特量尺层面的比较,比较适切的行为投入水平(即最佳阈值区间)最后得以确定,进而对学习者的在线学习行为投入效果做出更为科学合理的推断。

通过对在线学习行为投入的精准度的分析可以发现,当学习者行为投入水平达到A象限(高外显-高内隐)时,其外显行为与内隐性行为对学习结果的影响几乎是一样大的,说明在高投入水平时,外显行为与内隐性行为一样重要。具体的行为表现中,“登录的时长”类行为的表现为H3H2层级,即外显性行为表现在“H3非常高”层级,内隐性行为表现在“H2中等高”层级;“浏览文档”类行为的表现为H3H3层级,即外显性表现和内隐性表现大多都分布在“H3非常高”层级;“作业完成质量”类行为的表现为H2H1层级,即外显性表现分布在“H2中等高”层级,内隐性表现分布在“H1一般高”层级;“完成测验频次”类行为的表现在H3H1层级,即外显性表现主要分布在“H3非常高”层级,内隐性表现多分布在“H1一般高”层级;“观看课程视频频率”类行为的表现再H1H2层级,即外显性表现多分布在“H1一般高”层级,内隐性表现多分布在“H2中等高”层级。

当学习者行为投入水平达到B、D象限(低外显-高内隐、高外显-低内隐)时,其外显行为与内隐性行为对学习结果的影响则不一样大。具体的行为表现中,“登录时长”类行为的表现在H1L3层级,即外显性行为表现在“H1一般高”层级,内隐性行为表现在“L3非常低”层级;“浏览文档”类行为的外显性表现多分布在“L3非常低”层级,内隐性表现多分布在“H1一般高”层级;“作业提交”类行为的表现在H2L2层级,即外显性表现分布在“H2中等高”层级,内隐性表现分布在“L2中等低”层级;“完成测验次数及分数变化”类行为的外显性表现主要分布在“L1一般低”层级,内隐性表现多分布在“H2中等高”层级。总体上看,对于大多数学习者,登录类行为和浏览文档类行为,应投入在“H3非常高”层级至“H1一般高”层级;完成作业类行为和观看课程视频类行为,应投入在“H2中等高”层级;完成测验类行为,应投入在“H2中等高”至“H1一般高”层级。学习者可以由此合理分配自己的时间,在不同的行为模块中投入不一样的强度,将更多的时间精力放在主动型的自我管理类学习行为中,而非被动型的绩效投入类学习行为。

总之,通过综合评估模型的应用,对学习者和教师都将产生积极的影响作用。该模型直观展示并比较了学习结果与线上学习行为外显性和内隐性投入之间的联系,不仅反映学习者外在显性的学习行为对学习效果的影响,还体现了学习者内在隐性的学习动机、情感态度于学习效果间的关系。二者有效的结合应用提高了基于学习行为预测的准确性,并为学习者改进学习质量提供理论支持及更加便捷有效的方法。

参考文献:

[1] 程建钢,崔依冉等.高等教育教学数字化转型的核心要素分析——基于学校、专业与课程的视角[J].中国电化教育,2022,(7):31-36.

[2] 杨宗凯.高等教育数字化转型的路径探析[J].中国高教研究,2023,(3):1-4.

[3] 兰国帅.高等教育数字化转型的宏观趋势及应对策略——EDUCAUSE《2023年高等教育趋势观察》要点与思考[EB/OL]. https://doi.org/10.13878/j.cnki.yjxk.20230524.001,2023-06-20.

[4] 雷朝滋.智能技术支撑教学改革与教育创新[J].中小学数字化教学,2021,(1):5-7.

[5] Fredricks J A,Blumenfeld P C,Paris A H.School Engagement:Potential of the Concept,State of the Evidence [J].Review of Educational Research,2004,74(1):59-109.

[6][38] 韩锡斌,陈香妤等.高等教育教学数字化转型核心要素分析——基于学生和教师的视角[J].中国电化教育,2022,(7):37-42.

[7] B.M.Booth,A.M.Ali,S.S.Narayanan,I.Bennett and A.A.Farag.Toward active and unobtrusive engagement assessment of distance learners [A].2017 Seventh International Conference on Affective Computing and Intelligent Interaction (ACII) [C].San Antonio,TX:IEEE,2017.470-476.

[8] 兰丽娜,石瑞生等.基于学习行为模型的学习伙伴推荐方法研究[J].现代教育技术,2018,28(4):67-73.

[9] 沈欣憶,吴健伟等.MOOCAP学习者在线学习行为和学习效果评价模型研究[J].中国远程教育,2019,(7):38-46+93.

[10] 张思,刘清堂等.网络学习空间中学习者学习投入的研究——网络学习行为的大数据分析[J].中国电化教育,2017,(4):24-30+40.

[11] 韩锡斌,程建钢.基于网络教学平台的学习分析模型构建与应用[J].电化教育研究,2018,39(7):33-39+48.

[12] 李爽,喻忱.远程学生学习投入评价量表编制与应用[J].开放教育研究,2015,21(6):62-70+103.

[13] Dixson,M.D..Creating effective student engagement in online courses:What do students find engaging [J].Journal of the Scholarship of Teaching and Learning,2010,(2):1-13.

[14] 李爽,钟瑶等.基于行为序列分析对在线学习参与模式的探索[J].中国电化教育,2017,(3):88-95.

[15] 王洪江,穆肃等.自主学习投入度实时分析方法及应用研究[J].电化教育研究,2017,38(10):44-50.

[16] 王改花,傅钢善.数据挖掘视角下网络学习者行为特征聚类分析[J].现代远程教育研究,2018,(4):106-112.

[17][27] 李艳燕,彭禹等.在线协作学习中小组学习投入的分析模型构建及应用[J].中国远程教育,2020,(2):40-48+77.

[18] John B.Carroll.A model of school learning [J].Teachers College Record,1963,64(8):723-733.

[19] Andrew J W,Ronald G D.Construct Dimensionality of Engagement and its Relation With Satisfaction [J].The Journal of Psychology:Interdisciplinary and Applied,2009,143(1):91-112.

[20] You J W.Identifying significant indicators using LMS data to predict course achievement in online learning [J].Internet & Higher Education,2016,29:23-30.

[21] 胡小勇,徐歡云等.学习者信息素养、在线学习投入及学习绩效关系的实证研究[J].中国电化教育,2020,(3):77-84.

[22] Jiang S,Williams A E,et al.Influence of Incentives on Performance in a Pre-College Biology MOOC [J].International Review of Research in Open & Distance Learning,2014,15(5):99-112.

[23] Hughes G,Dobbins C.The utilization of data analysis techniques in predicting student performance in massive open online courses (MOOCs) [J].Research & Practice in Technology Enhanced Learning,2015,10(1):10.

[24] Corrin L.,Kennedy G,et al.Completing the Loop:Returning Meaningful Learning Analytic Data to Teachers:A Handbook for Educators and Learning Analytics Specialists [R].Adelaide:University of South Australia,2016.64.

[25] Li N,Wang J,et al.Investigation of face-to-face class attendance, virtual learning engagement and academic performance in a blended learning environment [J].International journal of information and education technology,2021,11(3):112-118.

[26] Chia-Lin Tsai,Heng-Yu Ku & Ashlea Campbell.Impacts of course activities on student perceptions of engagement and learning online [J]. Distance Education.2021,42(1):106-125.

[28] Conijn R,Snijders C,et al.Predicting student performance from LMS data:A comparison of 17 blended courses using Moodle LMS [J].IEEE Transactions on Learning Technologies,2017,10(1):17-29.

[29] Peach R L,Greenbury S F,et al.Understanding learner behaviour in online courses with Bayesian modelling and time series characterization [J].Scientific Reports,2021,11(1):2823.

[30] 张琪,武法提.学习行为投入评测框架构建与实证研究[J].中国电化教育,2018,(9):102-108.

[31] 尹睿,徐欢云.在线学习投入结构模型构建——基于结构方程模型的实证分析[J].开放教育研究,2017,23(4):101-111.

[32] Peng W.Research on Model of Student Engagement in Online Learning [J].Eurasia Journal of Mathematics,Science and Technology Education,2017,13(7):2869-2882.

[33] 宗阳,郑勤华等.中国MOOCs学习者价值研究——基于RFM模型的在线学习行为分析[J].现代远距离教育,2016,4(2):21-28.

[34] Deng R,Benckendorff P,et al.Learner engagement in MOOCs:Scale development and validation [J].British Journal of Educational Technology,2020,(5):1-18.

[35] 陈廷柱.二维象限分析法及其在教育研究中的应用[J].教育研究与实验,2012,4(3):55-59.

[36] 秦智勇.提高管理效果有奇招——解析二维象限法[J].管理工程师,2003,(4):30-32.

[37] Greenwald A G,Banaji M R.Implicit social cognition:attitudes,selfesteem,and stereotypes [J].Psychological Review,1995,102(1):4-27.

作者簡介:

蔡旻君:副教授,博士,研究方向为智能学习理论与应用、课程设计与评价。

A New Exploration of Learners’ Online Learning Behavior Investment

—Construction of Application Evaluation Model Based on Point, Line and Area Method

Cai Minjun

(School of Educational Technology, Northwest Normal University, Lanzhou 730070, Gansu)

Abstract: As an important evidence of online learning quality, learners’ online learning engagement attracts much attention. A comprehensive review of existing studies on online learning engagement includes analysis and judgment based on behavioral data and comprehensive evaluation based on cognitive, emotional and social factors. However, there are still many unsolved mysteries, which need further continuous and in-depth analysis and discussion. According to the effective ways of obtaining and applying network information, a large amount of behavioral data is the important information content of online learning investment quality analysis. This paper explores the classification of online learning information from the two attributes of explicit and implicit learning behaviors, which is helpful to consider the behavioral, cognitive and affective factors that affect the quality of learning.On the basis of this classification, combined with the characteristics of point, line and area research methods, the evaluation models for the intensity, validity and accuracy of learners’ online learning behavior investment were constructed by using percentage scale, single and multidimensional Rasch analysis techniques successively. Finally, through accurate access to online learning process information, a comprehensive grasp of online learning quality results, as well as active reflection on the effectiveness of online learning participation and other aspects of the application of the validation of the effectiveness of the evaluation model.

Keywords: online learning; behavioral input; evaluation model; quadrant graph method; Rasch analysis

责任编辑:赵云建

猜你喜欢
评估模型在线学习
试验靶场无线通信系统综合效能评估方法
基于支持向量回归机的电能质量评估
开放大学:过去充满传奇但前景依然未卜?
基于学习行为数据的在线学习时间规律探析
信息化环境下高职英语教学现状及应用策略研究
基于混合式学习理念的大学生自主学习能力的培养研究
基于SOA的在线学习资源集成模式的研究
通信运营企业基于客户效益的业财融合研究及应用