SPOC论坛中学习者兴趣主题建模及其与学习成效的关系研究

2019-09-10 07:22刘智刘石奇李卿柴唤友康令云刘三女牙
电化教育研究 2019年12期
关键词:回归分析学习兴趣

刘智 刘石奇 李卿 柴唤友 康令云 刘三女牙

[摘   要] 小规模限制性在线课程(Small Private Online Course,SPOC)论坛作为高校师生互动交流的重要场所,其产生的对话文本为教师了解学习者兴趣、实现智能化和个性化教学带来契机。研究提出了一种基于情感—主题时序建模的学习者兴趣主题检测与追踪方法,用于发现SPOC论坛中学习者兴趣主题与教学内容的相关性以及对学习成效的影响。研究结果表明:(1)与教学内容相关的兴趣主题对学习成效具有显著的正面效应,而娱乐灌水类兴趣主题对学习成效具有显著的负面效应;(2)在学期初期和末期,学习者兴趣主题与教学内容的语义相关度会显著上升,而中期则显著下降,即中期的“分心”现象最严重;(3)高成效组最先发起并参与了与教学内容相关的兴趣主题讨论,而低成效组的参与则较为滞后,且更倾向于表述与教学内容无关的内容。最后,通过对兴趣主题与学习成效的关系、兴趣主题对学习成效的影响以及不同成效群体在兴趣主题上的差异性与可预测性进行讨论,研究为互动教学中的精准学习干预以及智能导学方法的设计提供了相关建议。

[关键词] SPOC论坛; 学习兴趣; 学习成效; 差异性分析; 回归分析

[中图分类号] G434            [文献标志码] A

[作者简介] 刘智(1986—),男,湖北武汉人。副研究员,博士,主要从事学习行为分析与文本挖掘等方面的研究。E-mail:zhiliu@mail.ccnu.edu.cn。

一、引   言

2019年5月,国际人工智能与教育大会形成的成果文件《北京共识》明确强调:“将人工智能平台和基于数据的学习分析作为构建终身学习系统的关键技术,实现人人皆学、处处能学、时时可学。”[1]如何在信息化环境中提供个性化和智能化学习服务,满足学习者和教师的个性化需求,并构建学习共同体以提升学习兴趣,是目前教育信息化2.0时代尚待解决的关键问题。

学习兴趣充分反映了学习者的个性化需求和学习动机,是促进个体学习过程中信息加工、概念理解、问题解决的有效助推器[2]。高校SPOC论坛作为师生交流的主要场所,承载着学习者和教学者之间互动交流的丰富信息,为了解学习者需求和兴趣偏好并提供个性化学习服务带来了契机[3]。在传统的线下课堂教学中,学习者的兴趣通常采用调查问卷、访谈、量表等测量工具进行分析和评价[4],这导致兴趣数据来源过于主观和片面,阻碍了对学习者感兴趣内容的准确发现。相比传统课堂,网络学习环境下的数据来源更具多元化和规模化,评测工具和方法更加精确,这使得学习者兴趣模型的构建更为客观和全面[5]。但是,在线学习群体兴趣主题复杂多变,现有研究仅对论坛话语的情绪[6]、行为[7]或主题[8]进行了离散化孤立分析,尚未在时间维度上将情感和主题等多种特征进行联合概率建模来推测学习者的兴趣主题。同时,学习者在论坛中发表的不同兴趣主题和学习成效之间的关系并不明确[7,9],且未充分发掘不同学习成效群体的兴趣发展动因,这也在一定程度上影响了个性化与适应性教学干预策略的有效实施。

鉴于现有研究的不足,本文旨在开发一种基于情感—主题时序建模的学习者兴趣主题挖掘算法,发现互动话语中学习者关键兴趣主题及其演化趋势,并探究不同学习成效学习者兴趣主题的差异性及其与学习成效的关系,为开展SPOC论坛中的高质量互动教学与适应性干预提供依据。

二、文献综述

(一)论坛中的兴趣挖掘

加拿大教育心理学家Hidi认为,学习兴趣与学习者知识及积极情感密切相关,是一种具有跨时间发展和相对稳定的内在动机倾向,能促进认知功能发展并提高学习成效[2]。在线论坛作为学习者自由表达个人诉求和意见的重要场所,分析其产生的丰富话语数据是获取学习者兴趣的有效途径[10]。国内外研究者一般使用基于LDA(Latent Dirichlet Allocation)文本主题建模算法客观量化论坛文本中的兴趣主题信息[11]。Chen等人考虑到论坛帖的上下文信息,将用户参与的主题帖与回复帖进行兴趣建模,可发现用户的严肃兴趣以及灌水类兴趣主题[12]。Wu等人认为对学习者知识操作行为的分析有助于发现其学习兴趣,将产生知识行为和收藏知识行为纳入学习者兴趣建模中进行考量,并证明了其在开放知识社区中挖掘学习者兴趣主题的有效性[7]。Liu等人将论坛发帖中的行为和情感倾向融入主题模型,以探索特定主题的情感倾向以及交互倾向[13]。Yang等人认为,兴趣应该更侧重时间维度的考量,在LDA模型中引入时间变量以探究用户兴趣主题词的演化趋势[14]。Jo等人将句子级LDA联合情感因素建立了主题方面与情感联合模型(Aspect and Sentiment Unification Model,ASUM),用于发现与情感密切相关的细粒度主题[15]。Peng等人采用行为、情感与主题联合概率模型,发现MOOC评论中主题的情感和发帖行为间的关联性及演化规律[9]。从研究现状来看,将互动话语中的主题、情感、时间和行为等特征联合建模是准确挖掘论坛用户兴趣的前沿方向。

(二)学习者话语与学习成效的关系研究

近年来,使用学习者在论坛中的话语互动表现进行学习成效评价与预测,已成为学习分析与教育数据挖掘领域的研究热点[16-19]。从2008年开始,研究者聚焦于学习者论坛交互中的情绪信息并探讨其与学习成效之间的关联性[20]。例如,Binali等人提出一种学习论坛文本的情绪挖掘方法,结果显示积极情绪与学习成效显著正相关[21]。2013年起,研究者侧重于联合文本中的主题、情感、认知行为、语义关联等特征共同探索其与学习成效的关系。卡内基梅隆大学Rose教授所领导的教学话语分析团队发现,MOOC论坛中学习者的高阶认知行为和群体正/负情感比值与学习成效呈正相关[22]。刘智等人探究了SPOC论坛中学习者话语行为与学习成效的关系,发现发帖数量与学习成效显著正相关[8],困惑情绪和学习成效呈显著负相关[23]。与MOOC论坛不同的是,SPOC论坛是高等教育中混合式教学的重要辅助工具,教师除了利用其开展互动讨论、学习心得分享和答疑解惑外,更关注师生交互讨论中的群体学习兴趣语义内容及其发展动向。Goshtasbpour等人通过论坛对话的人工编码分析和问卷调查发现,教师与学习者的互动讨论对学习成效有积极影响[24]。何皓怡等人使用LDA模型挖掘学习者在培训论坛中的文本,发现高学习成效群体的主题词使用比低成效群体更为丰富[25]。Yan等人使用LDA模型分别提取学习者论坛和教师课件内容中的主题信息,并采用LSA(Latent Semantic Analysis)算法比较两组主题之间的语义相似性,以此来评价学习者在课程学习期间的互动参与度与学习体验[26],但该研究并未进一步探究学习者参与度与学習成效的关系。Rezaei等人发现在非正式学习环境中,学习者之间的学习兴趣相似程度和相互交流能力是取得高学习成效的关键因素[9]。综上所述,采用多特征联合建模的方法挖掘学习者兴趣,探究其与教师教学内容和学习成效的动态关联,是现阶段SPOC论坛话语分析研究亟待解决的关键问题。

三、研究设计

(一)研究问题

在SPOC论坛讨论中,学习者产生的对话文本数据隐含着丰富的兴趣主题信息。为探索关键兴趣主题及其演化趋势,本文对论坛数据进行情感—主题时序的概率建模,以积极情绪依赖下的主题表示学习者的兴趣主题,计算兴趣主题在不同群体的概率分布,并在此基础上探究学习者兴趣主题与学习成效之间的关系。因此,本文将讨论以下问题:

(1)在SPOC论坛互动中,学习者讨论的关键兴趣主题是什么?其中与学习效果最相关的兴趣主题与教师教学主题有何关系?

(2)在SPOC论坛互动中,兴趣主题对学习效果的影响在课程进展中有何演化趋势?

(3)在SPOC论坛互动中,不同学习成效组在关键兴趣主题上有何差异?

(二)研究对象和数据来源

本文数据来源于华中地区某高校SPOC平台中“新生研讨课”课程在2017年9月至2018年1月的论坛发帖纪录。该课程作为英语专业必修课,其主要教学内容是师生共同探讨学业规划和专业能力培养,共有8位教师参与授课,199名学习者注册学习(其中194人参与讨论并取得了最终成绩)。该课程论坛在该学期内共产生11673条讨论帖,通过对该课程的讨论数据进行学号匹配与筛选,剔除无学业成绩的外部学习者发帖记录,最终获得教师发布的570条有效教学内容[27]数据,以及194名学习者发布的10439条有效讨论数据。本文将该学习群体在学期末的总评成绩作为学习成效的衡量指标,其平均分为86.30,标准差为5.15。该课程的成绩比例中,平时作业和测试成绩占60%,课堂讨论和云课堂学习参与度评价占40%。因此,学习者在论坛中的互动表现被视作其最终学习成效评价的一个重要依据。

(三)研究方法

为解决研究问题1,我们基于学习兴趣的时序性及其与积极情感的伴随性特点,提出了基于情感—主题时序建模的学习者兴趣主题挖掘方法。该方法以积极情绪词典作为种子词,挖掘学习者论坛帖中与积极情绪强相关的主题信息,进而计算每个兴趣主题在15个教学周中出现的概率值,并采用文本余弦相似度算法,计算教学内容的主题词和不同学习者兴趣主题间的相似度。在此基础上,使用情感—主题时序模型得出的兴趣主题概率值对学习成绩进行回归分析,探究兴趣对学习成效的影响及其时序性,解决研究问题2。最后,采用单因素方差分析与事后检验等统计分析方法,检测不同成效组间的兴趣差异性以解决研究问题3。

1. 学习者论坛兴趣主题建模方法

情感—主题时序模型是一个贝叶斯概率生成模型,采用无监督自动化的方式发现情绪和主题在整个教学周期内的联合动态演化特性,并以句子级情感和主题采样方法解决细粒度主题和情感难以发现的问题,如图1所示。

图1中,空心圆代表未知变量,实心圆代表已知变量,有向箭头代表条件概率,方框右下角字母代表重复采样次数。E,T,U分别是情感类别数量、主题数量、用户数量;t,w是可观察到的发帖时间和帖子文本;e,z 是隐含的情绪和主题; α,β,γ,μ分别为潜在变量θdjk,φjkw,πdj,ψjkh的超参数,其中θdjk表示学习者—主题概率分布、φjkw表示词—情感—主题概率分布、πdj表示文档—情感概率分布、ψjkh表示时间—情感—主题概率分布。该模型假设,文档集中有确定数量的情感—主题关联对(如:“喜欢”—“写作”),每个文档由多个情感—主题的关联对混合构成。例如,在撰写帖子前,学习者已经有一个对自身学习体验的直观情绪感受,其中包含50%的积极情绪与50%的消极情绪,且他的意见可通过每种情绪的主题概率分布来建模(例如,在积极情绪分布中,听力训练、英语写作与娱乐灌水三种话题各占40%、40%和20%)。首先,在撰写每个句子时,先确定一种情绪类别,然后从情绪—主题分布中选出一个主题去描述其学习感受和想法,最后在完成一个句子时生成相应的时间戳,以该方式生成多个句子构成讨论帖。

我们根据该假设可以计算学习者讨论帖中隐藏的情感—主题—时间关联结构,用于客观表示群体或个体兴趣主题的演化情况。为此,需要使用吉布斯采样(Gibbs Sampling)的方法训练模型,如公式(1)所示:

利用吉布斯采样公式(1)进行多次采样和迭代,待模型收敛后即可估计出四个稳态分布的概率函数参数θdjk、φjkw、πdj、ψjkh,其在采样中的计算过程如公式(2)所示:

训练后的模型经过参数求解,可得到学习者的时间—情感—主题概率分布ψjkh以及情感—主题—单词概率分布结果φjkw,两者可共同表示特定群体在整个学期中的兴趣主题概率分布,以及在不同周次的兴趣主题概率分布。

2. 学习者和教师兴趣主题间的相似度计算

3. 兴趣主题与学习效果间的关系

首先,为从语义多样的主题集合中确定关键兴趣主题,需要将学习者—主题概率与学习成绩进行回归分析,得到众多兴趣主题中对学习成效贡献显著的兴趣主题编号,排序选出正回归系数和负回归系数最突出的主题。其次,为确定关键兴趣主题与教师发言内容的语义相似性,我们将教学内容主题列表中的兴趣词与学习者兴趣主题词进行语义余弦相似度计算,得到相关系数;为分析兴趣主题对学习效果的影响趋势,将学习者每周讨论的关键兴趣主题概率和学习成效进行多元回归分析,得到兴趣主题对学习成效的回归系数和显著度。最后,对不同成效组在课程学习周期上的兴趣主题概率值(按周统计)进行重复测量方差分析与事后检验,探究不同学习成效群体在整个学期内兴趣主题随时间变化的差异性。

四、研究结果及分析

(一)学习者讨论的关键兴趣主题

因无監督主题模型的算法限制,首先,需要在该数据集上确定合适的主题数量使模型困惑度(Perplexity)达到最低,经过多次参数调整实验,最终将兴趣主题确定为50个。其次,我们将每个兴趣主题在整个学期累计的总体概率值与总评成绩进行回归分析,得到不同兴趣主题对成绩的贡献度。为了计算这些主题同教师发表主题的关系,我们将每个兴趣主题中的主题词与教师发言主题词进行语义相似度计算,结果如图2所示(已剔除回归系数不显著的主题序号)。

学习者讨论的50个兴趣主题中共有23个主题对学习成效的回归系数具有显著性关系,说明论坛讨论中存在将近一半的兴趣主题与学习成效密切相关。这些兴趣主题中与教学内容的语义相似度从0.02到0.61不等,其中有4个主题(T1,T3,T22,T30)与教学内容的相似度达到0.3以上,表明学习者和教师关注的兴趣主题具有较高的相似性。

为确定具有代表性的关键兴趣主题,我们按照标准化回归系数和语义相似度将23个学习者兴趣主题分为3类,教师教学主题合并为1类,见表1。3类学习者兴趣主题分别为:(1)提升专业能力类主题,例如T1(回归系数β=0.47, 相似度r=0.61),共18个,对成绩具有显著正效应且与教学内容强相关。该主题是由教师发起且学习者积极参与,内容涉及提高英语听说读写译专业能力、提升英语教师的能力和规划职业发展,是师生之间讨论最多的兴趣主题。(2)英语写作类主题,例如T11(回归系数β=0.36, 相似度r=0.09),共4个,对成绩具有显著正效应且与教学内容中度相关。该主题是由教师或者助教发起的命题英语写作,学习者按照题目要求以论坛回复帖的形式回答,是决定学习者成绩的因素之一,教师在过程中不参与讨论,因此,语义相似度较低。(3)娱乐和灌水主题,例如T9(回归系数β=-0.24, 相似度r=0.02),仅1个,对成绩具有显著负效应且与教學内容弱相关。该主题偏离了教师教学内容主题,内容涉及数学作业、电视剧和电影明星等内容。教师教学内容反映了教师在论坛中的指导答疑情况,可概括为提升专业能力与英语写作主题。

为准确描述和预测三类关键兴趣主题与学习成效的关系,我们将四者联合成多元回归方程,如方程(4)所示。y是因变量(最终学习成绩),x1,x11,x9与 β1,β11,β9分别是T1,T11,T9的概率值和非标准化回归系数,截距值为74.8,p<0.05。

y=18.3x1+46.2x11-140.8x9+74.8                    (4)

结合兴趣主题的内容和回归分析结果发现,学习者与教师共同讨论教学内容能对学习成效产生显著正面效应。与之相反,如果学习者脱离教学内容,且讨论娱乐和灌水类兴趣主题会对其学习成效产生显著的负面效应。

(二)兴趣主题演化趋势与对学习效果的影响趋势

为探究兴趣主题的演化趋势及其对学习成效的影响趋势,我们将T1,T11,T9三类关键兴趣主题作为学习成效的主要影响因子,将每类兴趣每周的概率值绘制成折线统计图,将每周在这三类兴趣上讨论的概率值对学习成绩的显著性回归系数绘制成条形统计图。如图3所示。

由图3可知,学习者在学期内对三类兴趣主题的关注度变化较大,T1和T11对学习成效的回归系数随它们的讨论强度增加而增加,T9则相反。对学习成效的回归系数也不尽相同,为了准确描述不同时期的情况,我们将15个教学周分为三个阶段,即初始阶段(第1周到第5周)、期中阶段(第6周到第10周)、期末阶段(第11周到第15周)。初始阶段:第1周,学习者对娱乐灌水的兴趣讨论最多,提升专业能力兴趣主题次之;到了第2周,学习者逐渐进入学习状态,开始关注学习相关的兴趣主题;第3周时,通过查证当时的论坛帖,教师在这周开始布置了英文写作和对话的任务,学习者密切关注该主题,其他兴趣下降;第4周到第5周,学习者又开始偏离教学相关兴趣,关注娱乐灌水主题。期中阶段:学习者的总体线上讨论持续低迷,在此阶段依旧对教学内容相关内容T1感兴趣的学习者具有较高的学习主动性,他们在此时的回归系数很高。值得注意的是,在第8周到第9周,论坛中出现了大量娱乐灌水兴趣话题,说明此时是学习者“分心”的突发期;从第10周开始,学习者可能意识到课程即将结束,娱乐灌水主题明显下降,重新关注与课程内容相关的兴趣主题。期末阶段:由于即将迎来期末考试,三种兴趣主题讨论热烈,在第15周到达顶峰。为了探究三种兴趣主题间的关系,我们将整个学期内三个兴趣主题之间进行了相关分析,发现娱乐灌水主题与课程相关主题显著负相关,意味着这类学习主题会导致学习者“分心”,影响学习者的课程投入度,进而降低学习成效。

(三)不同学习成效学习者兴趣主题特征的差异性

为深入分析不同学习成效学习者兴趣主题的差异,按照Kelley提出的高低水平分组准则[29]进行学习者分组,具体操作为:将课程总评成绩排名前27%的学习者分为高成效组(N=52),中间46%的学习者为中等成效组(N=90),排名后27%的学习者为低成效组(N=52)。本文采用重复测量方差分析法检验前三个兴趣主题在15个教学周中的交互关系,为后续学习成效和兴趣主题两个因素的差异检测提供依据,结果见表2。

兴趣主题的显著性p(T)<0.001,说明不考虑主体间效应(学习成效)时,学习者之间的兴趣主题差异性显著;“兴趣主题×学习成效”的显著性p(T×G)<0.001,这表明不同学习成效组与兴趣主题交互作用显著,即不同学习成效学习者成绩受到自身兴趣主题影响。由此需要进行简单效应检验,以确定同一兴趣主题下不同学习成效组是否存在显著差异。“学习成效组”的显著性p(G)<0.001,这表明不考虑主体内效应(学习者自身兴趣)时,不同学习成效组学习者的兴趣存在显著性差异。由于本研究涉及的所有情况并不满足Mauchly球形假设,需通过重复测量方差分析来验证成效水平和主题时间在兴趣主题概率上的相互作用,并采用单因素多元方差分析发现,不同学习成效组的兴趣主题在是否随时间变化方面有显著不同,结果见表3。

从表3中,我们发现随着课程的发展,三类兴趣主题概率在不同教学周上均存在显著变化。所有兴趣主题上“时间”的显著性p(S)<0.001,说明不同周次学习成效组之间的兴趣主题概率存在显著差异。所有兴趣主题的“学习成效”显著性p(G)<0.01,说明不同学习成效组的兴趣主题概率存在显著差异。时间与成效组间的交互性p(S×G)<0.01,表明不同成效组的兴趣主题概率值随课程的进展呈现显著差异性。为进一步验证不同成效组学习者兴趣主题的差异性,我们做了三组事后检验,分别验证每两组兴趣主题的差异性,结果见表4。

高、中、低成效组在三类兴趣主题上差异性的均值和事后检验结果显示:高成效组是英语专业发展兴趣主题T1和写作兴趣主题T11的主要参与者,说明对该主题越感兴趣,越可能取得良好成绩;低成效组是娱乐和灌水兴趣主题T9的主要参与者,说明对于该主题感兴趣的学习者更有可能得到较低成绩。为研究不同教学周中,不同学习成效组对不同兴趣主题的讨论情况,我们绘制了学期内不同学习成效组在不同兴趣主题上的折线图,如图4所示。

对于提升专业发展相关的兴趣主题T1,高成效组和中等成效组在整个学期内都积极参与了讨论,而低成效组的参与度低,且只在考试前两周进行了临时补救性参与。对于英语写作类主题T11,高成效组和中等成效组在第4周和第15周出现了两次讨论高峰且显著高于低成效组,低成效组的峰值滯后出现在第5周。对于娱乐和灌水兴趣主题T9,在整个学期内高、中成效组基本没有参与讨论,而低成效组在第5周、第9周和第15周讨论较激烈。

五、结   论

SPOC论坛文本话语是互动学习的重要交流载体,可真实反映学习者的兴趣、情感态度等特征。本研究提出了一种基于情感—主题时序建模的学习者兴趣主题检测与追踪方法,用于发现SPOC论坛中学习者兴趣主题及其与学习成效的关系。我们在一个拥有194名学习者和8名教师的混合式课程论坛数据上进行了实验,研究结果表明:(1)英语专业新生研讨课论坛的50个兴趣主题与学习成效的线性回归分析中,有23个兴趣主题对学习成效具有显著影响。其中与教师教学内容相关的兴趣话题有22个(例如:提升专业能力话题T1和英语写作话题T11),它们对学习成效呈现显著正面效应。余下的1个与教师教学内容无关的兴趣话题(即娱乐灌水话题T9)对学习成效产生显著负面效应。在此基础上,建立了关键兴趣主题与学习成绩的回归模型,能对学习成效产生较好的预测效果。(2)在学期初期和末期,因为学习者接触新颖内容和期末考试临近,学习者兴趣主题与教学内容的语义相关度会显著上升,并有效促进学习成效。而第5周到第11周,因为学习者缺乏学业监督和引导,学习者兴趣主题与教学内容的语义相关度会显著下降,转而讨论与教学内容无关的主题。此时,兴趣主题对学习成效的正面效应最低,即期中的“分心”现象最严重。(3)对于与教学内容相关的兴趣主题,高、中成效组分别在第3周和第4周最先发起并展开激烈讨论,低成效组的讨论时间相对滞后,且讨论强度只有其他成效组的50%。对于与教学内容无关的兴趣主题,低成效组在每个时期皆有参与,其均值是其他成效组的8倍。

六、讨论与建议

我们采用基于情感—主题时序建模的学习者兴趣挖掘算法,有效实现了SPOC论坛中兴趣主题发现与概率时序计算,并就学习者兴趣主题对学习成效的影响、兴趣主题时序演化性和不同成效群体的兴趣差异性三方面进行了分析。下面将围绕提出的研究问题对实验结果作进一步的讨论,并针对兴趣主题与学习成效间的关系、兴趣主题对学习成效的影响和可预测性给出相应的建议。

(一)学习者的兴趣主题与学习成效密切相关

首先,本研究发现细粒度的兴趣主题相比粗粒度的情绪指标更能解释和预测学习成效。Wu等人从学习者产生的文本数据中挖掘兴趣主题后进行了问卷调查验证,证明用户生成文本与其学习兴趣高度一致,但未长期跟踪和观察这些兴趣的变化及其与学习成效的关系[7]。过去的研究已经证实积极情绪整体和学习成效正相关[30-32],但未探究伴随积极情绪的细粒度主题和学习成效的关系。本研究对积极情绪所涉及的主题进行了持续追踪,并使用教师发言语义作为分类标准,将所有主题与学习成效进行回归分析,发现并非所有具有积极情绪的主题都对学习成效有正面效应,这对以往的研究进行了进一步解释。另一方面,这也表明将学习者在论坛中的发帖和读帖数量[16]及发帖文本与课件文本内容的语义相似度作为学习者是否“分心”的衡量标准,仍然有一定的局限性[26]。

其次,教师和学习者间的有效对话能提高学习成效。近期,研究者开始关注MOOC论坛中教师话语对学习者的作用,发现教师产生的社交作用大于知识传授与认知引导作用[24]。但在师生关系更为紧密的SPOC论坛中,我们对教师和学习者的论坛对话进行量化研究,发现教师在论坛中发起和引导了大量知识讨论,这与以往研究MOOC师生讨论关系的结论不同,突破了Goshtasbpour等人依赖人工编码方法研究师生交互的局限[24]。因此,与MOOC相比,SPOC更为强调师生线上教学与传统课堂相结合的混合式教学,实现物理学习空间和网络学习空间的教学融合[33],利用论坛中的探究式对话帮助学习者提高认知层次。因此,社会网络分析[34-35]和认知过程分析[36]将是下一阶段兴趣挖掘研究的重要切入点。

因此,在混合式教学设计中,建议教师充分利用SPOC论坛作为课后答疑和讨论的工具。相对于即时通信工具,论坛的优势在于能够积累师生的知识和意见,学习者能够对不同主题进行异步讨论,以充分表达自身学习体验和学习诉求。本研究提出的兴趣主题发现方法有助于帮助学习者形成相应的学习兴趣社团,激发相互之间的探究式协作学习兴趣。教师亦可从中发现学习者的兴趣主题,调整互动教学策略和教学内容,并矫正讨论内容以避免学习者过多地探讨与教学内容无关的兴趣主题,减少讨论中的“分心”现象。

(二)兴趣主题对学习成效的影响及其演化性

我们发现在不同课程时期,学习者的兴趣主题对学习成效有着不同的影响。已有关于论坛话语演化对学习成效的影响研究发现:在课程初期和中期,SPOC论坛的积极情绪与学习成效呈显著负相关[23],但未发现其原因。我们的研究表明,虽然兴趣主题T9也伴随有学习者的积极情绪,但其在学期初期和中期讨论较多,与学习成效呈显著负面效应,说明细粒度的兴趣主题更能精准刻画学习者的状态与学习成效的演化关系。过去的研究还表明,学习者在期中的困惑情绪较强且对学习成效产生显著负面影响[23],我们的研究也表明此时的娱乐灌水主题讨论热烈,教学内容相关主题讨论较少,说明期中阶段是学习者“分心”的主要时期,对于混合式教学的有序开展较为不利。

因此,在混合式教学设计中,建议教师多鼓励学习者参与教学内容讨论,减少课程无关兴趣主题对课程教学效果的负面影响。在期中时,再次明确考核评价要求,积极干预和调整课程教学内容,以调动学习者的积极性并满足他们的兴趣需求。值得注意的是,娱乐和灌水兴趣在第12周和第15周出现了较大幅度增长,说明此时仍有学习者未进入学习状态,教师应提供有针对性的个别辅导。

(三)兴趣主题对不同学习成效的可预测性

我们发现不同学习成效组的兴趣主题的时序演变和强度存在显著差异,可用于学习成效预测。在课程前期和中期,若发现某个学习者的教学内容讨论兴趣概率值低于总体平均值,且教学内容无关兴趣概率值高于总体平均值,则说明该学习者可能处于“分心”状态,存在低学习成效风险。过去的研究使用论坛阅读点击流和文本词频[37]预测MOOC的学习完成率,但在小规模私有的SPOC环境下,教师更关注学习者在课程中的深层次参与情况与实际投入程度。相比根据粗粒度情绪值、发帖行为、问卷调查的学习成效预测方法[38-40],本研究具有更好的可解释性和非侵入性。在时间维度上,高成效组和中、低成效组相比,他们对与教学内容相关的主题具有更为持久的兴趣,在讨论中未出现长期的兴趣低迷现象。这和Zhu等人对MOOC学习者发帖统计分析结果一致,持续性的论坛参与是一个重要的学习成效预测指标[41]。由此,我们可以借助情感—主题时序模型得出的兴趣主题时序演化概率预测学习者的学习成效,并在关键兴趣主题讨论低迷期进行提前干预。

因此,在应用场景方面,针对不断变化的学习者兴趣诉求,现有的智能导学系统一般使用学习者人口统计学数据和资源使用记录来对学习者的兴趣进行建模,但极少关注学习者在生成式文本数据中动态变化的兴趣,导致难以准确提供个性化兴趣学习服务[42]。因此,本研究提出的兴趣发现方法可为该问题解决提供新的解决方案。未来,采用在线学习中的资源使用行为、学习者背景数据以及话语内容中的兴趣主题等多种维度特征进行联合建模,将会是个体和群体学习兴趣精准挖掘的重要趋势,多维度特征建模也将为个性化学习推荐和学习兴趣共同体的适应性组件提供重要的技术支撑。

[参考文献]

[1] 苗逢春.引领人工智能时代的教育跃迁:2019年北京国际人工智能与教育大会综述[J].电化教育研究,2019,40(8):5-14,29.

[2] RENNINGER K A, HIDI S, KRAPP A. The role of interest in learning and development[M]. New York:Psychology Press,2014.

[3] 劉三女牙,李卿,孙建文,等.量化学习:数字化学习发展前瞻[J].教育研究,2016,37(7):119-126.

[4] ZINGARO D. Examining interest and grades in computer science 1: a study of pedagogy and achievement goals[J].ACM transactions on computing education, 2015,15(3):1-18.

[5] 刘三女牙,杨宗凯.量化学习[M].北京:科学出版社,2016.

[6] 徐振国,张冠文,孟祥增,等.基于深度学习的学习者情感识别与应用[J].电化教育研究, 2019,40(2):87-94.

[7] WU P, YU S, WANG D, et al. Using a learner-topic model for mining learner interests in open learning environments[J]. Educational technology & society, 2018,2(21):192-204.

[8] 刘智,张文静,孙建文,等.云课堂论坛中的学习者互动话语行为分析研究[J].电化教育研究,2016,37(9):95-102.

[9] PENG X, XU Q. Investigating learners' behaviors and discourse content in MOOC course reviews[J]. Computers & education, 2020,143:1-14.

[10] BROWN G, YULE G. Discourse analysis[M]. London:Cambridge University Press,1983.

[11] BLEI D M, NG A Y, JORDAN M I. Latent dirichlet allocation[J]. The journal of machine learning research, 2003(3):993-1022.

[12] CHEN C, REN J. Forum latent dirichlet allocation for user interest discovery[J]. Knowledge-based systems, 2017,126:1-7.

[13] LIU S, PENG X, CHENG H N H. Unfolding sentimental and behavioral tendencies of learners' concerned topics from course reviews in a MOOC[J]. Journal of educational computing research, 2018(3):670-696.

[14] YANG M, MEI J, XU F, et al. Discovering author interest evolution in topic modeling[C]// The 39th International ACM SIGIR Conference. New York:ACM Press,2016:801-804.

[15] JO Y, OH A H. Aspect and sentiment unification model for online review analysis[C]//Proceedings of the Fourth ACM International Conference on Web Search and Data Mining. New York:ACM Press,2011:815-824.

[16] STEPHENSMARTINEZ K, HEARST M A, FOX A. Monitoring MOOCs: which information sources do instructors value?[C]//ACM Conference on Learning. New York:ACM Press,2014:79-88.

[17] 冷静,郭日发,侯嫣茹,等.促进大学生批判性思维的在线活动设计研究及可视化分析[J].电化教育研究,2018,39(10):75-82.

[18] 柏宏权,李婷.同伴互评中评语类型对情绪体验的影响研究[J].电化教育研究,2019,40(4):92-98,111.

[19] 蒋纪平,胡金艳,张义兵.知识建构学习社区中“观点改进”的发展轨迹研究[J].电化教育研究,2019,40(2):21-29.

[20] RODRIGUEZ P, ORTIGOSA A, CARRO R M. Extracting emotions from texts in e-learning environments[C]// Sixth International Conference on Complex, Intelligent, and Software Intensive Systems. New York:IEEE,2012: 887-892.

[21] BINALI H H, CHEN WU, POTDAR V. A new significant area: emotion detection in e-learning using opinion mining techniques[C]//3rd IEEE International Conference on Digital Ecosystems and Technologies. New York:IEEE,2009:259-264.

[22] WANG X, WEN M, ROS?譩 C P. Towards triggering higher-order thinking behaviors in MOOCs[C]//Proceedings of the Sixth International Conference on Learning Analytics & Knowledge. New York:ACM Press,2016:398-407.

[23] 刘智,杨重阳,彭晛,等.SPOC论坛互动中学习者情绪特征及其与学习效果的关系研究[J].中国电化教育,2018(4):102-110.

[24] GOSHTASBPOUR F, SWINNERTON B, MORRIS N P. Look who's talking: exploring instructors' contributions to massive open online courses[J]. British journal of educational technology, 2019(1):10-17.

[25] 何皓怡,刘清堂,吴林静,等.教师工作坊中学员话题挖掘方法及应用[J].中国电化教育,2018(10):79-86.

[26] YAN W, DOWELL N, HOLMAN C, et al. Exploring learner engagement patterns in teach-outs using topic, sentiment and on-topicness to reflect on pedagogy[C]//Proceedings of the 9th International Conference on Learning Analytics & Knowledge. New York:ACM Press,2019:180-184.

[27] 俞红珍.课程内容、教材内容、教学内容的术语之辨——以英語学科为例[J].课程·教材·教法,2005(8):49-53.

[28] 王春柳,杨永辉,邓霏,等.文本相似度计算方法研究综述[J].情报科学,2019,37(3):158-168.

[29] KELLEY T L. The selection of upper and lower groups for the validation of test items[J]. Journal of educational psychology, 1939,30(1):17-24.

[30] WEN M, YANG D, ROS?譩 C P. Sentiment analysis in MOOC discussion forums: what does it tell us?[C]//The 7th International Conference on Educational Data Mining. London:IEDMS,2014:130-137.

[31] WEN M, YANG D, ROSE C P. Linguistic reflections of student engagement in massive open online courses[C]//Eighth International AAAI Conference on Weblogs and Social Media. Washington:AAAI,2014:525-534.

[32] ALMATRAFI O, JOHRI A. Systematic review of discussion forums in massive open online courses (MOOCs)[J]. IEEE transactions on learning technologies,2018,12(3):413-428.

[33] MACLEOD J, YANG H H, ZHU S, et al. Understanding students' preferences toward the smart classroom learning environment: development and validation of an instrument[J]. Computers & education,2018,122(122):80-91.

[34] 左明章,趙蓉,王志锋,等.基于论坛文本的互动话语分析模式构建与实践[J].电化教育研究,2018,39(9):51-58.

[35] 段金菊,彭燕,朱德全,等. cMOOCs学习者的活动参与度、参与模式与学习绩效的实验研究[J].电化教育研究,2018,39(11):38-44.

[36] 郑隆威,冯园园,顾小清.学习成果可测了吗:基于学习分析方法的认知分类有效性研究[J].电化教育研究,2019,40(1):77-86.

[37] CROSSLEY S, PAQUETTE L, DASCALU M, et al. Combining click-stream data with NLP tools to better understand MOOC completion[C]//Proceedings of the Sixth International Conference on Learning Analytics & Knowledge. New York:ACM Press,2016:6-14.

[38] LIU Z, WANG T, PINKWART N, et al. An emotion oriented topic modeling approach to discover what students are concerned about in course forums[C]//2018 IEEE 18th International Conference on Advanced Learning Technologies(ICALT). New York:IEEE,2018:170-172.

[39] LIU Z, PINKWART N, LIU H, et al. Exploring students' engagement patterns in SPOC forums and their association with course performance[J]. Eurasia journal of mathematics, science and technology education, 2018,14(7):3143-3158.

[40] HEW K F, CHEUNG W S. Students' and instructors' use of massive open online courses (MOOCs): Motivations and challenges[J]. Educational research review,2014(12):45-58.

[41] ZHU T, WANG W, ZHAO W, et al. Participation prediction and opinion formation in MOOC discussion forum[J]. International journal of information and education technology,2017(7):417-423.

[42] ABYAA A, KHALIDI IDRISSI M, BENNANI S. Learner modelling: systematic review of the literature from the last 5 years[J]. Educational technology research and development,2019,67(5):1-39.

猜你喜欢
回归分析学习兴趣
中国经济发展状况与大学生就业情况的相关性研究
城乡居民医疗费用的相关性与回归分析
基于变形监测的金安桥水电站坝体稳定性分析
森林碳汇影响因素的计量模型研究
河北省城镇居民人均可支配收入与消费统计分析
如何在中学地理教育中培养学生的学习兴趣
营造小学英语课堂气氛的教学策略研究
数学课堂激发学生的学习兴趣之我见
如何推动初中数学教学中的素质教育
高中生英语自主学习能力培养研究