基于资源访问序列的在线学习者认知冲突建模与识别

李宜锟　季隽

摘  要： 为了解在线学习者在遭遇高程度认知冲突网络学习行为的变化，并探究免传感器条件下基于行为序列的预测模型在识别正遭遇认知冲突的学习者的可行性，本文通过聚类分析和过程挖掘，研究了学习者的资源访问模式具有的差异化特点.研究发现，当学习者遭遇高程度的认知冲突时，两者均表现出了大量的回溯型导航行为，但其行为模式仍保持固有的学习策略，并基于学习者的资源访问序列构建认知冲突识别模型.实验结果验证了该方法的可行性.

关键词： 认知冲突; 资源访问序列; 教育数据挖掘; 免传感器

中图分类号： TP 391    文献标志码： A    文章编号： 1000-5137（2022）02-0180-13

LI Yikun， JI Jun

（School of Education，Shanghai Normal University，Shanghai 200234，China）

To understand the changes in online learners’ learning behaviors when encountering high levels of cognitive conflict， and to investigate the feasibility of a predictive model based on behavioral sequences in sensor-free conditions to identify learners who were experiencing cognitive conflicts， learners’ resource access patterns were analyzed to differentiate in this study. The study was carried out through cluster analysis and process mining. It was found that when learners encountered high levels of cognitive conflict， both of them showed a large number of retrospective navigation behaviors， while their behavioral patterns still maintained inherent learning strategies. Finally a cognitive conflict identification model was constructed based on the learners’ resource access sequences. The experimental results verified the feasibility of the algorithm.

cognitive conflict; resource access sequence; educational data mining; sensor-free

0  引言

学习者在接触新知识时往往需要打破原有认知，并重整知识体系.在这个过程中，学习者容易催生困惑、厌倦等认知情绪.针对认知冲突开展及时的教学干预，对学习成绩和个人成长具有积极影响.在线下环境中，教师能通过学习者的表情、姿态等举动感知到其正遭遇困惑，需要得到教师帮助，但在线上环境中，这种情况就不存在了.研究者尝试基于外部传感器对学习者的网络学习行为进行建模，依据学习者的面部表情、生理信号等数据的波动，推测学习者认知状态的变化.然而在真实环境下，这种教学方式会受到成本和规模的制约.此外，监视环境可能引发学习者的不安，对模型测算的结果产生干扰.基于点击流数据的免传感器方法能够在非侵入性的环境中对学习者进行建模，该方法一般将学习过程切分为不同的学习区间（session），通过聚合计算提取区间内的行为特征.例如DONNELLAN等以每20 min为一个区间切分学习者在数字学习平台上的点击流数据，并统计平均耗时、答题次数等行为特征用于训练机器学习模型，但这种方法仅聚焦行为结果，具有相同统计量的学习区间可能具有截然不同的资源访问次序.免传感器环境下，基于资源访问序列对学习者的认知冲突建模的研究较少，因此研究网络学習行为模式与认知冲突的关系具有一定启发意义.

本研究使用聚类分析、教育过程挖掘和滞后序列分析法，探究在网络学习情境中大学生遭遇高程度认知冲突时的行为转变规律.根据网络学习行为对学习者聚类，分别从高/低认知冲突程度标签所对应的资源访问序列中挖掘Petri Net图和显著行为转换模式，进行差异分析.在此基础上，对遭遇了高认知冲突的不同学习者群体的行为模式进行了比较，探究差异化群体在应对认知冲突时，行为转变上存在的区别.另外，本研究旨在验证使用基于行为序列的数据模型预测学习者认知冲突的可行性，使用N⁃Gram方法表征资源访问序列，并设计实验以比较不同值下，决策树、支持向量机、最近邻、随机森林和逻辑回归5种典型机器学习算法在5折交叉验证集上的表现.

1  相关研究

认知冲突及其外部体现

当个体遇到超出原有认知的事物时，会引发认知冲突和混乱状态.困惑是认知冲突的情感特征，通常与学习新事物时陷入认知僵局有关.对认知冲突的理解、识别有助于在线学习系统中教学干预的设计和实施，促进学习绩效.

在数字化学习环境中能够间接观测到认知冲突，例如学习者可能表现出眉毛压低的神情、收紧的眼睑和牵动的唇角，也会体现在眼部运动、生理信号、姿态运动中.在记录学习者行为的日志数据中也能观测到认知冲突的存在，例如学习者的认知冲突表达与答题次数、使用提示等.

近年來，研究人员开展了一些对学习者行为序列的相关研究，YANG等发现在长度不超过3的访问序列中，练习、视频与导览页面的相互访问行为与困惑情绪相关;CEREZO等使用过程挖掘技术探索学习者在电子学习过程中的自我调节过程.然而学习者访问资源的行为很大程度受到个体动机和环境的影响，很可能表现出截然不同的行为模式，有必要研究不同类型的学习者在遇到认知冲突时访问模式的不同，这将有助于设计针对性的教学干预策略.

认知冲突识别

要设计适切的干预策略，首先需要准确识别正在面临麻烦的学习者.许多研究人员通过生理特征信号的变化判断学习者的困惑状态.然而，这种识别方式需要使用外部传感器获取学习者的生理特征信号，增加了识别系统的成本.

因此，一些研究人员开始研发免传感器的识别系统，如在探究Web日志中的学习行为，并从点击流数据中提取行为特征.虽然这种方法非常直观，但其忽略了动态且具备方向性的过程信息.学习行为序列能反映学习者的认知状态，虽然已有一些研究表明基于时间序列的建模方式能够达到甚至优于有传感器的系统的预测结果，但是直接对资源访问序列建模以预测学习者认知状态的研究却不多.

综上所述，以往研究注重捕捉认知冲突的外在表现，然而在真实环境下，外部传感器的使用受到成本和规模的限制.此外，资源访问的先后次序和持续时间特征蕴含着大量的信息，具有启发性.本研究通过对Web日志建模，识别不同类型的学习者在遭遇高程度认知冲突时访问模式的不同，并探究基于资源访问序列识别处于认知冲突的学习者的可能性.

2  基于资源访问序列的认知冲突方法

探索学习者的资源访问策略

探究学习者的资源访问策略的方法如图1所示，首先从网络学习平台导出带有时间戳的点击流数据，对日志数据进行特征工程处理，构建行为特征集，然后应用⁃means算法对学习者进行数据聚类，最后结合运用过程挖掘算法和滞后序列分析不同学习者群体在遭遇高/低程度认知冲突时资源访问模式的差异.

在特征工程阶段主要有4个步骤，包括剔除停留时间过短的记录（小于5 s）、构建行为特征集、填充特征集中的缺失值、使用Z⁃Score方法对特征集归一化、特征筛选.其中，特征集的构造遵循OCCP学习者行为分类理论，如图2所示，分别从认知、问题解决、协作3个维度聚合日志数据中行为记录.其中，观看时长比为观看时长与视频原始长度之比值;相对拖延时间指对于某一习题，学习者的初次访问时间与该习题的最早被访问时间之差;绝对拖延时间指对某一习题的最终提交时间与初次访问时间之差.在特征筛选上，本研究采用包裹式方法选择用于聚类的特征子集，即将⁃means作为基学习器，以轮廓系数为评价指标，在不同的子集上训练若干聚类模型并计算其轮廓系数，取最优结果所对应的特征集合作为最优子集.

在学习者聚类阶段，基于⁃means算法对学习者的网络学习行为进行聚类分析.本研究首先通过肘部法确定值，随后根据聚类结果将不同群体在认知、问题解决、协作3个维度的数据分布可视化，结合启动拖延、学习跨度、行为密度等行为投入指标以分析学习者在学习策略上的差异.网络学习者具有差异化的需求，因此具有截然不同的资源访问模式.聚类分析的目的有两个：第一，了解学习者的资源访问模式有哪些类别，从行为层面解读差异化群体的学习策略以使下一阶段的序列分析有的放矢;第二，降低日志数据的异质性以满足过程挖掘算法的使用条件.

在行为序列分析阶段，研究主要探究两方面的内容：一方面，通过比较学习者在遭遇高/低程度认知冲突的过程中其资源访问序列之间的差异，以了解认知冲突的外在表现;另一方面，通过对比具有不同行为模式的学习者在遭遇高程度的认知冲突时其认知过程在行为上的变化，以检验学习者应对认知冲突的方式是否会受到学习策略的影响.对于行为序列分析，过程挖掘和滞后序列分析都是主要的分析工具，其中，过程挖掘技术能够对事件日志进行建模，以揭示流程的潜在问题，近年来逐渐被用于教育领域.而滞后序列分析法则主要用于检验人们发生一种行为之后，另一种行为出现的显著相关性.本研究使用ProM 6.11过程挖掘工具中的Inductive Miner算法插件，将学习者的资源访问序列映射到Petri Net图，并采用GSEQ 5.1软件进行滞后序列分析以检验二元行为转换的显著性.研究表明，高异质性的日志数据会大幅影响过程挖掘算法的拟合性能，因此本研究仅采用具有最多学习行为记录的第二单元的日志数据以降低时间跨度对过程挖掘建模的影响.

对资源访问序列的建模

对学习者的资源访问序列建模的方法如图3所示.首先从原始数据中划分学习区间，对各区间内的学习活动编码及序列化;随后从资源访问序列中提取N⁃Gram特征并将其向量化;最后训练机器学习模型并评估模型在5折交叉训练集上的表现，以验证基于资源访问序列识别处于认知冲突的学习者的可行性.

在划分区间阶段，由于网络课程中各知识点与配套习题组一一对应，习题的最后一次提交代表完成了学习者对知识点的学习，而知识点与学习者则是多对多的关系，因此本研究以“知识点-学习者”为单位划分学习区间，将学习者初次访问知识点相关内容（学习视频、配套练习、外部文档链接）的时间戳视为起始点，以最后一次提交配套练习作为终止点，总共构建了2 206个有效学习区间.

在编码与序列化阶段，各学习行为的编码方案如表1所示，主要有视频访问、中断间隔、练习访问、外部链接访问以及评论区访问4类行为.其中，在学习过程中学习者往往会表现出回顾历史知识点、参考过去的习题答案、超前学习等行为，因此按课程大纲顺序，以当前学习的知识点为参照进一步将视频/练习访问行为划分为当前视频/练习访问、先前视频/练习访问和未来视频/练习行为6类学习行为.中断间隔是指学习者离开课程平台的时间，本研究假设中断间隔能反映学习者的拖延、反思、放弃等行为，经统计，将其按时间长度划分为3类间隔：3.6～15.0 s为小型时间间隔，15.0～180.0 s为中型时间间隔，大于180.0 s为大型时间间隔.将各学习区间内的行为编码按时间顺序连接后，得到学习者在该区间的资源访问序列（图4）.

在N⁃Gram表征阶段，研究首先采用N元模型穷举长度在2～10之间可能的访问子序列，例如“CE-CV-CE”是一种可能的3⁃Gram子序列，随后分别以词频（Term Frequency，TF）和词频-逆文本频率指数（Term Frequency-Inverse Document Frequency，TF-IDF）计算各子序列在各资源访问序列的特征值，并分别获取TF值和TF-IDF值最高的10个特征组成特征集合，最终得到两个向量化数据集;此外，为获取全部子序列的特征信息，研究应用主成分分析（Principal Component Analysis，PCA）分别对各子序列在各资源访问序列的TF和TF-IDF的全部特征值降维，得到另外两个向量化数据集，记为PCA-TF和PCA-TF-IDF.

在建模與评估阶段，本研究按3∶1的比例划分训练集和测试集，通过5折交叉验证方法考察数据模型的预测性能.其中，认知冲突标签来自于对学习者自我报告的判断.根据本研究对认知冲突的定义，认知冲突发生于新知识、新问题等外部环境刺激与个体原有认知结构之间不一致时.在概念学习过程中具体表现为，学习者在答题时因无法顺利将新知识纳入原有认知结构或改造认知结构以适应新知识，从而导致在运用新知识时解题思路与课程思想发生偏离.因此在每次练习提交后，学习者需要在答题反馈页面比对该题的解题思路与自己的答题思路，按“更好”“一致”“接近”“不同”“都不是”报告两者的一致性程度.在标签构造中，前两者视为低程度的认知冲突，后三者则视为高程度的认知冲突.

研究应用了决策树、支持向量机、最近邻、随机森林和逻辑回归五个典型机器学习算法对学习者认知冲突建模，并使用正确率、准确率、F1指标、ROC曲线下面积和Kappa一致性指标评估模型在9种N⁃Gram序列长度、4种向量化表示方法、是否纳入间隔编码共72种条件下的预测性能，以探究在免传感器条件下，基于学习行为序列特征的机器学习模型能在多大程度上识别遭遇认知冲突的学习者.

3  实验结果与分析

实验环境

实验依托 STEM College云学习平台，参与者为79名选修《Python与机器学习》课程的本科生，年龄在22～24岁.课程共11个单元，包含69个学习视频和55个随堂练习.通过记录参与者在学习过程中的行为，共生成20 851条日志数据，如图5所示.

学习者聚类

在79名学习者中，有2人的课程完成率不足10%，因其学习行为过少而作为异常值排除.通过肘部法则发现当=2时，取得了最好的聚类效果，因此使用⁃means算法将学习者聚为两类，轮廓系数为0.765.为比较这两类学习者在认知、问题解决和协作3个维度下行为指标的差异，研究绘制了小提琴图将网络行为可视化（图6）.其中，小提琴图同时具有盒图与核密度图的特点，常用于展示多组数据的分布状态和概率密度.从图6中可以看出，两类学习者在认知和问题解决维度上的数据分布存在较大差异，表现出不同的学习行为模式.在认知维度上，聚类1的学习者在视频观看时长、次数和时长比的中位数均高于聚类2，具有“长时间观看”“反复播放”等特点，表现出了更高的学习投入水平.此外，在数据分布上看聚类2在视频观看时长和时长比上普遍处于较低的水平，但是在视频观看数上与聚类1差别不大，说明聚类2中的学习者在资源访问过程中存在“频繁切换”“跳跃观看”的倾向.

在问题解决维度上，聚类1中的学习者表现出了更多的答题次数、更久的答题时长以及更少的拖延行为，更具有“多次修改”“试错反思”的倾向.聚类2的学习者在问题解决维度的投入水平较低，但在完成所有学习任务上所花费的总时间更少.此外，从数据分布来看聚类2学习者的相对拖延时间更久、更分散，说明学习任务的启动时间因人而异，而非像聚类1学习者一样尽早投入学习.显然，两类学习者的行为模式的差异很可能源于学习策略的选择.

学习策略是学习者为了达到学习目标，有意识地制定的有关学习过程的行为方案，与学习者的动机有较强的关联.为进一步探究两类学习者在学习策略上的区别，研究基于学习投入理论构建了启动拖延、学习时间跨度、访问次数和行为密度4个行为投入指标以进一步分析两者的差异.其中启动拖延是指在同一个学习单元中，个体与同批学习者最早访问学习资源的时间之差;学习时间跨度指学习者在单元时间中总共花费的天数;行为密度指学习者的学习活动次数与学习时间跨度的比值.由于这些行为指标不符合正态分布，因此本研究应用曼-惠特尼检验分析两类学习者在4个行为指标上的差异.结果表明（表2），两类学习者在启动拖延上存在显著性差异（=0.003），聚类2学习者的启动拖延高于聚类1学习者，结合小提琴图中相关拖延的分布，可知该类学习者的启动时间较为分散，具有较高的灵活性.此外，虽然两类学习者在学习时间跨度、访问次数和行为密度上不存在显著差异，但从平均值和秩平均值来看，聚类1学习者表现出了更高的学习持续时间和资源访问次数.

综上，大学生的网络学习行为模式具有差异性，按学习策略主要可分为两类.类别1的学习者具有高持续、高投入的学习特点，能较快开展学习活动，并且保持较高频的资源访问行为，为持续性学习者;类别2的学习者倾向挑选合适的时间集中学习，并快速完成习题任务，为策略型学习者.学习者会受外部和内部动机的驱使开展学习活动，以知识掌握为导向的学习者表现出较高的投入水平和探索欲，而以完成任务为目的的学习者则倾向于集中访问个别资源，快速完成学习任务，这与本研究的结果相一致.

学习者在认知冲突表现上的差异

通过过程挖掘技术，绘制访问记录的Petri Net，研究比较了遭遇高、低认知冲突的学习者的行为模式（图7，8）.其中，蓝色节点表示资源访问行为，颜色越深则该行为的发生频率越高;带箭头的弧线代表行为的转变;弧线上的数值表示该转变发生的次数.

从路线分支来看，低认知冲突组的Petri Net较为简洁，其中包含对当前习题或视频反复浏览的行为，部分学习者会访问之后的学习内容;高认知冲突组的Petri Net则包含更多的非线性访问行为，倾向频繁访问以往的学习内容（PV）和习题（PE）.此外，中等间隔（MI）的后继在两组中也存在差别：在低认知冲突组中，MI的后继只有当前练习（CE）;而在高认知冲突组中，中等间隔的后继指向历史资源（PE，PV）和当前练习（CV）， 这说明学习者产生了较大的认知冲突，试图求证、参考以往的学习内容.

进一步采用滞后序列分析检验两组在二元行为模式上的差异，该方法需要统计两两行为之间的转换频次，并在此基础上统计调整后残差表.基于滞后序列分析理论，当调整后残差值（Z⁃Score）大于1.96，则表明该二元转换具有显著意义.表3中列出了高/低程度認知冲突对应的学习区间中具有显著意义的行为转换.此外，包含间隔行为的序列通常需结合前、后继组成三元行为模式进行解读，因此本研究排除了中断间隔行为.

如表3所示，高认知冲突组中，PE和PV的相互访问形成了闭环，这说明学习者在遭遇认知冲突后，试图通过反复对历史知识的回顾使旧知识结构与新知识达成新的平衡，同时也存在在讨论区求助 （DIS->SUB，SUB->DIS）的行为.为考察不同群体遭遇认知冲突时行为模式的变化，分别对高认知冲突组中持续型学习者和策略型学习者的资源访问序列进行建模（图9，10）.

从路线分支来看，两者关注的资源各有侧重，持续型学习者倾向于通过对练习的反复修改，获得认知以及提高解决问题的能力，表现出以掌握为导向的学习策略;策略型学习者倾向于从以往练习和视频中获取解题线索，表现出以完成任务为指向的学习策略.由此可知，在遭遇认知冲突后，学习者虽然会体现出更多的非线性学习行为，但仍秉持一贯的学习策略.

基于资源访问序列的认知冲突识别

研究使用N⁃Gram方法表征学习区间内的行为序列，并使用决策树、支持向量机、最近邻、随机森林和逻辑回归5个典型机器学习算法构建了认知冲突识别模型，并使用正确率、准确率、F1指标、ROC曲线下面积和Kappa一致性指标评估模型在9种N⁃Gram序列长度（2～10）和4种向量化表示方法共36种条件下的预测性能.

实验结果表明（表4），当=5，并采用词频统计向量化行为子序列时，模型的预测效果最好，决策树模型在交叉验证测试集上的正确率为0.800，准确率为0.857，F1指标为0.657，ROC曲线下面积为0.748，Kappa一致性为0.550.其中，准确率是指标签中的正例在模型预测正例中的占比.识别遭遇了高程度认知冲突的学习者，准确率是较为重要的指标.研究结果表明，5个算法模型的最优实例的准确率均超过了0.700，说明基于学习者的访问流程预测学习者是否处于认知冲突状态在很大程度上是可行的.

進一步验证模型的可信度，将预测模型应用于未提供自我报告的学习区间生成预测标签，然后统计各知识点遭遇认知冲突的人数，共定位了4个高困惑知识点.结合学习者在评论区的留言发现，大部分学习者掌握高困惑知识点存在困难，如“有点抽象”“自己找思路有困难”.

4  结论

本文作者研究了在线学习者在遭遇认知冲突后，其资源访问行为发生的变化，以及在免传感器条件下，利用这种变化识别遭遇认知冲突的学习者，得出3个结论：

1） 在线学习者的资源访问模式具有差异化特点，持续型学习者具有高学习投入、低学习拖延的特点，表现出能力提升导向的学习策略;策略型学习者具有高自主性的特点，表现出以绩效为导向的学习策略.

2） 遭遇高程度认知冲突时，学习者均倾向于反复访问历史学习内容和练习，并且学习者在访问行为上依然会秉持其一贯的学习策略，为了解高校学生在在线学习平台上的资源访问模式提供了有价值的见解，有助于自适应学习路线的规划.

3） 基于学习者资源访问序列的机器学习模型能够在很大程度上识别陷入认知冲突的学习者，且具有尽早干预的潜力.教师往往以学习周为单位，制定学习计划，并根据学习者的反馈修改下一周的教学策略或者改进教学资源.然而不少学习者会忘记提交自我报告，这对教师造成了困扰.通过对每周的行为数据进行建模，可以有效地补全未提交的自我报告，并发现薄弱知识点和有待提高的教学资源.研究基于学习者日志事件序列建模而非静态统计数据或额外采集的数据，对免传感器的认知冲突识别与应用研究具有启发意义.

尽管本研究对在线学习环境下学习者遭遇认知冲突后的行为模式转变提出了新的见解，并证实了基于行为序列预测学习者困惑状态的可行性，但研究仍具有一些局限性.首先，本研究的数据均来自同一门课程，研究结果具有一定的片面性.未来的研究应该探索不同学科下学习者的认知冲突在学习行为上的体现.其次，研究仅采用N⁃Gram表征学习者的行为序列，未来可以考虑与其他不同的行为序列表征方式进行比较，并探索行为序列特征与静态行为统计数据相结合的可行性.

参考文献：

[1]  D’MELLO S K， GRAESSER A C. International Handbook of Emotions in Education [M]. London： Routledge，2014：299-320.

[2]  CHEN Y L， PAN P R， SUNG Y T， et al. Correcting misconceptions on electronics： effects of a simulation-based learning environment backed by a conceptual change model [J]. Educational Technology & Society，2013，16（2）： 212-227.

[3]  TIAM-LEE T J， SUMI K. Analysis and prediction of student emotions while doing programming exercises [C]// Proceedings of the International Conference on Intelligent Tutoring Systems. Kingston： Springer，2019：24-33.

[4]  ATAPATTU T， FALKNER K. Impact of lecturer’s discourse for students’ video engagement： video learning analytics case study of MOOCs [J]. Journal of Learning Analytics，2018，5（3）：182-197.

[5]  ALZOUBI O， D’MELLO S K， CALVO R A. Detecting naturalistic expressions of nonbasic affect using physiological signals [J]. IEEE Transactions on Affective Computing，2012，3（3）：298-310.

[6]  BIJAWAT S， KUSHWAHA R. Applying machine learning approach to detect confused mental state using EEG [J]. Juni Khyat，2020，10（6）：22-25.

[7]  ZHENG Z， NA K S. A data-driven emotion model for English learners based on machine learning [J]. International Journal of Emerging Technologies in Learning，2021，16（8）：34-46.

[8]  KHAN F A， GRAF S， WEIPPL E R， et al. Identifying and incorporating affective states and learning styles in Web-based learning management systems [J]. Interaction Design & Architecture，2010，97（9/10）：9-10.

[9]  DONNELLAN D， PAHL C. Data mining technology for the evaluation of Web-based teaching and learning systems [C]// Proceedings of the E-Learn： World Conference on E-Learning in Corporate， Government， Healthcare， and Higher Education. Norfolk： AACE，2002：1-7.

[10] LI X， WANG T， WANG H. Exploring N-Gram features in clickstream data for MOOC learning achievement prediction [C]// Proceedings of the International Conference on Database Systems for Advanced Applications. Suzhou：Springer，2017：328-339.

[11] WOOLF B， BURLESON W， ARROYO I， et al. Affect-aware tutors： recognising and responding to student affect [J]. International Journal of Learning Technology，2009，4（3/4）：129-164.

[12] MILLER B W. Using reading times and eye-movements to measure cognitive engagement [J]. Educational Psychologist， 2015，50（1）：31-42.

[13] ZHANG Z， LI Z， LIU H， et al. Data-driven online learning engagement detection via facial expression and mouse behavior recognition technology [J]. Journal of Educational Computing Research，2020，58（1）：63-86.

[14] GUO F， LI F， LYU W， et al. Bibliometric analysis of affective computing researches during 1999 similar to 2018 [J]. International Journal of Human-Computer Interaction，2020，36（9）：801-814.

[15] HARDY M， WIEBE E N， GRAFSGAARD J F， et al. Physiological responses to events during training： use of skin conductance to inform future adaptive learning systems [C]// Proceedings of the Human Factors and Ergonomics Society Annual Meeting. Los Angeles： SAGE，2013：2101-2105.

[16] D'MELLO S K， GRAESSER A. Multimodal semi-automated affect detection from conversational cues， gross body language， and facial features [J]. User Modeling and User-Adapted Interaction，2010，20（2）：147-187.

[17] YU H， GUPTA A， LEE W， et al. Measuring and integrating facial expressions and head pose as indicators of engagement and affect in tutoring systems [C]// Proceedings of the International Conference on Human-Computer Interaction. Washington D.C.： Springer，2021：219-233.

[18] BAKER D R S， GOWDA S M， WIXON M， et al. Towards sensor-free affect detection in cognitive tutor algebra [C]//  Proceedings of the 5th International Conference on Educational. Chania： WikiCFP，2012：126-133.

[19    ]  KELKAR K， BAKAL J. Random forest algorithm for learner’s confusion detection using behavioral features [C]// Proceedings of the International Conference on Mobile Computing and Sustainable Informatics. Lalitpur： Springer，2020：551-562.

[20] BOGARIN A， CEREZO R， ROMERO C. A survey on educational process mining [J]. Wiley Interdisciplinary Reviews-Data Mining and Knowledge Discovery，2018，8（1）：e1230.

[21] DIYI Y， ROBERT E K， CAROLYN P R. Exploring the effect of student confusion in massive open online courses [J]. Journal of Educational Data Mining，2016，8（1）：52-83.

[22] CEREZO R， BOGARIN A， ESTEBAN M， et al. Process mining for self-regulated learning assessment in E-learning [J]. Journal of Computing in Higher Education，2020，32（1）：74-88.

[23] DEL VALLE R， DUFFY T M. Online learning： learner characteristics and their approaches to managing learning [J]. Instructional Science，2009，37（2）：129-149.

[24] CHI M T H， WYLIE R. The ICAP framework： linking cognitive engagement to active learning outcomes [J]. Educational Psychologist，2014，49（4）：219-243.

[25] GUO P J， REINECKE K. Demographic differences in how students navigate through MOOCs [C]// Proceedings of the First ACM Conference on Learning @ Scale. Atlanta： ACM，2014：21-30.

[26] LEHMAN B， MATTHEWS M， D’MELLO S， et al. What are you feeling？Investigating student affective states during expert human tutoring sessions [C]// Proceedings of the International Conference on Intelligent Tutoring Systems. Berlin： Springer，2008：50-59.

[27] ABIDI S M R， HUSSAIN M， XU Y， et al. Prediction of confusion attempting algebra homework in an intelligent tutoring system through machine learning techniques for educational sustainable development [J]. Sustainability，2019，11（1）： 1-21.

[28] MANDALAPU V， GONG J. Towards better affect detectors： detecting changes rather than states [C]// Proceedings of the International Conference on Artificial Intelligence in Education. London： Springer，2018：199-203.

[29] STEINLEY D. K-means clustering： a half-century synthesis [J].British Journal of Mathematical and Statistical Psychology，2006，59（1）：1-34.

[30] PENG W H. Analysis and modeling of E-learning behaivor [D]. Wuhan： Central China Normal University，2012.

[31] ROMERO C， VENTURA S. Data mining in education [J]. Wiley Interdisciplinary Reviews-Data Mining and Knowledge Discovery，2013，3（1）：12-27.

[32] SAINT J， WHITELOCK-WAINWRIGHT A， GASEVIC D， et al. Trace-SRL： a framework for analysis of microlevel processes of self-regulated learning from trace data [J]. IEEE Transactions on Learning Technologies，2020，13（4）： 861-877.

[33] SACKETT G P. Theory and Applications in Mental Retardation [M]. London： University Park Press，1978.

[34] VAN DER AALST W. Process Mining Software [M]. Berlin： Springer，2016.

[35] BAKEMAN R， QUERA V. Analyzing Interaction： Sequential Analysis with SDIS and GSEQ [M]. Cambridge： Cambridge University Press，1995.

[36] ZHU M， DOO M Y. The relationship among motivation， self-monitoring， self-management， and learning strategies of MOOC learners [J]. Journal of Computing in Higher Education，2021，33：1-22.

[37] LI S， ZHANG Y. A cluster study on MOOC students’ participation patterns： a case study of a Chinese MOOC [C]// Proceedings of the 2018 Seventh International Conference of Educational Innovation through Technology. Auckland： IEEE，2018：184-188.

[38] YANG X M， WANG H B， LI Y H， et al. The application of lag sequential analysis method in analyzing learning behavior [J]. China Educational Technology，2016（2）：17-23，32.

（責任编辑：包震宇，郁慧）