在线学习行为多模态数据融合模型构建及实证

王丽英 何云帆 田俊华

【摘要】  显性化测量与评估在线学习行为和情感状态是学习分析领域的研究热点。为克服单模态数据分析片面和多模态数据融合模糊等问题，全面感知和反馈在线学习过程状态，本研究构建了一种在线学习行为多模态数据融合模型。该模型利用自动化操作行为事件监听、表情识别、生理特征监测等原理，从行为、情绪和认知3个维度进行时序数据同步融合、分层递进诊断评估和统计聚类分析;考虑到对在线学习者具有较低的侵入性和干扰性，该模型在技术实现上采用分布式物联网技术和开放式Django Web服务器部署技术，形成学习过程状态数据的自动采集、分析、融合、评估和反馈等多层体系结构;应用该系统对MOOC环境下在线学习行为评测实验，讨论了本模型的准确性、易用性和有用性等问题。研究结果表明，本研究构建的模型能够为在线学习分析提供一种有效的技术解决方案，为同类研究可提供方法借鉴与技术实现参考。

【关键词】  多模态数据融合;在线学习;学习投入;行为监听;情感计算;心率监测;物联网技术;人工智能

【中图分类号】  G434       【文献标识码】  A       【文章编号】  1009-458x（2020）6-0022-10

一、引言

随着信息技术的快速发展与广泛普及，E-Learning已成为各类教育教学的新常态。与此同时，与传统面对面教学相融合的混合学习，不仅改变了现有课程的教学模式，还产生了新的教学形态（Bonk & Graham， 2012）。基于网络技术的教学方式扩大了教学规模，提高了教学效率，改善了学习效果，但同时也产生了很多新问题，如MOOC学习中的高辍学率、网络环境下学习者的无助感、学习任务的低完成率等（王宇， 2018）。

在线学习研究涉及多个领域，当前主要集中在网络环境下学习行为特点及其影响因素研究，学习者学习状况的自我认知和相关决策研究（魏顺平， 2012），在线学习的发展动力与学习绩效研究，利用自我监控、外部监控策略检查和督促学习者的学习状态研究，等等。尽管有大量关于学习过程、学习工具、学习资源、学习效果分析等方面的研究，但对学习过程中学习者的认知、情感和行为变化的研究仍处于一种“黑箱”状态，如缺乏针对学习行为的深度跟踪，尤其是情感状态描述和心理活动分析难以对学习状态进行自动诊断与预测。随着物联网、大数据和人工智能等技术的不断成熟，构建自动化或半自动化的学习行为跟踪与分析系统成为可能，显性化在线学习行为及跟踪与评估其情感状态成为学习分析等教育研究的热点问题。

二、在線学习行为数据融合研究现状

自动化学习行为检测手段在学习分析领域是一项十分重要的基础工作。学习分析过程极大地依赖于使用技术手段跟踪学习过程，监控学习状态，通过收集、分析和报告学习行为及其学习环境的相关数据，更好地理解和优化学习过程及学习环境（Siemens， 2013）。目前，基于现代学习理论与心理学情绪模型的各种在线学习外显状态（行为反应、心理反应和生理反应）评测技术得以广泛应用，评测结果已成为教育者理解学习者学习投入状态的重要线索。

（一）单模态数据检测技术及其理论基础

美国学者弗雷德里克斯等人（Fredricks， Blumenfeld， & Paris， 2004）指出，学习投入包括行为投入、情感投入和认知投入。因此，单模态数据检测技术与理论可分别从行为事件监听、面部表情识别与生理特征检测等方面开展相关研究。

1. 在线学习行为事件监听与学习投入评价

依据行为主义和联通主义理论，当前大多数在线学习行为监测系统是通过监听学习过程、记录学习数据建立学习行为与学习评价之间的相互关联。比如，郑勤华等人（2016）提出了投入度、完成度、主动性、调控度和联通度5个维度在线学习学生综合评价指标。早期的技术手段比较简单，多以点击量和在线时间为依据给学习者施加学习压力，以维持持久的学习动机。以MOOC为代表的在线学习平台则广泛采用课件、作业、测验、考试、提问、讨论、互评等环节的参与度作为评测依据。有些在线学习平台利用技术手段通过判定鼠标静止时长或者课程窗口是否激活来控制课件播放达到有效监控学习进度的目的。有的研究则通过静默方式记录在线学习行为的痕迹，其依据是人机交互的频率和类型取决于个体对认知需要的响应程度。例如，书写、阅读和搜索等都需要使用键盘、鼠标和特定的软件操作计算机。这种方法对学生不会造成额外负担和压力，却能充分反映学习投入程度。典型的研究如黎孟雄等人（2015）对学生的键盘和鼠标等常规输入设备的击键和滚轮等操作行为进行监测，获得击键特征（频率和力度）和滚轮特征（频率和速度）向量信息。该研究建立了操作行为特征与情绪类型的量化关系，采用二维情绪空间模型，定量计算愉悦、沮丧、焦躁和冷静4种基本情绪强度，实证了自适应的正负向情绪交互调节策略。

对于情感识别，OCC模型（Ortony， 1980）是认知心理学中经典的情感认知结构模型，共描述了22种不同情感类型的认知结构，主要包括与事件结果相关的情感、与智能体行为相关的情感和与对象属性相关的情感3个部分。雅克等人的研究基于OCC模型提出对远程学习者产生学习事件的情绪识别方法，宗阳等人（2017）在此基础之上计算Moodle平台案例课程的论坛文本与事件相关的情感分值，探究行为与学业情绪之间的关系，得出教师情绪倾向会正向影响学业情绪、学业情绪与学习结果显著相关的结论。

2. 情绪模型、面部表情及自动识别技术

心理学对情绪模型的研究已有丰富的研究成果。普拉契克（Plutchic）认为情绪包括相似性、两极性和强度3个维度，由此提出了离散的8种基本情绪（狂怒、警惕、狂喜、接受、惊喜、恐惧、憎恨和悲痛）轮状模型（乔建中， 等， 1991）。罗素（Russell， 1980）将情绪表征为愉悦度和唤醒度两个维度，由此构建了连续的环形情绪描述模型。然而，学习情境下的情感并不完全等同于基本情绪类型。梅洛（Mello， Taylor， & Graesser， 2007）等人在基于智能导师系统的学生学习计算机基础知识的情感变化监控研究中提出了6种学习情感状态（厌烦、热情/专注、困惑、挫折、高兴和惊奇）的转换模型，孙波等人（2015）提出了7种学习情感类型，即高兴、惊讶、厌烦、困惑、疲劳、专注和自信。也就是说，不同的研究工作往往要依据具体的研究需要调整情绪类型。

情绪是人的内在心理活动，面部表情作为一种外显心理状态可以在一定程度上反映情绪。对于面部表情的识别，埃克曼（Paul Ekman， 1966）等人依据面部动作编码系统（FACS）提出了6种基本表情，即高兴、悲伤、惊讶、恐惧、愤怒和厌恶。此后，计算机领域学者广泛将其用作表情识别的基本类型。孟昭兰（1987）从面部表情的先天程序化、全人类普遍性、对婴儿生存的适应性及其对情绪的发生和显示作用这4个方面阐述了面部表情与情绪间的关系。因此，表情识别常作为衡量情绪状态的一种最直观的维度。

近二十年来对面部表情自动识别的研究和技术日益成熟，各种传统的机器学习算法在表情识别上的正确率已高达85%以上。人脸检测和表情识别技术对检测者造成的心理干扰较少，广泛应用于实时持续性、大规模的公安、交通等领域的日常应用场合。虽然该技术容易受到光照、遮挡、旋转、背景等因素的干扰，但通过多次反复检测可以弥补此缺陷。在教育领域，依据面部表情和身体行为特征，Hwang等（Hwang & Yang， 2009）将传统算法用于自动检测注意力的集中状态。基于视线、头部姿态和手部跟踪，Asteriadis等（Asteriadis， Tzouveli， Karpouzis， & Kollias， 2009）构建了一种行为识别系统用于发现注意的兴趣区域。2016年以来，深度神经网络学习算法应用在该问题上，精度已达到90%以上。其中，有些知名公司开放了其应用接口，如微软认知服务、谷歌人脸服务、百度大脑、旷视科技等。还有一些开源软件如Openface、Fast RCNN等在Github上公开发布，便于二次开发。当前，国内有几家公司关注AI技术在教育领域的应用和研究，比如好未来科技的魔镜、清帆科技的EduBrain，可以实现学习者的历史数据云端存储检索，但还面临综合其他类型的数据建立分析模型可靠诊断学习状态的难题。

3. 情绪和认知状态的生理特征检测研究

心理学研究表明，身体表面反馈出来的生物活动能反映情感对自主神经系统的影响（Kim， Bang， & Kim， 2004）。人的情绪会影响心率的变化，负向情绪时心率会比正向情绪时低。当学习者承受压力时，交感神经系统会发挥作用，导致心率升高、心率变异性降低;当学习者成功自控时，副交感神经系统会发挥主要作用，导致心率降低、心率变异性升高，从而使学习者集中注意力并恢复心态平静（张琪， 等， 2016）。因此，傳统心理学实验测量方法常应用眼动或脑电、心电、皮电等生理指标研究注意力、情绪、认知等。比如，眼动仪在阅读方式方面的研究，台湾学者（Yang， Chang， Chien， Chien， & Tseng， 2013）应用faceLab4.5开展了注视点分布、持续时间及测试成绩、学习效果的系列研究，为教学设计、多媒体应用、学习者认知模式构建提供了理论依据。

对于认知负荷，目前尚不能直接对其测量，常用的间接评估方法有任务绩效、主观评定和生理测量3类。王超等人（2014）采用Tobii-TX300和16导无线生理记录仪对空中管制员的认知负荷开展实验研究，结果表明认知负荷越大，注视持续时间越短，注视频率越大，瞳孔直径越大，眼跳距离越小;心率显著增加，心率变异性指标RMSSD（相邻NN间期差值的均方根）减小，低频指标增加。

心理学实验相关传感器的测量精度高，在医疗诊断方面有着广泛的应用。但由于其设备价格昂贵，操作严格，多用于个体实验，而且不可避免地会对被测者产生干扰和影响。因此，此类传感器并不适合在教育心理测量领域大规模、常态化应用。

随着物联网传感技术的发展，硬件成本逐渐降低，测量精度不断提高，采集生理特征已经进入了实用阶段。一些可穿戴、便携式的手环产品已经在日常生活中用于监测体温、血压、皮电、心电等主要体征。还有一些可进行嵌入式开发和集成的元器件级别的传感器在工业和教育领域广泛应用。比如，PulseSensor用于实时监测长跑运动者的心率状态，测得的稳定心率数据误差维持在每分钟2次（陆佳斌， 等， 2017）。因此，借助物联网技术跟踪学习者的认知路径和情感发展过程具有较高的可行性和普适性。

（二）在线学习行为多模态数据融合相关研究

相比单模态数据检测，利用多模态数据表征有利于全面而准确地把握学习过程中人机交互的个体情绪状态及认知状态的变化，在情绪建模、学习活动跟踪、学习者行为特征抽取、自适应学习等领域具有极大的潜能（张琪， 等， 2016）。

詹泽慧等人（2013）根据OCC模型认为学习者的认知状态与情感状态是相互影响且可以相互推断的，其构建的智能 Agent的学习者情绪与认知识别模型中，情感状态识别结论由学习者表情数据和眼动数据相比对验证，并以表情为主;认知状态识别结论由学习者情绪状态、眼动数据得出的视线路径、学习内容共同推理得出，辅以询问交互。该理论模型尝试解决单一的情感模型或者单一的认知模型都难以准确、客观地描述学习者的状态这一问题，采用情感识别与认知识别过程相耦合来提高识别准确率。

晋欣泉等人（2016）基于语音、姿态、生理、文本等大数据分析流程构建了一个在线学习情绪测量模型，通过人体轮廓图描述学习状态。其认为情绪类型尚不统一，相同类型的情绪通过采集语音、姿态、生理和文本等多种数据进行测量，究竟应该以哪一种指标为主并没有统一的标准，这为在线学习情绪的精准识别带来了挑战。

钟薇等人（2018）系统解读了多模态数据的概念、多模态学习分析过程和技术发展趋势，提出了一种结合线上线下真实情境的时序数据，分层级开展可视化、评估、预测和干预，指导教学和环境改善的多模态学习数据分析流程。同时，作者对一门课程开展了行为层和心理层的案例研究，主要采用了课堂行为实录编码、毕博文本话语分析和调查问卷统计方法，发现个体和群体在混合学习中的特征。但是该研究未能全面收集和剖析学习者的行为层、心理层和生理层的多模态数据。

有研究通过跟踪17名用户在游戏中的点击事件流（Giannakos， Sharma， Pappas， Kostakos， & Velloso， 2019）预测学习成绩，当采用传统方法时错误率高达39%;当采用多模态数据，包括眼动、EEG、视频和腕部数据，错误率可以降到12%。另一项研究收集了47名大学生在线学习的面部视频和键鼠事件流（Zhang， Li， Liu， Cao， & Liu， 2019），然后人工标记学习投入状态，采用4种分类算法在双模态数据集上的识别率要高于单模态数据集上的识别率平均3.46%。

综上所述，在线学习行为分析的研究已经利用了语音、文本、视频、生理、事件、问卷等多种数据类型。一方面，单模态数据分析不足以全面反映学习投入状态，并且仅限于严格条件下的实验研究，难以解决复杂、真实情境下的情感和认知识别。另一方面，多模态数据融合模型应用两种或多种类型的数据进行跟踪分析，理论模型虽然清晰，但融合方法比较抽象和模糊。鉴于当前智慧教育对精细化服务的需求十分迫切，需要更全面深入的学习状态分析研究。本研究提出一种在线学习行为的多模态数据融合模型，并加以应用实证，讨论其准确性、易用性和有用性，为未来的实践提供一点启示。

三、多模态数据融合模型

该模型旨在克服单模态数据分析片面和多模态数据融合模糊等问题，全面感知在线学习过程状态。根据弗雷德里克斯等人的观点，学习投入包括行为、情感和认知投入。Patrick（1993）等人认为行为投入一般是指学生在学习过程中行为的积极程度。对于情感投入，Skinner和Belmont（1993）将情感投入定义为学生在与成就相关的活动中产生的兴趣、快乐、焦虑和愤怒，也有学者指出情感投入有6个基本要素，即孤僻、遵守规范、反叛、顺从、革新和投入（connell， 1990）。对于大部分的研究可以总结为积极情绪、混合状态和消极情绪3种类型。认知投入主要表现为学习策略的不同，其中也包括自我监控方面的含义（Pintrich， 1992; Meece， Blumenfeld， & Hoyle， 1988）。不过，学习策略的使用一般难以用观察进行评估，本研究中使用学生学习过程中的生理状态侧面反映其学习认知状况。因此，本模型利用自动化操作行为事件监听、表情识别、生理特征监测等原理，从学习投入的3个维度，即行为、情绪和认知进行时序数据分析。考虑到对在线学习者的侵入和干扰应尽可能较低，该模型在技术实现上采用分布式物联网技术和开放式Django Web服务器部署技术，形成学习过程状态数据的自动采集、分析、融合、评估与反馈多层体系结构，如图1所示。数据采集层全面覆盖了行为、心理和生理3个通道的多模态数据。生理信号采集子系统采用通用的可扩展的物联网架构，管理轻量级的人体生理传感器，通过无线网络分布式采集、存储生理数据。本文仅选心率传感器加以验证，如图 2所示，Arduino开发板带有无线网络模块，通过IP地址和端口号与服务器连通，通过token号关联到服务器中的设备，使用MQTT协议向服务器发送心率，在网络带宽允许的条件下可以满足上千个用户并发采集。分析层对三个通道不同类型的时序数据进行结构化处理;融合层对时序数据进行对齐同步整合，评估层对学习投入3要素分层递进诊断和评估，最后反馈层采用统计聚类可视化在线学习过程。数据存储和检索的核心采用B/S模式的Web服务器框架和MySQL数据库，客户端基于RestAPIs开发原理，采用Python实现业务逻辑，支持网页嵌入各种ECharts图表，易于用户观察结果。该模型既可以验证身份，又可以大规模跟踪分析学习投入情况。该方案为以后基于教育大数据监测的相关应用建立了强大、开放的后端基础。

（一）多模态数据时序分析

采集层得到了3个通道的数据，如何解析多模态数据成为结构化的数据对象以及便于后续使用成为首要任务。如图1中分析层所示，多通道数据先独立解析处理，提取出学习者在行为、心理和生理上的时序数据对象。

1. 操作事件以静默方式监听和记录学习者在电脑上的操作。考虑到要感知主动学习的行为投入情况，因此选择常规键鼠输入和任务管理器特定应用程序的进程运行情况等作为监听的候选事件。其中，键鼠监听器分别记录键盘点击的字符、鼠标操作的类型;进程监听器每隔15秒记录一次任务管理器中的进程信息。数据将以ID、时分秒、类型和内容的形式追加到各自的文本日志中，学习者未察觉受到干扰。对于学习过程进行录屏处理，建立应用程序和网页浏览黑名单，限制学习者在线学习行为，从而确保其行为与学习状态的相关性。

操作行为分析过程如下：首先，提取日志中的行为数据，根据事件类型统计同一时刻的行为次数。事件类型包括键盘的击键类型（功能键或字符输入）和鼠標操作类型（点击、释放或滚动）。其次，计算相邻时刻进程集合Si和Si+1的差集，得到关闭的进程集合Sclose=Si-Si+1和开启的进程集合Sopen=Si+1-Si。再其次，根据事件类型统计同一秒内键盘输入字符数、鼠标点击次数、与学习有关的开启和关闭的进程数量和名称。最后，存储行为数据对象（ID，时分秒，事件，内容）。

2. 情绪分析部分利用旷视表情识别接口处理面部视频的关键帧，标识学习者的情绪类型。基于以往情感投入的3种类型和本研究需求，将表情识别的8种情绪类型分为3种学习情感，分别是包括惊讶、喜悦、平静的积极状态，包括伤心、生气、厌恶、恐惧的消极状态和游离状态。这样做能尽可能减少情感状态过多带来的误差。

首先，使用开源工具FFmpeg转码离散化面部视频，每五秒提取1张关键帧，输出图像集。然后，将图片逐张传入旷视表情识别接口，由旷视表情识别服务器返回情绪类型。旷视科技提供给每个注册用户1个应用程序可以使用的键名和密码，通过发送Post方法在线请求调用表情识别接口，每传入1张图片，就返回图片上的人物数组。人物数组中的每个元素包括属性值，其内部包括7种情绪类型和置信度。情绪类型是惊讶、高兴、平静、伤心、愤怒、厌恶和恐惧。通过置信度排序，找到置信度最大的情绪类型。最后，存储情绪数据对象（ID，时分秒，情绪类型），而不用传输或保留视频和图片。

3. 生理数据选择时，主要考虑了可操作实施且是有意义的宏观生理信号这两个方面。以往研究表明，心率可以用来反映认知投入的负荷程度。

首先，从物联网服务器上读出每个传感器采集到的心率，组成JSON数据集格式（ID，时分毫秒，心率）。因为采集时间是毫秒数量级，则同一秒内可能有多条数据，通过时间归类，统计出同一秒内心率平均值。然后，存储生理数据对象（ID，时分秒，心率均值）到心率表。

（二）多模态时序数据同步融合

3个通道的时序数据对象将以ID和时刻为线索，同步整合为1个学习者ID的学习投入状态。首先，同一ID的多模态时序数据将在时间轴上进行排序对齐。然后，合并生成学习投入数据对象（ID，时分秒，键盘输入次数、鼠标点击次数和进程开启次数，情绪类型，心率数值）。最后，存储学习投入数据对象到学习投入状态表中。图3展示了1名学习者的多模态时序数据同步融合之后的学习投入状态图。从中可以看出学习者的操作行为集中在时间轴最后部分;情绪在前半段更为积极，后半段更为消极;心率平均水平不高，后半段波动小于前半段，说明认知负荷增加。

（三）基于多模态时序数据对相应投入进行分层递进诊断评估

首先，从行为投入、情感投入和认知投入3个维度诊断相应投入程度;然后，多维度联合诊断学习投入程度，从而形成4个层次上递进关系的评估。

第一层次，统计时间区间内的操作行为、表情类型和生理信息的频次，诊断相应的行为投入、情感投入和认知投入的状态。按照统计值所占比例划分操作行为、情感和认知的定性状态。以下的阈值可以根据实际需要的比例调整设置。

（1）行为投入的主动状况如图4所示。

四、实证分析

采用实验法验证本模型的实用性。研究对象选取某高校教育技术专业“网络安全与维护”课程的2017年选课学生，学习材料选取中国大学MOOC平台某大学“计算机网络”在线课程的第7章某一节。采集研究对象单次在线学习行为数据，以过程数据评价其学习投入状态。实验时征得本人许可，在电脑屏幕上采用摄像头捕捉面部视频，心率传感器佩戴在个人左手指面。7人组成一次实验。通过完整性分析，获得有效数据25份。其学习时长（均值，标准差）为（45.8，6.3）分钟。

（一）模型准确性分析

一方面，从3个通道模块的准确率角度进行客观分析。首先，通过人工审查录屏视频的关键帧确保操作行为都与学习相关。经核对，行为监听的准确性为84%。其次，为验证表情识别程序的准确性，随机抽取其中的100张表情关键帧进行人工标记和表情识别，得到关键帧的情感类型，即积极、消极和游离。计算出人工标记和表情识别的混淆矩阵，计算以下评估指标，分别是Kappa=0.825>0.8，宏平均精确率为0.853，宏平均召回率为0.831，F1值为0.838，结果表明表情分类情况较好。最后，心率值误差在每分钟2次以内（陆佳斌， 等， 2017），同时受到传感器与指面的接触程度和噪声干扰。综上所述，本模型在准确性要求不高的情况下可以使用。

另一方面，通过调查问卷和系统评估的一致性进行对比分析。虽然修编的UWES量表是用于大学生学习投入测量，但因为它是针对平时学习投入的调查，并不适用于本研究中单次在线学习实验状态下的学习投入调查。首先，设计5级李克特量表在学习之后立刻开展调查。问卷包括5个维度的9个题目，分别是行为投入维度（1题）、情感投入维度（3题）、认知投入维度（1题）、专注方面的学习心理状态维度（1题）和在线学习投入状态维度（上述6题+3题）。其次，采用独立样本t检验对5个维度进行分析。结果显示，行为投入维度不满足统计意义，因此删除该维度，仅分析其余维度。再次，采用alpha信度分析，结果显示基于标准化项的克隆巴赫 Alpha=0.803>0.75。采用因子分析得到KMO=0.592，巴特利特球形度检验显著性=0.000。说明问卷信度和效度可以接受。最后，依据公式（2）和公式（3）、表1和表2计算各维度的状态。对比二者得到一致性统计数据，如表3所示。由此看出，调查评价会趋向于美化自我的选项。

（二）模型易用性分析

通过考查学生MOOC自主学习自我报告和实验后的成绩分布进行统计。结果发现实验后的成绩高于自主学习成绩的人数占比为64%。进一步将自主学习成绩作为因变量划分区间，计算不同分数段的成绩均值，如表4所示。从中看出，实验后成绩均值随自主在线学习成绩均值递增。由此说明，实验环境对学习成绩的分布沒有太多影响。

进一步分析发现，自主学习成绩中等水平的群体占比为36%，其在实验后的学习成绩均值有明显降低。该结果产生的原因尚不明确，可能是自主学习成绩自我报告偏高或者是实验环境会影响学习状态导致实验后成绩偏低。这提示我们需要进一步改进实验环境的舒适程度，比如减少组内同时实验人数、调整心率传感器佩戴位置等，以避免群体互相干扰，提高实验舒适度。

综上所述，模型所采用的软硬件技术具有良好的开源统一扩展性，设备低廉且配置简单。因此，模型具有可接受的易用性，但还有很大的改进空间。尽管本模型的准确度会受到采集和分析中所使用的技术本身精度的影响，但其多模态时序数据融合方法能够较全面地感知在线学习投入状态。

（三）模型有用性分析

通过统计和聚类分析进行验证，得出MOOC环境下的在线学习特征：

1. 在单次在线学习中，操作活跃的学习者居多，如图7上图所示。同时，鼠标和进程的每分钟操作数均值都比较小;键盘输入次数远小于一般每分钟打字50字的数量。由此说明，在开展观看视频形式的在线学习时，认知加工的形式主要是视听，而键盘输入等书写、复述类主动学习行为偏少。因为复杂认知过程极少，由此判定学习层次大多未进入深层次学习阶段。教师可以结合翻转课堂等混合学习模式加强交互。

2. 单次在线学习中的情绪以中性平静居多，如图7中图左侧所示。同时，未检测到人脸的时长也比较多，因为学习者低头、侧脸等原因造成检测不到正脸。正负向情绪占比都较小，但负向比正向略高5%。右侧图显示处于混合和游离状态的人数占比达到84%，说明学习过程急需干预。

3. 单次在线学习心率的生理指标以平稳状态居多，如图7下图左侧所示。右侧图显示波动大的人数占比达到48%，说明在线学习有一定心理压力。与学习者在清晨平静时不学习时段测量的心率均值相比较，在线学习时生理指标水平都有所增高，增幅均值在11%。这说明，在线学习时整体认知负荷有所增加，但幅值不大。

4. 从不同角度对学习者的学习投入状态进行聚类分析。首先，按照情感3种状态的比例值將学习者聚类为4种，如图8左图所示。其次，选取情感、认知、行为3个学习投入维度的5个属性值（积极、消极、游离、平稳心率和相关操作行为的比例值），将学习者聚类为4种，如图8右图所示。教师可以针对不同类型的学习者给予个性化的提示和指导，还可以通过客户端定制诊断评估的时间区间、阈值和组合方式，关注特定群体。比如，给聚类中的第2、3、4类的学习者发送消息，提示其调整学习策略。

五、讨论与结语

本研究构建的在线学习行为多模态数据融合模型很好地解决了低侵入、分布式、大规模、显性化、多维度、分层次跟踪与评估在线学习投入分析的问题，适用于处理在线学习环境下从行为采集、分析、评估到呈现反馈的个性化服务任务。通过MOOC在线学习实证表明，系统的准确性不低于76%，易用性和有用性良好。因此，本研究完成了情感计算相关的大数据平台从理论设想到应用落地。

本研究在模型的实验设计、技术实现和实验操作等方面还不够完善，存在一定的局限性。其一，在实验设计方面，行为监听虽试图确保与学习行为有关，但未能有针对性地提取出需要关注的学习事件的行为。在学习情感分析上，还不足以反映困惑等需要重点监测的学习情感（Mello， et al， 2007）。其实，情感计算误差不仅源于技术，也源于忽略了周围环境。比如学习者与周围人对话显露出高兴时，表情识别无法区分原因。在心率监测上，心率传感器在测量精度和范围上会存在差异，所以心率参照值和实验值还需要合理的采样统计，以去除心率值偏差。其二，在实验操作方面，心率传感器佩戴在左手指尖，妨碍了键盘操作;采集软件记录从开启到关闭期间的操作行为，其运行由用户独立控制，会导致启动或关闭的时机不同，从而产生数据记录或多或少的不完善。

尽管如此，本研究将人工智能和物联网技术加以集成，能够为解决教育领域中的在线学习分析提供一种有效的解决方案，并为同类研究提供方法借鉴与技术实现参考。未来研究需要在数据采集实验上精细化处理，在技术实现上突破难点。比如，关联学习行为与事件，结合环境信息，有针对性地关注学习情感，而不是普通情绪。最后还应指出，学者仍然需要在技术为教育提供智能服务的同时保持合理的谨慎态度。

[参考文献]

晋欣泉，王林丽，杨现民. 2016. 基于大数据的在线学习情绪测量模型构建[J]. 现代教育技术，26（12）：5-10.

黎孟雄，郭鹏飞，黎知秋. 2015. 基于情绪识别的远程教学自适应调节策略研究[J]. 中国远程教育（11）：18-24.

陆佳斌，吴飞青，吴成玉，谢颖，李庆. 2017. 基于单片机的运动者生理数据实时监控系统设计[J]. 安徽电子信息职业技术学院学报，16（4）：17-21.

孟昭兰. 1987. 为什么面部表情可以作为情绪研究的客观指标[J]. 心理学报（2）：124-134.

乔建中，高四新. 1991. 普拉契克的情绪进化理论[J]. 心理学报（4）：433-440.

孙波，刘永娜，陈玖冰，罗继鸿，张迪. 2015. 智慧学习环境中基于面部表情的情感分析[J]. 现代远程教育研究，134（2）：96-103.

王超，于超博. 2014. 基于多生理参数的空中交通管制员认知负荷综合评估[J]. 科学技术与工程，14（27）：295-300.

王宇. 2018. 慕课低完成率问题的归因与解法[J]. 现代教育技术，28（9）：80-85.

魏顺平. 2012. 在线学习行为特点及其影响因素分析研究[J]. 开放教育研究，18（4）：81-90.

詹泽慧. 2013. 基于智能Agent的远程学习者情感与认知识别模型——眼动追踪与表情识别技术支持下的耦合[J]. 现代远程教育研究（5）：100-105.

张琪，武法提. 2016. 学习分析中的生物数据表征——眼动与多模态技术应用前瞻[J]. 电化教育研究，281（9）：76-82.

郑勤华，陈耀华，孙洪涛，陈丽. 2016. 基于学习分析的在线学习测评建模与应用——学习者综合评价参考模型研究[J]. 电化教育研究，281（1）：33-40.

钟薇，李若晨，马晓玲，吴永和. 2018. 学习分析技术发展趋向——多模态数据环境下的研究与探索[J]. 中国远程教育（11）：41-49，79-80.

宗阳，陈丽，郑勤华，胡红梅. 2017. 基于在线学习行为数据的远程学习者学业情绪分析研究——以Moodle平台为例[J]. 开放学习研究，22（6）：11-20.

Asteriadis， S.， Tzouveli， P.， Karpouzis， K.， & Kollias， S. （2009）. Estimation of behavioral user state based on eye gaze and head pose - application in an E-learning environment. Multimedia Tools and Application， 41（3）， 469-493.

Connell， J. P. （1990）. Context， self， and action： A motivational analysis of self-system processes across the life span. The self in transition： Infancy to childhood， 8， 61-97.

Bonk， C. J.， & Graham， C. R. （2012）. The handbook of blended learning： Global perspectives， local designs. UK： John Wiley & Sons.

Fredricks， J. A.， Blumenfeld， P. C.， & Paris， A. H. （2004）. School engagement： Potential of the concept， state of the evidence. Review of Educational Research， 74（1）， 59-109.

Giannakos， M. N.， Sharma， K.， Pappas， I. O.， Kostakos， V.， & Velloso， E. （2019）. Multimodal data as a means to understand the learning experience. International Journal of Information Management， 48， 108-119.

Hwang， K.A.， & Yang， C.H. （2009）. Learner attending auto-monitor in distance learning using image recognition and bayesian networks. Expert Systems with Applications， 36（9）， 11461-11469.

Kim， K.H.， Bang， S.W.， & Kim S.R. （2004）. Emotion recognition system using short-term monitoring of physiological signals. Medical and Biological Engineering and Computing， 42（3）， 419-427.

Meece， J. L.， Blumenfeld， P. C.， & Hoyle， R. H. （1988）. Students goal orientations and cognitive engagement in classroom activities. Journal of educational psychology， 80（4）， 514.

Mello， S.， Taylor， R.， & Graesser， A. （2007）. Monitoring affective trajectories during complex learning， in Proceedings of the 29th Annual Meeting of the Cognitive Science Society， Nashville， Tennessee， 203-208.

Ortony， Y. A. （1980）. The cognitive structure of emotions. New York： Cambridge University Press.

Patrick， B. C.， Skinner， E. A.， & Connell， J. P. （1993）. What motivates childrens behavior and emotion？ Joint effects of perceived control and autonomy in the academic domain. Journal of Personality and social Psychology， 65（4）， 781.

Pintrich， P. R.， & Schrauben， B. （1992）. Students motivational beliefs and their cognitive engagement in classroom academic tasks. Student perceptions in the classroom， 7， 149-183.

Russell， J.A. （1980）. A circumplex model of affect. Journal of Personality and Social Psychology， 6， 1161-1178.

Siemens， G. （2013）. Learning analytics： the Emergence of a discipline. American Behavioral Scientist， 57（10）， 1380-1400.

Skinner， E. A.， & Belmont， M. J. （1993）. Motivation in the classroom： Reciprocal effects of teacher behavior and student engagement across the school year. Journal of educational psychology， 85（4）， 571.

Yang， F. Y.， Chang， C. Y.， Chien， W. R.， Chien， Y. T.， & Tseng， Y. H.. （2013）. Tracking learners visual attention during a multimedia presentation in a real classroom. Computers & Education， 62（3）， 208-220.

Zhang， Z.， Li， Z.， Liu， H.， Cao， T.， & Liu， S. （2019）. Data-drived online learning engagement detection via facial expression and mouse behavior recognition technology. Journal of Educational Computing Research， 0735633119825575.

責任编辑 张志祯 刘 莉