桌面虚拟现实学习环境对学习投入和学习成绩的影响
——基于多模态数据

王翠如 徐培培 胡永斌

(江苏师范大学 智慧教育学院，江苏徐州221116)

一、问题提出

虚拟现实的基本思想最早由美国计算机图形学之父萨瑟兰(Sutherland，1964)提出。2018年，《教师教育振兴行动计划(2018-2022年)》提到要充分利用虚拟现实等新技术。虚拟现实研究也成为教育技术学领域的重要研究方向(黄奕宇,2018)，是促进教育变革的重要技术(邹宏翊，2018)。

虚拟现实技术突破了传统教学环境的局限，可创设逼真的情境，提供丰富自然的交互方式，有利于增进学习体验、激发学习动机、促进情境认知和知识迁移(钟正,2018)。已有研究表明，与传统课堂相比，虚拟现实学习环境下学习者的学习动机更强，学习效果更好(Liou,2018)。例如，科斯姆(Kism,2006)发现三维虚拟环境下的学习效果显著高于传统的二维环境。杨刚等(2020)研究发现，基于虚拟全景的学习方式能够提高写作成绩。

学习投入指学生在学习中付出努力的程度，是学习者“领悟学习本质，沉浸其中的表现”(武法提,2018)，可分为认知投入、行为投入和情感投入。研究表明，学生在学习活动中投入时间和精力越多，获益会越多(Planché,1998)。因此，学习投入被认为是影响学习效果的重要因素，也是学生学习的重要观测指标之一(高洁等,2015)。此外，学习投入会受到学习环境的影响，直接干预学习过程和改变学习环境均可影响学习者投入度(Lawson,2013)。贾非等(2019)发现学习环境的资源、互动设计等因素会影响学习投入。学习投入作为评估学习效果的重要指标，愈来愈受到教育工作者和研究者的关注(Olakanmi,2017)。然而，目前关于学习投入的研究多集中于面对面教学环境和在线学习环境(Cho,2014)，有关虚拟现实环境下学习投入的研究较少。

21世纪初，国际上已经开始了对学习投入的测量，但大多数研究基于单模态数据测量学习投入，具体方法包括自我报告、观察评分、自动测量等(黄治虎等,2020)。单模态数据无法客观全面地解释学习者的学习规律与特征。因此，多模态数据分析作为近几年新兴的数据分析方法之一，正逐渐受到重视。曹晓明等(2018)发现基于多模态数据对学生学习参与度的分析优于单模态数据分析。潘青青等(2019)通过分析《学习分析杂志》(Journal of Learning Analytics)2014-2016年刊发的论文，建议开展基于眼动数据、脑电图、皮肤电反应等多模态数据的分析，更立体、精准地呈现学习者的信息。

综上，有关虚拟现实环境对学习投入影响的研究还不深入，比如，对学习投入的测量大多局限于使用传统量表。学习投入分为认知、情感和行为三个维度，但大多数研究只探讨其中某一维度，这不利于全面客观地了解学习者的学习特征和规律。因此，本研究通过收集学习者学习过程中的脑波、眼动追踪数据，并结合问卷调查数据，分析桌面虚拟现实学习环境和在线学习环境对学生学习投入的差异，并提出以下研究问题：1)两种学习环境对学习投入的影响是否存在差异？2)两种学习环境对学习成绩的影响是否存在差异？3)桌面虚拟现实学习环境下学习投入和学习成绩有何关系？

二、研究设计

(一)研究对象

本研究通过线上公开招募到50名研究对象(全部来自江苏师范大学，且有使用虚拟现实进行学习的经历)。研究对象在参加实验之前被告知收集的相关数据仅用于学术研究，不会被公开。研究对象需要满足以下条件：1)前测分数满足实验评价标准；2)视力或矫正视力正常。经过筛选，40人参加了本次实验，被随机分配到桌面虚拟现实学习环境和在线学习环境组，每组20人。

(二)学习环境搭建

本实验采用的学习环境为自主设计的桌面虚拟现实学习环境和在线学习环境，学习内容均为“心脏结构与血液循环途径”，学习方式均为自学，学习时长约为15分钟。

本研究团队利用Unity 3D开发了供学习者在电脑端使用的桌面虚拟现实学习环境(见图1)。学习者可通过鼠标对三维模型进行放大缩小以及360度旋转。

图1 桌面虚拟现实学习环境学习材料展示(部分)

在线学习环境为本研究团队利用Sublime平台开发的HTML5网页(见图2)，学习者通过360安全浏览器学习。学习者通过鼠标滑动浏览和学习内容(文字加图片)。

图2 在线学习环境学习材料展示(部分)

(三)研究工具

1.眼动仪设备

本实验使用的眼动仪是Tobii X120眼动仪。研究者只需将该设备粘贴在电脑屏幕下方就能完成对用户眼动行为的追踪。该设备的配套软件为Tobii Studio 3.4.5。

眼动仪主要采集学习者学习过程中的眼动行为，眼动追踪方法可以测量学习者持续学习的投入情况，眼动指标包括总注视次数、总注视时间、平均注视持续时间、瞳孔直径大小等。注视时间和注视次数可以反映学习者对学习内容和学习材料的认知投入情况。注视时间越长，注视次数越多，表明学习者的认知投入越高。瞳孔大小可以反映学习过程中的认知投入和情感投入，瞳孔直径越大表明学习者脑力负荷越小，认知投入和情感投入越高；瞳孔直径越小，表明学习者脑力负荷越大，认知投入和情感投入越低(闫志明等，2018)。

2.脑波仪设备

本实验使用的脑波仪设备是Mindwave Mobile便携式脑波仪，采样频率为512Hz。该脑波仪主要通过人脑的前额检测高精度脑波信号，信号精度为0.25uV。此外，该脑波仪的配套软件——佰意通脑电训练反馈系统能够实时记录脑波信号形成脑电波，并能够计算出用户在该时段的专注度与放松度(见图3)。专注度描述学习者进入专注状态时注意力的集中程度，反映其学习过程的认知投入情况。放松度描述学习者平静或放松的精神状态，反映其学习过程中的情绪和情感投入状态。脑波仪设备中记录的学习时长表征学习投入，学习时长越长表明行为投入越高。

图3 佰意通训练系统

3.学习者先前知识测试题

本研究设计了先前知识测试题，旨在检测学习者关于“心脏结构与血液循环途径”的先前知识水平，共有五道题(包含四道选择题和一道简答题)，涵盖13个知识点(共计13分)。若研究对象的前测分数超过6.5分，则被判定为对本次实验内容了解程度较高，不纳入研究范围。

4.认知投入量表

本研究对弗雷德里克斯等(Fredricks et al.,2005)开发的认知投入量表进行了修订。修订后的学习者认知投入量表共包含七道题(采用七点李克特计分法)。该量表具有较好的信度，克朗巴赫系数为0.65。

5.情感投入量表

本研究采用沃森(Watson et al.,1988)的积极情感问卷测量学习者学习过程的情感投入。该量表包含五道题(采用李克特五点量表)。量表信度较好，克朗巴赫系数为0.84。

6.学习结果测试题

学习结果测试题由两位具有十年生物学科教学经验的教师编写，以保证测试题的效度和信度。学习结果测试题包括六道填空题和九道选择题，每题两分，共计30分。

(四)实验流程

本实验在江苏师范大学深度学习分析实验室进行，具体实验流程见图4。实验前，40名研究对象被随机分配到两个实验小组。由于设备的限制，每次只能有一名研究对象参加实验。研究对象需填写先前知识测试题，并听取研究人员有关实验流程及注意事项的介绍。

图4 实验流程

在正式学习前，研究人员先给研究对象佩戴脑波仪并保证配套软件能检测到脑波信号。然后，研究人员校正眼动仪，指导研究对象练习，即研究对象学习事先准备好的练习性学习资源，以便熟悉脑波仪和桌面虚拟现实学习环境的交互式操作。练习结束后，研究对象休息1分钟后进入正式学习(15分钟)。需注意的是，学习者可以根据学习进度提前结束学习，开始做测试题和问卷，大约用时40分钟。实验结束后，研究人员检查数据的完整性，待研究对象全部完成实验后分析和处理数据。

三、数据分析

(一)学习投入

1.情感投入

为考察两种学习环境下学习者学习过程中的情感投入是否存在差异，本研究通过三个指标测量情感投入：放松度、情感投入和瞳孔直径。数据分析结果见表一。

桌面虚拟现实学习环境下学习者的瞳孔直径(M=4.20，SD=0.62)和情感投入(M=23.09，SD=5.01)高于在线学习环境学习者，均值(标准差)分别为：3.53(0.43)、21.7(4.93)。但前者的放松度(M=64.15，SD=8.41)低于后者(M=67.05，SD=7.08)。独立样本t检验结果表明，两种学习环境下学习者的情感投入存在显著差异，但放松度不存在显著差异(p=0.246>0.05)。

表一 情感投入数据分析

为探讨两种环境下学习者情感投入是否存在差异，本研究采用序列分析法分析放松度的变化。序列分析(Sequential Analysis)是一种研究行为间关系的方法。该方法将学习者所有行为或状态的频率转化成矩阵，分析一种行为在另一种行为之后发生的概率，并形成行为转换图，最终分析结果能够清楚地展现学习者学习行为之间的转换模式(Bakeman & Gottman,1997)。本研究对放松度数值进行编码并解释其含义(见表二)，编码依据为脑波仪对其状态的解释。

表二 放松度编码

研究者根据放松度编码表对两组研究对象的脑波状态进行编码，依据GSEQ对数据格式的要求整理编码数据，并将整理后的数据导入软件进行分析，得出两种环境下学习者的放松度脑波状态残差值(见表三、表四)。残差值(Z-score)能够直观展现状态之间的差异是否显著。序列分析理论认为，当Z-score≥1.96时，两种状态之间的差异显著。

表三 桌面虚拟现实学习环境残差

表四 在线学习环境残差

为更加直观地观察各状态之间的转换路径，本研究绘制了两种学习环境下学习者状态转换图(见图5)。其中，每一图形代表一种状态编码。可以看出，桌面虚拟现实学习环境学习者的脑波放松度状态保持在A1、A2、A3、A4和A5之间，A1到A3转换的残差值为2.00，A2到A3转换的残差值为2.37，A2到A3转换的残差值为2.31，A3到A4的残差值为4.26。在线学习环境学习者在A3、A4与A5之间相互转换，其中，A3到A4转换的残差值为3.34，A4到A3转换的残差值为5.48，A3到A5转换的残差值为2.82，A5到A4转换的残差值为3.93。

图5 桌面虚拟现实学习环境与在线学习环境脑波状态转换图

从两种环境下学习者的放松度状态转换看，桌面虚拟现实学习环境下学习者的状态出现了A1到A5五种状态，并出现了放松度极低(A1)和较低(A2)的状态。放松度越低，表明学习者越紧张。由转换图可知，学习者的放松度状态处于不稳定状态。在线学习环境下学习者的状态在A3到A5之间相互转换，未出现脑波状态较低的状态。相较于学习者在桌面虚拟现实学习环境下的脑波状态，在线学习环境中学习者的放松度状态更为稳定。由此可知，学习者在桌面虚拟现实学习环境中的不稳定状态导致其放松度低。

2.认知投入

本研究通过五个指标测量认知投入：专注度、认知投入问卷、注释次数、注视点持续时间和总注视时间(见表五)。桌面虚拟现实学习环境下的学习者专注度(M=57.85，SD=10.72)、认知投入(M=34.95,SD=7.1)、注视次数(M=1533.35，SD=614.48)、注视点持续时间(M=252.50,SD=44.82)和总注视时间(M=383.68,SD=152.02)均高于在线学习环境，均值和标准差分别为：54.6(11.37)、31.5(5.96)、1344.25(586.88)、220.00(42.67)和290.17(142.37)。

表五 认知投入分析结果

独立样本t检验结果表明，两种学习环境下学习者的专注度(p=0.043<0.05))、认知投入(p=0.047<0.05)、注视次数(p=0.018<0.05)、注视点持续时间(p=0.024<0.05)以及总注视时间(p=0.047<0.05)均存在显著差异。这表明，桌面虚拟现实学习环境中学习者的认知投入更高，也更为专注。

3.行为投入

脑波仪中记录的学习者学习时长可作为表征行为投入的指标。在线学习环境下学习者平均学习时长为498.4秒，桌面虚拟现实学习环境下学习时长为614.2秒。由此可知，学习者在后一种学习环境下的行为投入要高于前者。

(二)学习成绩

为考察两种学习环境对学习效果的影响是否存在差异，本研究利用学习成绩表征学习效果(见表六)。

表六 学习成绩分析结果

桌面虚拟现实学习环境下学习者的学习成绩(M=22.60，SD=5.15)高于在线学习环境(M=18.70，SD=5.20)。独立样本t检验结果表明，两种环境下的学习成绩具有显著差异(p=0.03<0.05)。由此可知，与在线学习环境相比，桌面虚拟现实学习环境更有利于提升学习成绩。

(三)学习投入与学习成绩的相关性

为考察桌面虚拟现实学习环境下学习投入与学习成绩之间的关系，本研究对两者之间的关系进行了皮尔逊相关性分析(见表七)。结果表明，桌面虚拟现实学习环境下学习者的学习成绩与学习时长存在非常显著的中等相关，与认知投入和情感投入也存在显著的中等相关。由此可知，学生的学习成绩会受到认知投入(专注度)、情感投入(放松度)以及行为投入的影响。

表七 学习成绩分析结果

本研究进一步探索了学习投入三个维度之间的关系(见表八)。三类投入之间具有中等程度的相关关系，这表明认知、情感与行为投入相互联系、相互影响，共同制约着学习者的学习行为和学习效果。

表八 学习投入各维度相关性分析

四、结论、讨论与建议

(一)结论与讨论

本研究基于问卷、眼动仪和脑波仪等工具收集的多模态数据，考察桌面虚拟现实学习环境和在线学习环境对学习投入和学习成绩的影响，以及认知、情感和行为等投入与学习成绩的关系。

研究结果表明：1)两种学习环境对学习投入的影响存在显著差异；2)学习者在桌面虚拟现实学习环境中的学习投入越多，学习成绩越高；3)桌面虚拟现实学习环境下学习投入与学习成绩显著相关。

1.不同学习环境对认知投入的影响

研究表明，与在线学习环境相比，桌面虚拟现实学习环境能够提高学习者的认知投入。认知投入包括心理和认知两因素。在心理因素方面，桌面虚拟现实学习环境的深度交互和沉浸体验一定程度上能够激发学习动机，从而使学习者更愿意努力理解知识。已有研究表明，与二维动画环境相比，三维沉浸式虚拟现实能够提高学习者的兴趣和学习动机(Huang et al.，2010)。虚拟现实环境构造的教育新形态为学生提供了更加引人入胜的学习方式，更有效地加强了学习者的学习动机(李峙，2018)。认知因素主要与学习者的学习策略及元认知有关，学习环境能否引发学习策略变化还有待探讨。

教师和设计人员可通过干预认知投入的心理因素，提高学习者的认知投入；可通过优化虚拟现实资源的设计，提高学习者的学习动机，具体可依据虚拟现实技术的特性开发，也可从影响学习动机的因素出发综合分析后再进行设计、开发与应用。

2.不同学习环境对情感投入的影响

眼动数据和情感投入问卷调查结果显示，学习者在桌面虚拟现实学习环境下情感投入多于在线学习环境。然而，学习者在桌面虚拟现实学习环境中的脑波状态处于不稳定状态，五种状态频繁交替。造成这一现象的可能原因有以下两点：其一，学习者还不适应在虚拟现实环境中学习，通过鼠标、键盘与学习内容交互，可能导致学习者放松度降低；其二，学习者在三维模型与二维视频之间切换也会对放松度产生影响。

基于上述原因，教师和开发人员应该为学习者提供更多虚拟现实学习的机会，帮助学生熟悉虚拟现实学习环境中的操作，更好地适应虚拟现实学习环境。此外，相较于二维视频，三维视频更具直观性，一定程度上能降低学习过程中的“跳跃”。

3.不同学习环境对行为投入的影响

数据分析结果表明，学习者在桌面虚拟现实学习环境中的学习时长要多于在线学习环境。这说明学习者在桌面虚拟现实学习环境下学习投入的时间更多，也表明学习者对桌面虚拟现实学习环境更感兴趣，愿意在该环境下花更多时间反复观看学习内容。投入理论也指出，投入到学习中的有效时间越长，学习效果越好(Pace,1998)。环境因素是影响行为投入的最重要因素(Walson et al.,2006)。通过行为投入的作用，学习者会感受到学习系统(学习环境或学习情境)与学习行为之间的关联作用，对学习系统产生归属感(情感投入)，明确学习动机，选择学习策略(认知投入)(朱红灿,2014)。

4.不同学习环境对学习成绩的影响

本研究发现，学习者在桌面虚拟现实学习环境下的学习成绩高于在线学习环境，且差异显著。这与大多数研究结果一致。奥克特等(Allcoat et al.,2018)研究发现，虚拟环境下学生整体表现显著优于传统在线环境，且学生表现出更高的投入度和积极情感。李宝敏等(2019)利用元分析方法对虚拟现实应用于教育教学的实证研究发现，虚拟现实应用于教学对学习成绩具有中等程度的正向影响。需要指出的是，由于本实验的学习内容为生物学科知识，其研究结果和结论不具有代表性。因此，教学和开发人员应根据学科特点和其他影响虚拟现实教学的因素，采用合适的教学策略，使虚拟现实技术与教育教学实现有效融合。

5.学习投入与学习成绩的相关关系

本研究发现，学习成绩与认知投入、行为投入之间有显著的中等相关关系，与情感投入有显著的低相关关系。这表明学习投入越多，学习成绩会越高。这与大多数研究结果一致，即学习投入与学习成绩正相关(Robinson et al.,2014；Pietarinen et al.,2014；乔晓熔等,2010；王红梅,2019)。本研究还发现，认知、情感与行为投入之间也存在相关关系。然而，尹睿等(2017)发现行为投入受到认知投入、情感投入等的正向影响，认知投入对行为投入有直接正向的影响。马志强等(2020)则发现投入各维度之间无预测关系。本研究与上述研究不一致的可能原因在于，上述研究基于线上与线下混合学习环境。

(二)建议

1.加速推进虚拟现实技术与教育的融合

本研究发现，桌面虚拟现实学习环境下的学习投入和学习成绩均高于在线学习环境。这表明虚拟现实环境对教学效果有提升作用。基于此，本研究建议应加速推进虚拟现实技术与教育的融合。虽然虚拟现实已经逐渐走向“落地应用”，但虚拟现实资源大多都集中在安全教育、科学普及等方面，真正能够结合教学内容且用于学习者的资源较为缺乏。另外，虚拟现实学习环境与教学内容融合及课堂应用尚未形成明确的教学设计方案。如何将教学内容通过虚拟环境呈现是目前虚拟现实环境与教育融合遇到的主要难题之一。本研究建议开展教师虚拟现实教学能力培训，提高教师使用虚拟现实技术教学的频率。此外，教师要将虚拟现实技术的优势应用到传统教学，设计适用于虚拟现实教学的新型教学设计。

2.根据教学内容和教学对象开发优质虚拟现实学习资源

不同教学内容和教学对象各具特点，教师和开发人员应结合不同学科和教学对象的特征开发虚拟现实学习资源。例如，数学学科偏重于数字和图形，虚拟学习资源建设要融合数形结合的思想；语文学科中的诗词展现，教师要考虑呈现相应的诗词意境。另外，教师和开发人员还需考虑过多的虚拟场景是否会占用学生的认知资源，这可能导致学习效果欠佳。

3.关注学习者的情感、认知和行为投入

本研究发现，学习成绩与认知、情感和行为投入均相关，各投入维度之间也显著相关。因此，本研究建议教师可充分借助虚拟现实技术创设拟真教学环境，增强学习沉浸性体验；通过角色扮演，强化学生情感交流，提升教学效果；关注学习环境、时间控制、学习经验等因素对学习投入的影响。

(三)不足与展望

本研究存在一些局限：首先，被试群体来源具有局限性，可能对研究结论及其普适性产生影响。后续研究可扩大研究样本的来源。其次，本研究只探索了桌面虚拟现实学习环境对学习投入的影响，没有探索沉浸式学习环境对学习投入的影响。随着沉浸式学习资源逐渐增多，后续研究可深入探讨沉浸式学习环境对学习投入的影响。最后，本研究主要采用量化研究方法，后续研究可以考虑加入质性研究方法，例如，可加入访谈，深入分析学习者在虚拟学习环境中的学习体验。