基于AR技术的学习者在线学习行为研究初探*

李 封，张 昱，陈 默，徐 彬

（东北大学 计算机科学与工程学院，辽宁 沈阳110819）

一、引言

近年来，虚拟现实（VR）以及增强现实（AR）技术日趋成熟，从军事训练、医疗辅助到市政建设、娱乐游戏，AR技术的应用也越加广泛。在教育领域中，AR技术更是凭借其使知识实体化、模型化、直观化的特点，地位日渐提高。

虚拟现实和增强现实技术在教学中的应用潜力巨大，前景广阔，国内很多高校已经建立了自己的虚拟实验室。具体的优势主要体现在以下五个方面：①将抽象的学习内容可视化、形象化；②支持泛在环境下的情景式学习；③提升学习者的存在感、直觉和专注度；④使用自然方式交互学习对象；⑤把正式学习与非正式学习相结合[1]。

从教育技术和教育研究方面来说，VR/AR技术为“翻转课堂”的发展提供了环境，换言之，在MOOC高速发展的今天，VR/AR技术更可以作为“微课教学”和“翻转课堂”的载体。与传统的手机、电脑相比，VR/AR环境能够将知识立体化，将抽象的问题实体化，为学习者提供更加真实的情景。其次，VR/AR环境有助于采集学习者学习行为数据，在AR环境下，学习者完成学习的整个过程完全处于设备模拟的环境中，学习时的手势动作、视线焦点等学习行为数据能够轻松地被采集和量化。这为后期研究工作的开展提供了可靠的数据支撑，方便“教”“学”方式的调整，以达到提高学习者学习效果的目的。

二、国内外研究现状

纵观近几年国内外的相关领域，还没有学者把目光集中在AR环境下的学习者学习行为的研究中来。而与之相关的研究，大体上可以分为两个方向：

1.学习行为方向的研究

从2010年开始，国内外的部分学者就已经将目光投向了在线学习行为的研究中，2010年 “学习分析”第一次被写进《地平线报告》[2]，预示着这项技术成为学习科学及在线教育未来几年的主要技术之一。随着学习分析技术的迅速发展，各国涌现出许多对学习分析应用实践的探索案例：如美国北亚利桑那大学设计的Grade Performance Status（GPS）tools系统[3]，该系统能够用来测评学习者在课堂上的学习情况以及整节课的效率；又如比利时荷语天主教鲁汶大学的Student Activity Monitor（role showcase platform tool）系统提供了学习者各种学习行为数据的可视化[4]，如做任务所花的时间、下载量、学习时长等，并和其他学习者的学习情况进行比较，帮助学习者更加了解自己的情况，从而更好地自我反思。对于学习投入度的概念，近年来大部分的学者认同这样一个概念：学习投入度是一个多维结构，主要是学习者在学习过程中的认知、情感和行为的投入程度[5]。而学习投入度也正是学习行为的量化表现形式。

2.AR技术在教学中应用的研究

在国外AR技术早已应用到教学领域中，Kerawalla等人[6]曾经利用AR技术进行了天文学的教学，通过旋转虚拟的三维地球来分析地球与太阳、白天与黑夜的关系。Cai等人利用AR技术制作了可视化的磁场，能够实现学习者用手势与磁场进行简单的交互[7]。当然，不论国内还是国外，目前对于AR系统下的在线学习行为方面的研究内容还非常有限，纵观已有的相关研究可以发现，研究大致分成三个类型的主题，分别是描述性主题、关联性主题和价值性主题[8]。而学习投入涉及到学习行为中各个方面的因素，错综复杂，因此如何全面、科学、准确地描述在线学习的学习行为是一个重要问题。国内外的学者主要将目标集中在解释在线学习投入结构的界定上，而在AR系统下，如何准确地获取学习者的学习行为，如何对学习行为进行处理和分析，以此界定学习者的学习投入度则为研究的重点。

三、AR学习环境中学习行为研究的意义

在传统电商的用户在线行为分析中，用户行为分析的五大场景包括拉新、转化、促活、留存和变现，对电商来说意义重大。而在MOOC高速发展的今天，在线学习已经成为高等教育中一个必不可少的教学手段，而有关学习者学习行为的研究也从传统学习方式转向了在线学习的研究中，虚拟技术作为一个新兴事物，在在线教学方面有着其独特的优势。具体来说，主要包含两方面的研究意义：

1.AR技术为“翻转课堂”的发展提供了环境

越来越多的高校建立了自己的VR/AR实验室，越来越多的课程开发出了适合自己专业特色的虚拟仿真实验，越来越多的专业将课程设计安排在VR/AR系统中完成。

VR/AR技术下的教学资源存在形式多种多样，只要有网络和设备，就可以在不同的地点任意调用其教学资源进行随时随地的自主学习。换言之，在一个在线教育的时代，虚拟环境更可以作为“微课教学”和“翻转课堂”的载体。与传统的手机、电脑相比，虚拟系统能够将知识立体化，将抽象的问题实体化，为学习者提供更加真实的情景。

2.AR系统环境方便学习者学习行为数据的采集获取

传统的在线学习中，学习者的学习行为主要通过对鼠标的操作来完成，数据的采集较为困难，且采集到的数据有一定的局限性，无法对学习者的行为进行管理或约束，以至于导致自制能力不强的学习者对于在线学习不够重视，多投入，零收获。而在AR系统下，学习者的学习行为通过其学习时的手势动作、视线焦点等数据来反映，相比较而言这些数据能够更容易被采集，用户可以通过采集的数据，找到更适合AR系统下建立学习行为模型的方法，并以此指标作为参考，使教师对于学习者的学习能力和学习方式有一个大概的了解，将教学方式的调整与督促学习者改进学习方法同时进行，以达到提高学习者学习效果的目的，让现代化的教育手段更好地为教学服务。

3.AR系统环境有助于提高学习者学习专注度

所谓的专注度，是指学习者进行学习活动时的专注程度，在学习的过程中一直起着非常重要的作用。曾经有专家说：“哪里有专注度，哪里才有思考和记忆”。虚拟环境能够为学习者提供良好的学习氛围，能够将外界对学习者的干扰降至最低。同时，虚拟环境还能够很好地提高学习者的学习兴趣，寓教于乐，使枯燥的学习生动化。所以与传统的课堂教学、通用的MOOC教学相比，虚拟系统更能够吸引学习者的注意力，让学习者感受到文字和视频表达不出来的知识，有着其特有的优势，未来越来越多的在线学习都会在VR/AR系统中完成。

四、研究方案的建立

现阶段，有关学习者在线学习行为的研究主要分成几个方面：①学习者观看教学视频产生的学习行为；②学习者上传作业、下载资料产生的学习行为；③学习者在线与其他学习者交互、访问论坛、发表话题所产生的学习行为。本文的研究主要集中在学习者在AR系统下观看教学视频产生的学习行为。

1.基于AR系统的交互式研究环境的搭建

该研究环境分成硬件设备和软件环境两个部分。

（1）硬件设备

系统采用的是微软公司的HoloLens眼镜，这是Windows Holographic使用的主要设备，是一个微软推出的Windows10智能眼镜产品，它采用先进的传感器，高清晰度光学头置式全角度透镜显示器以及环绕音效，允许用户在增强现实环境中通过眼神、语音和手势互相交流。HoloLens使用的传感器是一种高效节能的深度摄像头，具有120°×120°的视野。传感器提供的其他功能包括头部跟踪、视频拍摄以及声音捕捉。除了高性能的CPU和GPU，HoloLens带有全息处理器（HPU），这一协处理器用于从所述的各种传感器集成数据，并处理诸如空间映射、手势识别和语音识别等任务。之所以采用这款硬件设备，正是由于其功能强大且数量众多的传感器。利用这些传感器，用户可以方便地采集到使用者的视线数据和手势数据，这些数据在学习者学习行为模型建立和分析中有着重要的意义。

（2）软件环境

依照视觉设计阶段已完成的布局样式和界面风格，系统的交互开发任务通过Unity 3D引擎实现。Unity 3D是一款由UnityTechnologies社区开发的多平台的综合型游戏开发工具。它以交互的图形化开发环境为首要方式，使用了Mono作为脚本引擎的虚拟机，并以C#或Java Script为脚本语言实现对虚拟环境中的二维或三维对象的仿真和交互编辑。脚本的运行原理是调用Unity 3D引擎中带有的游戏流程控制类，即Mono Behavior类，Unity中用户对游戏对象的操作被分割成若干个单一行为，每个单一行为都作为一个Mono Behavior类来封装。再生成每个Mono Behavior类的实例，并作为组件嵌入游戏对象，然后按照一定的顺序（从下到上）调用每个对象的重载方法来实现游戏对象的全部行为。由于Unity 3D对DirectX和OpenGL拥有高度优化的图像渲染管道，并且内置的NVIDIA和PhysX物理引擎能够带来逼真的互动感觉，因此特别适合在移动平台环境下进行交互设计的开发。为了方便视频播放和数据捕捉，本研究使用了AVProVideo组件，可记录多个学习行为动作。

2.学习行为数据的采集

在AR系统中，以MOOC视频学习为背景，其学习行为数据主要包括学习者手势动作的数据和学习视线焦点的数据。其中，学习者的手势动作主要是替代传统的鼠标操作，实现视频的播放、暂停、快进、音量的调节等；学习者的视线焦点数据，主要是体现学习者在学习时视线关注的位置，也就是视线焦点的具体坐标是集中在教学视频中央还是周围区域等。其中，视线焦点数据是传统的在线教学中无法获取的数据，也是AR系统特有的支持学习者学习行为分析的最有效的数据。

具体数据采集包括以下三个模块：

（1）进度条采集模块

该模块主要针对播放器中的控件的操作数据进行采集，播放器每个控件都有着自己特定的功能，不同的功能组合代表着不同的含义，包括播放进度以及声音的调节等方面的管理，这些数据记录着学习者观看知识点视频期间的状态。例如，如果学习者在视频的播放过程中不断调整音量控件至0，或者学习者在学习过程中不断点击快进按钮，这些行为都是比较重要的学习行为，通过分析能够得到学习者该行为所代表的不同的意义。

（2）手势动作采集模块

在HoloLens设备中，默认的基础手势动作为air_tap（敲击）、double_tap（双击）、hold（拖动）、bloom（返回）以及move（移动），其中大部分的手势动作可以用来替代鼠标的操纵，有着实际的意义，记录这些动作发生时间，并结合其他的动作，同样可以分析出学习者做动作的时候所代表的学习行为。

（3）视线数据采集模块

在传统的电脑或者手机的MOOC教学中，能采集到的数据只有播放的时间数据以及鼠标动作数据，而在视频播放的同时，学习者是在观看视频还是在做其他事情，传统的在线平台无法得知，而在AR系统中，则可以很好地解决此问题，这就需要用到MixedReality ToolKit组件的帮助。该组件集成了视线的采集，将其采集到的数据映射到一个三维的立体坐标系中，以此来确定视线焦点的位置，根据播放视频的范围和焦点位置来确定学习者的视线在视频上还是视频外。

3.学习行为分析模型的建立

研究表明，诸如关联性、互动性、探究性、自我效能感等因素或变量对学习者的学习专注度都有影响。其中，所谓的关联性是指给学习者提供与现实问题相关的现实任务，即在线学习与线下学习相结合，当学习者试图解决现实世界的问题时，他们更倾向于投入学习，因为他们试图解决的任务提供了解决未来任务的经验；互动在学习者参与学习中起着重要的作用。在学习过程中，与其他学习者良好的互动或沟通技巧能积极地增强学习者对学习的兴趣，在线互动的形式多种多样，AR系统下的互动形式更为贴近现实；探究性学习也是影响学习者参与的因素之一，通常一个学习者希望通过学习去探索更多的信息，以便获得更多关于某个主题的知识和信息；自我效能感被定义为相信自己有能力从事特定的任务并取得重要成就，即对自己的认可感，一个具有高自我效能感的学习者可能更积极地学习。

正如大家所熟知的，上个世纪中期，有学者就给出了学习者的表现力（Student Performance）的计算方法[9]，主要由学习者的能力和试题的难度决定，很多课程也一直沿用这一理论[10]。实际上，正如上文所叙述的，学习者学习的投入度也起着决定性的因素。利用贝叶斯理论去描述这一个关系模型，如图1所示。

图1 贝叶斯网络关系图

其中，Student Engagement（E）为学习者的专注程度，Difficulty（D）为知识的难度，Intelligence（I）为学习者智力水平，Student Performance（G）为学习者的表现（通常用学习成绩来表示）。后者由前三者共同决定，三个决定因素之间存在着相互影响的关系，则可以通过贝叶斯网络计算联合分布，给出相关的全概率公式，如公式1所示，以便用分布概率去替换更多可能的变量的状态。

根据上述模型，在知识难度和智力水平为客观条件，无需考虑的情况下，本文选取了目前被认为是至关重要的四项因素进行学习者的学习学习投入度（学习者学习专注程度）建模，如图 2所示：信念（Belief）、目标（Goal）、信心（Confidence）和注意力（Attention）。 这四种心理因素会间接影响学习者的学习投入，例如信念因素影响相关性，目标因素影响探索力，信心因素影响自我效能，而注意力因素则是其中最为重要的一点，能够直接被学习者学习行为数据所反映。

图2 学习者学习投入度模型

本文以学习者为研究对象，对注意力、信念、目标、自信四个变量进行关注与评估，并根据AR系统的特点，考虑所采集的数据的结构，提出了一个适合AR系统下学习者进行在线学习的学习行为模型。其中信念、目标和自信三个变量为人为的主观因素，系统所采集的数据无法客观地描述，所以本文默认学习者的信念、目标和自信三个变量对学习投入度的影响相当，那么所有的问题则集中在注意力（Attention）属性上。同时学习者的专注力具体则体现在视线焦点（Focus(F)）、手势动作（Gesture(g)）、控件操作（Control(C)）上，如图 3 所示。

根据上述模型，本文提出了一种对学习者的注意力进行量化的计算方法。在AR系统下，存在几种明显的注意力分散的情况，包括视线焦点游离在视频窗口外、短时间内反复出现无效的手势动作、时间滑块的无序拖动。当学习者在学习过程中出现明显的注意力分散动作时，系统利用公式2计算这段时间内的注意力分数值SA。

其中，α，β，γ 为权重调整系数，SF、Sg、SC为学习者注意力分数值，分别为视线焦点、手势动作和控件操作的量化分数。SF为视线焦点距离视频中心点的平均欧式距离，Sg为这段时间内无效手势出现的次数，SC为这段时间内无序的滑块拖动次数S。那么学习者在整个知识点视频的学习过程中，总的注意力分数值如公式3所示。

图3 AR系统下学习者注意力模型

其中，i表示学习者在整个视频观看过程中出现注意力分散情况的次数。

4.模型的测试

本文选取某本科985院校2017级入学的工科专业10名学习者作为志愿者，2017-2018学年的成绩大体相同。知识点选择 “C语言循环结构设计while语句”。志愿者首先在AR系统下观看知识点的视频，时间为30分钟，接下来，对志愿者进行该知识点掌握程度的测验，测验内容为10道客观题，测试时间为15分钟。完成测试后，计算每名学习者的注意力分散值S，并将其进行归一化处理。图4为注意力值S和测验分数的分布示意图。

从图4我们可以看到，注意力值和测验的分数大体上成反比的关系，客观说明了学习者的专注程度对学习效果有着很大的影响。由此可见，在AR系统下，该模型能够有效地评估学习者的专注度，对学习者在AR系统下的学习行为分析具有重要的借鉴意义。

图4 注意力值S和测验分数的分布示意图

五、结论和展望

本文的特色与创新在于提出了一个新的基于AR系统的在线的学习行为模型，首次在AR环境下去考虑MOOC学习过程中学习者的学习行为研究。随着计算机技术的发展以及AR技术的不断成熟，学习者对学习环境的要求越来越高，越来越多的学习者将不仅仅满足于传统的手机和电脑上的在线学习，虚拟环境正好能够满足学习者的要求，交互也更加逼真。学习方式已经从传统的线下学习发展到在线学习，再到虚拟环境中学习，那么基于AR系统的学习行为的分析和研究必然会成为未来的研究热点与重点。

本文的不足在于，学习者注意力模型中，注意力明显分散的条件还不够完备，后期需要大量的数据去完善。另外现阶段AR设备价格昂贵，大部分的高等学校还无法普及。相关研究也受制于设备的数量，无法大规模展开。随着计算机技术的日趋成熟，根据摩尔定律，未来AR设备的价格定会大幅下降，大范围的应用指日可待。