AI赋能的教学手势对课堂专注度的影响研究

施剑阳

关键词： 指点手势; 课堂表情；头部姿态；课堂专注度; 人工智能

中图分类号：G43 文献标识码：A

文章编号：1009-3044（2024）03-0019-03

0 引言

专注是产生有效学习的先决条件，是取得良好学习成效的重要保证，在课堂教学中尤为重要。课堂专注度是指学生在课堂中聚焦于学习任务，迅速筛选重要信息，抵御干扰，表现为保持相对静止、持续关注学习刺激的能力。有强有力的证据表明，学习者在不同的专注状态下有不同的学习表现。具体而言，在高专注状态下，学生的学习动机被大大增强，同时也能促进其对信息的处理和记忆。因此，精准的评估和有效的优化学生的课堂专注度尤为重要。

1 文献综述

1.1 学习专注度的评估

学习专注度的精确评估一直是教育领域中重点关注的议题。评估专注度的传统方法可分为两类：一是教师通过观察学习者的外显行为特征判断其专注度，二是学习者自我报告专注状态，这两类方法均存在一定的主观性和滞后性。随着数据采集技术的成熟，众多学者深入研究了如何利用学习者数据实现对学习专注度的自动分析，在这方面，较为普遍的方法是采用非侵入的方式，通过摄像头收集学习者的课堂行为数据，从中提取学习者的视觉特征，然后利用相关的机器学习方法来识别学习者的专注程度。例如Hu[1]等人基于非侵入性课堂视频，构建了一个包含多种线索（面部表情、身体动作）的课堂专注度数据库，并提出了一种双峰模型来同时考虑两个方面的信息，将两个模态的特征合并起来进行专注度评估。这种基于多模态数据的专注度评估方法能实现对学习者专注度实时和自动化的评估，但目前仍缺少足够的证据来证明该方法的有效性。来自心理学和脑科学领域的研究表明，学习者的眼球运动和大脑皮层的神经活动能准确反映学习者的专注状态。具体而言，通过视线落点、注视时间及次数、眼跳路径等能够获知学习者的注意范围、对学习材料的加工难度与注意量，从而判断学习者的专注度状态。例如 D' Mello[2]等学者研究在线阅读场景，通过学习者对阅读材料整体和局部的眼动特征进行观察以判断学习者是否专注于学习内容。此外，通过脑电信号的频谱特征可以反映出学习者的专注度水平，目前采用频谱分析方法识别大脑状态的专注度水平主要有两种算法，一种是计算θ β 比率的得出大脑的专注水平；另一种是将脑电信号分解为δ 波（≤4HZ） 、θ 波（4～8HZ）、α 波（8～15HZ） 、β 波（12～30HZ）和其他波（≤30HZ） ，把每个波的能量或者功率谱作为反馈信息。上述基于生理数据的方法虽然能够对学习者的专注度进行准确的评估，但眼动仪和头戴式脑电设备的投入成本高，且难以规模化应用，其次头戴式脑电设备以侵入式的方式采集数据易对学生造成影响。

1.2 教师手势对学习者的影响

手势又称手的姿势，是指人在运用手臂时，所出现的具体动作，这其中包括手和手臂的移动、姿势的调整、触碰他人和不同形式的节拍等。在课堂教学中，教师在课堂中经常使用三种手势[3]：指点手势通常以伸出的手指或手的方式表示物体的位置；描述性手势则通过手的形状或运动轨迹来描述语义内容的各个方面，以字面或隐喻方式在听众脑海中唤起相应的心理图像；节拍手势是一种简单的、有规律的上下运动，与语音的韵律或话语结构一致，而不涉及语义内容的描述。已有的许多研究发现，教师手势的运用有利于提高学习者的学习效果。具体来说，教师的手势是一种非语言交流形式，它可以用来补充语言信息，增强学习者的理解和记忆。此外，手势作为一种视觉提示，不仅可以帮助学习者理解复杂的概念和信息，还可以提高学习者的专注度和参与度。例如杨九民[4]等人使用眼动设备测量了被试在学习过程中的眼动数据，通过比较被试在不同手势教学条件下的眼动情况和学习情况，他们发现指点手势和描述性手势都能引导学习者关注教师和屏幕上的学习材料，但指点手势更能促进学习者在教师和学习材料之间切换注意力，而描述性手势则更能促进学习者在学习材料内部分配注意力，该研究说明了教师在教学过程中可以通过使用不同类型的手势来调节学生的注意力分配从而促进其学习。来自手势的EEG研究也发现手势和学习者的注意力存在一定的关联[5]，具体来说，与指点手势相比，当学生观察到教师的节拍手势或描述性手势时，α和β振荡的振幅較低。而α和β波与视觉空间注意力分配认知活动以及感觉运动皮层的激活密切相关。因此，在观看手势时，学习者需要感知运动皮层的参与，并进行视觉空间注意力的分配。

综上所述，教师的手势与学习者的专注度水平存在一定的关联，但具体的关系仍需进一步的证实。因此，本研究借助人工智能技术实现课堂专注度和教师指点手势的自动识别，并在此基础上进一步探究教师指点手势对学生课堂专注度的影响。

2 课堂专注度识别

对于课堂专注度的识别主要分为四个步骤：人脸识别、表情识别、头部姿态识别和课堂专注度计算，具体的过程如图1所示。学生的视频数据先经由人脸检测模块识别学习者的人脸信息，通过裁剪得到学生的人脸图片。随后将得到的所有人脸图像输入到头部姿态检测模块和表情识别模块，以得到每一位学习者的表情类别和头部偏转角度。将得到的结果映射到评价指标中，再经过计算得到课堂专注度值。在上述过程中，人脸识别使用的RetinaFace模型[6]，表情识别使用的是ResMaskingNet 模型[7]，头部姿态识别使用的是HopeNet模型[8]。关于课堂专注度的评价指标，通过对先前研究者关于课堂专注度研究的梳理，确立课堂表情和头部姿态的相关评价指标。具体来说本研究确定了惊奇、开心、中性、害怕、悲伤、生气和厌恶七种课堂表情，并且依次赋予3、2、1、0、-1、-2和-3七个分值。对于头部姿态，本研究通过对俯仰角和偏航角两个角度来综合评价头部姿态，具体的评价指标如表1所示，其中m₁、m₂、m₃、m₄赋予的值分别为1、0.75、0.5、0.25。

对于课堂专注度的计算，其综合了表情识别和头部姿态识别的结果，首先是表情得分的计算如公式（1）所示。

3 教师指点手势识别

在这一章节中介绍了基于ResNet50的教师指点手势识别方法，该方法主要包括了两个步骤：教师识别和指点手势识别，具体的流程如图2所示。

1） 教师识别

识别教师在课堂教学中的指点手势的前提是需要在课堂视频的每一帧中识别到教师对象，我们通过对金华市某中学两个班级的数学课堂进行长达一个学期的跟踪拍摄发现，教师在讲授学习材料时，绝大部分时间都是在讲台附近活动，反映在视频中就是讲台与黑板所围成的矩形区域。因此我们假设教师在使用指点手势进行教学时，教师位于讲台附近。如图2所示，我们利用教师在进行学习材料讲解时与学生在空间位置上存在显著分界的特点识别课堂视频中的教师对象。具体来说，考虑到黑板中电子白板的颜色属性。首先将RGB图像转换为灰度图像，然后设置阈值为150将灰度图像转化为二值图，并在二值图中进行轮廓检测。其中轮廓面积最大的即为电子白板，确定电子白板的轮廓之后即可获取该轮廓外接矩形的左上角坐标（X_lt，Y_lt）以及外接矩形的宽W_box和高H_box。为了获取讲台与黑板所围成的矩形区域四个顶点坐标的，我们对外接矩形的高度进行了适当的扩增，教师活动区域矩形四个顶点的坐标的计算如下：

其中W_pic为图片宽度。在四个坐标点限定的区域内通过Yolov5[9]即可提取区域内的教师对象。

2） 指点手势识别

如图2所示，我们在指点手势识别上的过程可以概括为：首先将教师图像放入Mediapipe进行人体关键点检测，然后连接手部关节点得到手部姿态，并利用Resnet50进行手势识别。

由于手部姿态依赖于教师的关节点位置，我们利用Mediapipe[10]算法对人体关节点进行检测。具体而言，将在教师活动区域内捕获的教师图像序列作为Me?diapipe的输入从而获得图像中人物的连接点S_i。Me?diapipe能够检测人体的33个关节点，但在该任务中只需要手部的关节点，因此，11 ≤ i ≤ 16，i∈Z。之后，将获取的手部关节点归一化并在224*224的画布上连接各个关节点以获取教师的手部姿态。对于指点手势的识别，本研究使用了ResNet50[11]。它是经典的ResNet模型，在ImageNet数据集中，ResNet50在图像场景分类方面的表现均优于其他CNN模型，可以很好地用于指点手势的识别。在训练过程中，为了提高模型的精度、稳定性和训练速度。本研究使用了ResNet50模型在Ima?geNet数据集上预训练好的权重。并且，针对指点手势分类任务，本研究对ResNet50模型进行了微调。具体来说我们将ResNet50模型的最后一层（全连接层）替换为了一个新的神经网络层，该网络层包含两个全连接层、一个ReLU激活函数、一个Dropout层和一个Log?Softmax层，从而使ResNet50适用二分类任务。训练过程中所使用的数据集均来自真实的课堂实录，包含两种标签即指点手势和非指点手势，共计2183张RGB教师图片，其中训练集1310张，测试集873张，经过50轮迭代最后分类的准确率为97.63%。

4 教师指点手势对课堂专注度的影响

为了探究教师指点手势对学生课堂专注度的影响，本研究对5节课的课堂教学视频进行了分析，这些视频的时间在40～45分钟不等，每节课的课堂教学视频包含教师视频和学生视频。借助于我们所提出的课堂专注度识别模型和手势识别模型，我们统计了每一分钟的课堂专注度均值和教师使用指点手势的频次。并以指点手势条件为因素，在SPSS 26.0上利用单因素方差分析（ANOVA） 进行一系列方差分析。

1） 教師在课堂中指点手势的使用情况

对于教师在课堂中指点手势的使用情况，图3的统计结果表明，教师在教学过程中大部分时间段都使用了指点手势，其时间占比均超过了50%，与非指点手势之间存在显著差异，由此可见指点手势在教学中的重要性。

2） 指点手势对课堂专注度的影响

对于指点手势对课堂专注度的影响，表2 的ANOVA检验的结果表明。教师在使用指点手势和不使用指点手势时学习者的课堂专注度存在显著差异（M = 64.02，SD = 3.92，P < 0.001）。具体来说，相较于非指点手势，教师使用指点手势能大幅提升学习者的课堂专注度。

5 结束语

本研究探究了教师在课堂中使用指点手势对学生课堂专注度的影响。单因素方差分析结果显示，教师使用指点手势能够大幅提升学习者的课堂专注度，使学生专注于知识的获取。选择性注意理论指出，个体不可能同时关注所有呈现的刺激，而是会有选择性地集中注意力于某一刺激，忽视同时呈现的其他多种刺激。在课堂教学中指点手势作为一种引导行为，可以有效地帮助学习者在黑板或电子白板上快速捕捉到需要深度加工的材料，从而使学生的视觉空间注意力指向教学内容，进而忽略其他的教学干扰因素。同时教师的指点手势能够营造出一种师生交互的临场感，使学习者沉浸于学习情境中，将有限的认知资源投入知识建构过程中。因此，在课堂教学中，当学生在看到指点手势时会表现出行为专注，从而提高课堂专注度。

【通联编辑：李雅琪】