基于人脸识别的课堂教学监控系统分析

王艳玲

（长春光华学院，吉林长春，130031）

0 引言

本文主要讲述了在现代化教学的背景下，给予人脸识别的堂课教学效果以及教学质量，该系统的出现可以节约教师的时间，将更多的精力放在教学上，而且使用人工智能技术可以分析学生的课堂情况，通过摄像设备可以更加直观的看到每一个学生的变化是否集中注意力听课，以提高教学效果，并且也可以评估学生的学习情况。该系统的优势在于：首先，基于摄像设备的人脸检测方法，以提高学生上学的人数。其次，基于摄像设备的图像分析可以提高课堂的教学质量和教学效率。

1 系统架构

此系统的应用可以更好地观察学生的变化，通过教室的视频监控设备可以满足学生的需求，对一些上课不积极的学生或者是捣乱的学生也是一种制约，还可以通过手机图像来评估教学质量。而此系统主要分为四部分：视频采集、面部检测、面部识别和统计反馈，子系统的划分如图1所示。

如图1所示，视频采集子系统包含两个部分：视频采集和存储以及图像预处理。其中，视频采集储存模块的功能是将学生在课堂上的视频采集到后保存到硬盘上。图像预处理的功能是将采集的视频进行相应的处理和校正。人脸校测子系统包括三方面，即：图像分割、人脸检测、人脸去重，其主要的目的是更好的切割或者检测薛恒的面部表情，将面部检测的结果传递到子系统。面部识别子系统使用百度AI开放平台界面提供面部识别和面部情感识别。在此模块中，可以查看当前教室中的学生是否在听。统计反馈子系统包括两个部分，即对教育和反馈的总体质量的评估，这样不仅可以将学生的实际情况更清楚、更直观的反馈给教师，让老师可以观察到学生的变化。

图1 子系统划分

2 系统关键技术

2.1 图像分割

面部检测子系统的目的是更好的、更全面的检测学生的面部情况，但是面部子系统也有其弊端，其缺点在于如何确保测试召回率，换句话说，如何将教室中每一个学生都不落下。这些人脸检测方法并不是因为当前的人脸检测方法无法保证当有很多人脸时的召回率。图像递归切割的示意图如图2所示。

图2 图像递归切割

如图2所示，根据半重叠原理沿长边切割图像，并将每个图像切割成三个子图像。沿长边裁切可防止裁切图像破坏长度和宽度之间的平衡，并且一半的重叠使裁切的子图像具有尽可能完整的脸部。深度表示剪切的数量，可以根据图像中人脸的数量动态调整此值。 对于具有大量面部的图像，将N设置为较大的值将在子图像中的原始图像中显示较大比例的较小面部，从而提高了测试的召回率。

2.2 人脸检测

图像分割完成后，对每幅图像执行人脸检测。基于图像递归切割的人脸检测算法如算法1所示。

算法1基于图像递归切割的人脸检测算法

该算法首先使用OpenCV库中的CascadeClassifier分类器检测当前节点图像中的面部，然后将检测到的面部添加到面部集。在相加过程中，根据图像中脸部的位置，删除重复的脸部。最后，对每个子图像进行算法处理，直到对图像进行分割并达到设置的图像分割深度为止。面部检测完成后，将获得一个包含所有面部的面部集合，用于面部识别和情感识别。

2.3 人脸识别

该系统使用百度AI开放平台在线人脸识别界面来识别人脸。 与其他公众面部识别界面相比，该界面具有更高的识别率，并提供诸如情感识别的功能。在识别面部之前，必须将所有学生面部上载到百度AI开放平台以构建学生面部数据库。在识别过程中，面部经过Base64编码并发送到指定的URL。课堂人脸信息数据表设计如表1所示。

表1 人脸信息数据表

数据库中的每个记录都存储信息，例如面部所属的学生的姓名，三维空间中面部的角度，面部表情，图像收集时间和识别可靠性。

2.4 课堂教学分析

该模块在课程中为所有学生捕获面部信息，评估学生的学习状态，并以两种格式显示统计结果：网页和手机APP。统计信息包括班上所有学生的检出率的变化，特定学生的检出率，所有学生的面部角度分布和变化趋势，特定学生的面部角度分布以及面部情感分布。包括变化趋势，缺少面部警报等。

所有学生的检出率变化趋势主要用于分析在课堂上所有学生的检出率。统计结果将帮助学生认真聆听并确定他们是否在学习中。特定学生的检出率是指在整个班级中检测到的特定学生的百分比，其结果与特定学生在班上的热情有关。可以分析学生面部的角度分布和趋势，以查看检测到面部时头部是否朝下。在课堂中，学生面部表情的变化可以直观的看到学生的变化，学生是否在学习，课堂是否活跃，如果面部丢失警报响起就证明学生没有集中注意力，或者学生可能在睡觉，或者早退。

3 系统性能分析

3.1 系统运行效果

该系统已在大学软件学校的智能教室中开发和测试。教室可容纳50名学生，每堂课30至40名学生。

为了测试该系统的面部检测方法的召回率，在教室监视过程中随机捕获了100张图像进行测试。四个班级中有20个捕获了100张图像，每个班级的学生座位分配各不相同。消除了在特殊情况下未检测到学生的脸部（例如学生在上课时鞠躬）后，面部总数为3143。系统的面部检测算法在这100张图像上运行，以计算去除重复面部后的面部召回率，以及切割的图像深度与面部召回率之间的关系。可以看出，图像中的切入深度越大，面部的召回率就越高。图像深度为5时，面部回忆率达到99.8%，足以满足课堂教学监控的需求。

3.2 系统性能分析

随着图像切割数量的增加，需要以指数方式检测面部的图像数量也会增加。如果图像的裁剪深度为5，则检测到的图像数量为364。在这些图像中，根节点具有最大的图像大小，并且使用OpenCV进行面部检测大约需要80毫秒。随着切割深度的增加，图像尺寸呈指数减小，并且耗时的人脸检测也急剧减小，一张图像的总面部检测时间少于4秒。

面部检测后，将调用BaiduAI的在线面部识别界面来执行面部识别。企业级应用程序的此接口的QPS限制为10。也就是说，每秒最多允许10个呼叫。该系统使用多线程方法来调用此接口。凭借良好的带宽，可以始终如一地每秒实现9-10个呼叫。对于一个大约有40名学生的课程，考虑到20%的冗余度，面部识别的总时间少于6秒。该耗时完全满足了课堂教学监控系统的耗时要求。

4 结论

随着经济的发展以及我国综合国力的增强，我国在计算机领域有了很大的突破，本文主要讲述了课堂教学的监控系统，在未来的教学中将慢慢普及，成为课堂教学不可或缺的一部分，但是在教学中由于课堂学生较多，多人场景下人脸检测的召回率较低，成为了主要的问题之一，针对此问题，我们提出了基于图像递归切割和OpenCV的人脸检测方法，以了解学生的学习情况。此外，我们通过视频采集的方式，可以分析面部检测召回结果，以及面部检测所需的时间。其中，需要改进的地方包括：首先，如何将课堂上的学生更好的、更全面的识别，以及学生分布不均匀的问题。其次，在摄像头拍摄的过程中阳关的光线和其他的一些因素也对其有一定的影响。