基于小人脸识别的高校课堂考勤系统研究

董亚蕾　张师宁　武旭聪

摘  要：针对小人脸检测容易出现漏检的问题，对YOLOv5算法进行改进，在YOLOv5的骨干网络中添加通道注意力模块，改进后的算法在Wider Face数据集上的测试识别准确率提高了3%；改进SRGAN算法，用残差密集网络替代生成网络，改进后的算法在LFW数据集上测试，图像质量评价指标PSNR值达到31.5；最后采用FaceNet算法识别人脸。整合以上算法，完成高校课堂考勤系统开发。系统能够对课堂上学生的照片、视频进行人脸识别，并将识别的结果保存到数据库中供用户查看。

关键词：课堂考勤；小人脸检测；超分辨率重建；人脸识别

中图分类号：TP391.4  文献标识码：A  文章编号：2096-4706（2023）12-0062-04

Research on College Class Attendance System Based on Small Face Recognition

DONG Yalei1， ZHANG Shining2， WU Xucong2

（1.Hebei Chemical & Pharmaceutical College， Shijiazhuang  050026， China; 2.Hebei International Studies University， Shijiazhuang  051132， China）

Abstract： To solve the problem of missing detection in small face detection， the YOLOv5 algorithm is improved and a channel attention module is added to the backbone network of YOLOv5. The detection accuracy of the improved algorithm on the Wider Face dataset is increased by 3%. SRGAN algorithm is improved to replace the generated network with the residual dense network. The improved algorithm is tested on the LFW dataset， and the PSNR value of image quality evaluation index reaches 31.5. Finally， FaceNet algorithm is used to recognize faces. Integrate the above algorithms to complete the development of college class attendance system. The system can recognize the faces of students' photos and videos in class， and save the recognition results to the database for users' viewing.

Keywords： class attendance; small face detection; super-resolution reconstruction; face recognition

0  引  言

教育部強调要大力加强教育信息化建设，并制定《教育信息化2.0行动计划》，要求以人工智能、大数据、物联网等新兴技术为基础，不断创新将校园打造成智慧化校园。人脸识别在智慧化校园中发挥着重要作用。利用人脸识别可保证学生的安全，同时辅助学校进行教学质量把控，为学生上课保驾护航。此外，人脸识别辅助教师监控教学状态，可提升课堂教学质量，通过对学生课堂表现进行大数据分析，能够为学生提供更好的学习计划。

传统课堂考勤采用现场点名方式，一方面浪费课堂宝贵时间和纸张；另一方面容易出现替人答到、无故旷课等现象，严重影响教师课堂教学质量。随着深度学习和计算机视觉技术的发展，人脸识别技术越来越成熟。使用人脸识别进行课堂考勤可以使学生完成无感签到，既干净、卫生、环保，又防止学生替人答到，节约教师时间，让其能够更好地投入教学中，有利于提升课堂的教学质量。

1  基于YOLOv5人脸检测

1.1  YOLOv5的网络结构

YOLOv5是不同于两阶段目标检测的检测方法，它将目标检测看作一个回归问题而不是分类问题。YOLOv5算法输入视频或者图像，输出目标的位置和类别。YOLOv5使用单一的神经网络完成目标检测的所有阶段，结果表明该方法不仅具有很好的检测性能，而且具有很好的实时性。此外，该算法有很好的泛化能力，易于训练检测不同的目标。YOLOv5包括四种网络模型，本文以四种模型中文件大小最小的模型YOLOv5s网络模型为例进行介绍。其他三种网络是在YOLOv5s基础上增加了宽度和深度的网络，YOLOv5s网络结构如图1所示。

从图1中可以看到，YOLOv5网络包括输入端、骨干网络、多尺度特征融合模块和输出端。在输入端YOLOv5增加了Mosaic数据增强、自适应锚框计算，通过Mosaic数据增强对数据集进行随机裁剪、拼合，增加了小目标数量，让网络对小目标人脸检测的鲁棒性更好。Backbone网络是YOLOv5的主干网络，主要用来提取图像特征。Neck模块主要提取图像特征传递到预测Head模块中。Head模块对输入进来的图像特征进行预测，输出边界框和预测的类别。Head部分包括Bounding Box损失函数以及非极大值抑制（Non-Maximum Suppression， NMS）。

1.2  改进和优化YOLOv5网络的Backbone部分

为了更好地提取特征，本文对Backbone部分进行了优化和改进。在Backbone部分添加注意力机制SE模块，如图2所示。注意力机制SE模块能够明显地提升网络的性能，可以轻松加入已有的网络中，同时它的实现思想简单，研究者容易理解，并能轻松地实现。在YOLOv5中添加注意力机制SE模块，使YOLOv5网络能够自动学到图片需要注意的地方。使用通道注意力机制突出脸部特征，抑制其他无用信息，对小目标人脸图像进行精确地定位，从而有效检测小目标的人脸图像。

1.3  修改锚框

在目标检测中，锚框（Anchorbox）合理的设置对检测效果非常重要。锚框其实就是在图像上预设不同大小、不同长宽比的参考框。当设置的锚框的长度宽度与待检测的物体尺度基本一致时，锚框与物体实际位置（Bounding Box）的IoU将大于阈值，被认为是一个正样本，出现漏检的情况。

YOLOv5设置三个不同尺度，每个尺度设置三个不同大小的Anchor，一共九组。本文使用K-means聚类算法，在WiderFace数据集上进行分析，CLUSTERS设置为27，从分析结果可以得出人脸宽度和高度比值在1：1.4左右。

1.4  实验结果与分析

对YOLOv5算法进行改进，修改Anchor个数及尺寸后训练，并添加SElayer注意力机制在WiderFace数据集上实验，结果对比如表1所示。

为进一步验证本文算法的泛化性，选用FDDB数据集进性实验，其中训练集1 991张，测试集285张。实验结果对比如表2所示。

首先选用YOLOv5的最小模型YOLOv5s进行训练，发现在WiderFace数据集上的mAP达到0.879，之后选用YOLOv5m、YOLOv5l、YOLOv5x三种模型在数据集上试验，mAP分别为0.898、0.905、0.915。最后选择YOLO5x模型并修改锚框个数和初始尺寸进行实验，mAP达到了0.921，相比0.915提高了0.6%，在加入注意力机制Selayer后进行实验，mAP达到了0.952，mAP相比没有加入注意力机制的模型提高了3.1%。为了验证算法的泛化能力，本文还在FDDB数据集上进行了实验，通过分析比较实验结果，可以得出本文算法有较好的泛化能力。

2  小人脸图形重建

对于小图像放大后保持图像依旧清晰的问题，本文选用基于学习的超分辨率重建算法SRGAN，SRGAN网络包括生成网络和判别网络，采用了博弈的思想，经过判别网络分析生成网络，其生成的高分辨率图像与原始高分辨率图像的相似性，最终使生成的图像更加接近真实的图像。对于远距离摄像头下拍摄的视频照片分辨率低、人脸小等问题，本文对SRGAN进行改进，改进后的算法生成图像在主观和客观上均有所提升。

2.1  SRGAN网络结构

SRGAN网络包含生成网络和判别网络，生成网络输入的图像首先经过一个卷积，然后进行PRelu激活函數，接下来通过N个残差网络结构，每个残差网络包括卷积Conv、标准化BN及激活函数PRelu，之后进行上采样部分将图像宽度和高度放大，经过两次上采样图像变为原来四倍，生成高分辨率图像。生成网络结构图如图3所示。

判别网络输入的图像尺寸为128×128×3，经过卷积Conv和Leaky_relu激活函数，再经过7个卷积、ConvLeaky_relu和标准化BN，网络深度越深，特征数量越多，特征尺寸不断减小，经过两个全连接层，最后经过Sigmoid激活函数输出真实图像和生成图像的概率值。判别网络结构图如图4所示。

2.2  SRGAN优化与改进

SRGAN中生成网络中使用6个残差层，经过图像超分辨率算法在小图变成大图过程尽量把损失细节恢复出来。将残差网络改为使用残差密集网络获取各网络层的图像特征，以保留更多高频信息。改进后网络结构图如图5所示。

2.3  实验结果与分析

本实验采用LFW数据集，每张图像宽高为250像素，随机选取8 400张图像作为模型训练的真实高分辨率图像。选择数据集中剩余未被选中的900张图像作为测试集，输入到模型中生成高分辨率图像。以改进后的生成器部分进行实验比对并查看最终实验结果。

训练时设置初始学习率为0.01%，经过100轮迭代，训练过程使用Adam算法。生成图像质量通过客观评价进行分析。同时与Bic算法、SRCNN算法、ESPCNN算法、EDSR算法、SRGAN等算法进行实验对比，实验结果如表3所示，以此分析本文算法有效性。一般PSNR数值越大图像质量越好，结构相似度值越接近1表明重建图像质量越好。从表3可以看出本文算法在PSNR和SSIM的值均高于其他算法。

3  基于FaceNet的小人脸识别算法

小尺寸人脸识别主要问题是图像分辨率低、图像模糊，经过特征提取后获取信息较少，针对以上问题，本文采用改进后YOLOv5检测人脸，并对检测出小尺寸人脸图像用SRGAN算法进行重建最后采用FaceNet算法识别人脸。

3.1  FaceNet人脸识别算法

FaceNet算法于2015年由Google发表在CVPR上，该算法将卷积神经网络与Triple Loss结合，将人脸映射在欧几里得空间，计算映射后的人脸向量的相似度。Facenet模型结构如图6所示。

3.2  实验结果与分析

本文采用YOLOv5进行人脸检测并与MTCNN的人脸检测进行对比，然后将检测到的小人脸图像进行超分辨率重建，与未使用超分辨率重建方法进行对比，实验结果如表4所示。

从表4中看出，正常人脸图像的人脸识别算法准确率都相对较高。采用YOLOv5进行人脸检测并用FaceNet进行人脸识别，识别的准确率达到了98.9%，相较于用MTCNN进行人脸检测提高了14.5%。当在小人脸图像上用MTCNN检测使用FaceNet模型进行小人脸识别，性能表现并不好，只有4.9%，准确率大幅下降。而使用YOLOv5进行人脸检测再去使用FaceNet识别，准确率有了很大提升，达到了97.23%，这也说明低分辨率的小人脸图像在用MTCNN进行检测时出现了大量的漏检情况。使用YOLOv5检测降低小人脸漏检的情况。对检测出小人脸图像进行超分处理后进行人脸识别人脸识别，准确率提升1.1%。

4  基于小人脸识别的课堂考勤系统

软件系统设计与开发需要在满足教室场景需求的基础之上，为教师、学生等人员提供易于操作的界面，本系统的主要包括以下几个功能模块。登录模块、学生基本信息管理模块、课程管理模块、提取人脸特征模块、人脸识别模块、课堂考勤管理模块、管理员信息管理模块。

4.1  系统流程设计

用户点击人脸识别，系统采集人脸图像信息并将信息送到服务器，服务器在收到人脸图像信息后开始检测人脸。使用改进后YOLOv5检测人脸，判断检测框尺寸如果小于32×32用改进SRGAN算法对人脸图像进行超分辨率重建，对重建后图像继续检测直到检测框尺寸大于32×32。用FaceNet算法识别人脸。提取检测人脸128维特征并与人脸数据库中人脸特征进行比对，当欧式距离小于设定阈值时判断为同一个人，并将数据库中学生出勤信息进行更改。流程图如图7所示。

4.2  搭建开发环境

课堂考勤系统选用Python 3.6作为开发语言，开发软件为PyCharm、数据库开发工具选用MySQL 8.0、MySQL，图形化管理工具使用Navicat Premium 15。系统Web应用端开发选用Django框架，Django 用了MVT的设计模式，分别负责数据、页面显示和处理业务，更加易于开发维护。

硬件环境包含有电脑、教室安装的摄像头、机房配置的服务器等硬件。硬件开发平台和计算开发资源包括NVIDIA GeForce MX2300，CPU选用 Inter core i7-10510U，8 GB内存。

4.3  识别结果分析

本文选取5段不同人数视频，视频中人数分别为4、5、8、10、20。用改进后YOLOv5检测使用FaceNet识别，以及使用本文算法识别人脸，实验结果如图8和表5所示。

观察实验结果发现，本文算法识别人数高于改进后YOLOv5和FaceNet算法，可以满足系统准确性性能要求。但是当班级人数较多时，同学之间出现遮挡影响人脸识别的效果。在今后应继续解决遮挡的人脸识别问题。

5  结  论

本文将小人脸识别技术与课堂考勤相结合，对基于深度學习YOLOv5以及超分辨率重建SRGAN和FaceNet算法进行研究，并将算法整合开发基于小人脸识别的课堂考勤系统，教师上传照片或者视频进行人脸图像采集与测试，系统能够完成人脸进行检测、小人脸图像重建及人脸识别，最后将识别结果存储到数据库中，方便学生教师等人员进行考勤信息查询。

参考文献：

[1] 王慧.基于人脸识别的智能教育管理平台的设计与实现 [D].北京：北京交通大学，2019.

[2] 苏楠，吴冰，徐伟，等.人脸识别综合技术的发展 [J]. 信息安全研究，2016，2（1）：33-39.

[3] 张沙沙.基于卷积神经网络的选煤厂人脸识别考勤系统 [D].西安：西安科技大学，2020.

[4] 张瑞，李树章，侯廷刚.人工智能技术在高职院校专业课教学中的应用研究 [J].大学，2021（50）：136-138.

[5] 宋爽.人脸识别技术在校园管理中的应用 [J].通讯世界，2019，26（1）：184-185.

[6] 胡蕾，王足根，陈田，等.一种改进的SRGAN红外图像超分辨率重建算法 [J].系统仿真学报，2021，33（9）：2109-2118.

[7] 邱天衡，王玲，王鹏，等.基于改进YOLOv5的目标检测算法研究 [J/OL].计算机工程与应用，2022：1-13[2022-10-25].http：//kns.cnki.net/kcms/detail/11.2127.TP.20220402.1028.002.html.

[8] 刘建伟，刘俊文，罗雄麟.深度学习中注意力机制研究进展 [J].工程科学学报，2021，43（11）：1499-1511.

[9] 戴琳琳，阎志远，景辉.Insightface结合Faiss的高并发人脸识别技术研究 [J].铁路计算机应用，2020，29（10）：16-20.

[10] SCHROFF F，KALENICHENKO D，PHILBIN J. FACENET： A unified embedding for face recognition and clustering [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston：IEEE，2015：815-82.

作者简介：董亚蕾（1990—），女，汉族，河北石家庄人，讲师，研究生，研究方向：数字媒体技术。