人脸识别智慧课堂管理系统

南京工业大学浦江学院计算机与通信工程学院 张颖慧 戴 波

随着现代信息技术和人工智能的快速发展，我们生活中的方方面面都变得越来越数字化、信息化、智能化。学校教室出现了各种各样的多媒体教学设备，教学方式的数字化、信息化、智能化越来越明显，然而教师对学生在课堂上的教学评估却始终依赖于教师本人的主观判断，缺乏一定的可信度。因此利用现代信息技术和人工智能技术，来保证课堂评估的可信度，提高课堂评估的效率，保障整个教学过程的规范化和科学化，成为一个迫切需要解决的问题。基于人脸识别的智慧课堂管理系统，提出了一种注意力机制，来对学生的上课专注情况进行分析归纳。

人脸识别技术如今已进入我们生活的方方面面，在身份识别方面运用最为广泛，面部表情识别技术的发展在近几十年来也取得了很大的进展，眨眼，转头，微笑，伤心，哭泣等表情都可以进行准确的识别。将人脸识别技术和面部表情识别技术进行结合，对学生的上课情况进行动态的数据采集与分析，从而对学生的上课专注度进行分析最终形成报告，可以作为教师对学生的平时成绩进行科学规范可靠的评估依据。人脸识别智慧课堂是时代发展的产物，是现代信息技术在教学课堂的创新应用，教师可以根据学生上课的专注情况及时调整教学计划，提高教学质量。对学生的整个学习过程进行一个科学规范的分析，从课程考勤，到教学监督，再到成绩评估，构建了一个更加科学规范的教学模式，使得教师对学生的评估更加规范、科学和精确，极大地提高了教学效率，促进了教学方式的创新和进步。

1 系统相关技术

1.1 服务端开发技术

1.1.1 SpringBoot

SpringBoot是所有基于Spring开发的项目的起点，SpringBoot不是什么新的框架，而是默认配置了很多框架的使用方式，SpringBoot整合了所有的框架。

1.1.2 Swagger

Swagger是一个用于生成、描述和调用RESTful接口的一种Web服务，把相关的信息存储在它定义的描述文件里，对描述文件进行维护便可以去更新接口文档，以及生成各端代码。代码即接口文档，接口文档即代码。

1.1.3 Shiro

Apache Shiro是一个灵活强大且易用的Java开源安全框架，可对身份验证、授权、密码和会话进行处理和管理，可以快速轻松地获得应用程序，包含Subject，SecurityManager和Realms三个核心组件。

1.2 客户端开发技术

1.2.1 Vue

Vue是构建用户界面的渐进式的前端框架，是互联网最火的前端框架，它的核心库只关注视图层，响应的数据绑定、可组合的视图组件、虚拟DOM和声明式渲染是Vue的核心特点。

1.2.2 Elementui-Antv

Antv是蚂蚁金服可视化技术，提供了一套简单便捷、专业可靠的数据可视化方案。阿里巴巴可视化技术，天猫，淘宝，支付宝，花呗均使用Antv。

1.3 模式识别技术

1.3.1 OpenCV

OpenCV是一个轻量高效的基于BSD许可发行的跨平台计算机视觉和机器学习软件库，可以运行在多种操作系统上，实现了图像处理和计算机视觉方面很多算法。

1.3.2 百度AI识别平台

百度AI识别平台提供了全球领先的语音、图像、NLP等多项人工智能技术，共享AI领域最新的应用场景和解决方案，可以帮助各行业高效灵活地实现AI升级。

2 系统分析

2.1 功能用例分析

系统管理员主要有两方面的功能，分别是信息管理和系统管理，信息管理包含学生管理、班级管理、教室管理、课程管理、专业管理、学院管理以及教师管理，系统管理包含用户管理，用户角色管理、角色权限管理以及系统日志管理。系统管理员用例图如图1所示。

图1 系统管理员用例图

教务人员主要有三方面的功能，分别是查看各类汇总的数据报告、个人中心的基本功能以及权限管理。数据报告包含学生报告、班级报告、专业报告、学院报告等，权限管理包含变更学生的基本信息如班级年级等，权限管理还包含更改教师的权限，如指定教师只能查看他所任课班级的学生信息。教务用户用例图如图2所示。

图2 教务人员用例图

2.2 系统功能概述

本系统的主要功能包含以下几个方面：

（1）信息管理

包含对学生、班级、专业、学院、教师、课程、课堂、教室等基本信息的管理。

（2）数据报告

对课堂上的人脸识别与监测得到的数据进行整理分析汇总。

（3）人像采集

包括视频采集和图像处理。

（4）人像标识

包括身份标识、疲劳标识与情绪标识等功能。

（5）系统管理

包括数据库管理、用户管理、用户角色管理、角色权限管理以及系统日志管理等功能。

3 系统设计

3.1 功能需求描述

（1）信息管理

信息管理包括学生的学号、姓名、班级、专业等信息；专业的名称、学院等信息；学院的名称、开设专业等信息；教师的姓名、教师编号等信息；课程的名称、课程号、上课教室、上课时间、授课教师，监控等信息。不同的角色有不同的执行权限，比如只有教务人员与系统管理员才具有增删改的操作权限，其他角色只能查看这些信息。

（2）人像采集

人像采集包括监控管理以及视频流采集处理。监控管理包括对监控视频的增删查改，播放视频等。视频流采集处理是系统对教室监控摄像头录制的视频进行视频帧的提取与处理。

（3）人像标识

包括图像预处理、人像检测以及人像标识。图像预处理是对视频流按照一定时间间隔进行视频帧的提取与处理。人像检测是依据人脸识别算法，将摄像头拍到的图像与数据库中学生的图像进行比对。人像标识包括身份标识、疲劳标识以及情绪标识，对人像进行识别处理。

（4）数据报告

由系统进行人像采集与标识后，对学生的出勤、抬头情况、疲劳程度、表情变化等课堂上产生的数据进行统计汇总，自动生成一种具有高可读性的可以根据不同单位进行查看的报告。

3.2 功能结构图设计

本平台的系统功能如图3所示。

图3 智慧课堂分析系统功能结构图

人工智能技术的不断发展对现代社会产生了很大的影响，基于如今学校对学生的学情分析大多依赖于教师的主观判断，缺乏一定的可信度，因此将人工智能技术运用到课堂上，促进智慧课堂的发展，是非常有必要的，这将极大地提高学校管理效率，为教育现代化、信息化、科学化提供强有力的保障。