基于人脸检测技术的智能化视频学习监督系统的设计与实现

刘刚，吴浩，陈威，卜秋阳

[摘 要] 随着“互联网+”的兴起，在线视频教学成为一种新兴的教学模式。然而目前对学习者的学习质量很难及时地掌控。基于人脸检测技术开发了一个的智能化视频学习监督系统。系统通过对捕获到的学习者的学习情景图像进行分析，并结合学习者视频学习过程中的行为，智能化地对学习者的学习质量给出评价。

[关 键 词] 监督系统； 视频学习；人脸检测；“互联网+”

[中图分类号] TP212.6 [文献标志码] A [文章编号] 2096-0603（2018）06-0148-02

2015年3月5日十二届全国人大三次会议上首次提出“互联网+”行动计划，要推动移动互联网、云计算、大数据、物联网等技术与现代产业结合[1]。2016年2月，教育部下发的《2016年教育信息化工作要点》中指出，“将落实中央网络安全和信息化领导小组和国务院有关‘互联网+、大数据、云计算、智慧城市、信息惠民、宽带中国、农村扶贫开发等重大战略对人才培养等工作的部署，作为做好教育信息化统筹规划与指导、加强教育信息化统筹部署的重要任务”[2]。进一步使“互联网+教育”成为教育领域最热门的话题之一。其中，名校公开课[3]、可汗学院[4]、微课[5]、慕课[6]是“互联网+教育”的典型应用，其核心技术都离不开视频教学。“互联网+”不仅推动了学习理念向个性化学习、持续性学习转变，也促进了慕课、翻转课堂等各种基于互联网的教学创新纷纷涌现。

目前“互联网+教育”在线教学平台大都注重优质资源的建设与共享，而缺乏对学习者学习情况的监督和学习质量的测评，对学习者在学习过程中的认真程度、学习效果等情况很难及时地把控。本文利用人脸检测技术，通过对捕获到的学习者的学习情景图像进行分析，并结合学习者视频学习过程中的行为，智能化给出学习者每次视频学习的质量评价。

一、系统设计

（一）系统架构

基于人脸检测技术的智能化视频学习监督系统由摄像头、PC机、流媒体服务器、人脸检测服务器、数据库服务器组成，如图1所示。系统利用人脸检测技术，在学习的过程中，将摄像头捕获到的学习者的图像输入到人脸检测服务，同时对学习者的视频观看行为进行数据分析，最终在视频播放完毕之后，智能化地给出学习者学习质量的评价，系统的框架如图2所示。

（二）系统功能

1.视频捕获：该模块负责从监控摄像头的视频画面中抓取学习者的图像，并交由人脸检测服务进行人脸检测。

2.人脸检测：该模对输入的摄像头捕获图像进行分析，检测图像中是否存在人脸，并将检测结果返回给服务请求方。

3.行为统计：该模块主要对学习者的在观看视频时的行为进行监控统计分析。根据用户的快进或快退行为，分析出每次视频观看的快进时长。

4.综合评价：该模块在视频播放结束时，对人脸检测和行为统计模块进行综合分析，给出学习质量评价。评价指标包括“有效人脸检比率Rf”和“有效播放时长比率Rt”，评价计算公式如下：S=（ωf·Rf+ωt·Rt）×100，其中Rf=n/[L/s]、Rt=1-l/L各参数含義如下表所示。

（三）数据库设计

系统涉及的数据库表包括用户（t_user）、视频（t_video）、学习记录（t_study_history）、播放记录（t_play_history）、视频操作（t_video_operation）、人脸检测（t_face_recognition）六张表。图3为数据库关系图模型。

二、系统实现

系统采用Java+vlcj+MySQL+Face++开发实现。vlcj用于实现视频播放，MySQL用于数据存储，Face++用于实现人脸检测。各部分功能的核心代码如下：

（一）视频显示

contentPane.add（mediaPlayerComponent， BorderLayout.CENTER）；

mediaPlayerComponent.getMediaPlaye（）.playMedia（ url ）；

mediaPlayerComponent.getMediaPlayer（）.addMediaPlayerEventListener

mediaPlayerComponent.getMediaPlayer（）.skip（ wantTime ）；

（二）人脸检测

String url =“https：//api-cn.faceplusplus.com/facepp/v3/detect”；

map.put（“api_key”，“YQceEo6toJn3x7JM4vMuy06FP-a0uzQU”）；

map.put（“api_secret”，“3C5vxrr32pV59nHyIUZ3C8pLmSoyhPpe”）；

map.put（“return_attributes”，“gender，age，smiling，headpose，facequality，blur，eyestatus，emotion，ethnicity，beauty，mouthstatus，eyegaze，skinstatus”）；

byte[ ]buff=getBytesFromFile（file）；

byteMap.put（“image_file”，buff）；

byte[ ]bacd=post（url，map，byteMap）；

（三）运行结果

系统运行中可以在观看视频的同时实时监测人脸，最后给出学习评价分值。

总之，本论文主要针对视频学习过程中，学习质量较难评价的问题，设计并实现了一个基于人脸检测技术的智能化视频学习监督系统，该系统综合了视频捕获、图形图像处理、人脸检测、Web Service、数据库等多项技术，智能化地给出学习质量的评价结果，具有一定的实用价值。

参考文献：

[1]吕超，吴永鹏.走进欧美名校公开课[J].世界文化，2011（1）：4-7.

[2]官芹芳.可汗学院翻转课堂[J].上海教育，2012（17）：27-31.

[3]胡铁生.“微课”：区域教育信息资源发展的新趋势[J].电化教育研究，2011（10）：61-65.

[4]斯蒂芬·哈格德，王保华，何欣蕾.慕课正在成熟[J].教育研究，2014（5）：92-99.

[5]张韵.“互联网+”时代的新型学习方式[J].中国电化教育，2017（1）：50-57.

[6]刘刚，李佳，梁晗.“互联网+”时代高校教学创新的思考与对策[J].中国高教研究，2017（2）：93-98.