网络智能感知系统的开发及应用实践

刘 洁，蒙 力，王 沛，刘晓龙，张轶雄

西安交通大学网络教育学院， 西安 710049

现代远程教育诞生于我国互联网科技飞速发展的时代，同时，伴随着各种信息化技术的不断壮大而快速成长，课程考试方式逐渐从集中面考向机考与笔试相结合的方向发展。考生身份验证是国家教育考试管理部门对标准化考试考点工作的基本要求，也是构建考生诚信档案和社会诚信档案的重要信息来源[1]。为顺应这种理念的更新和智能化网络技术的进步，西安交通大学网络教育学院综合业务需求和技术开发能力，于2018年春季正式启用了基于面部识别技术的网上机考系统，并在机考系统成功运行三个批次后，把综合了面部识别和无感签到功能的“网络智能感知系统”试应用于2018年秋季期末课程笔试之中。该系统的运用使巡考教师及学院能充分掌控各考点考试情况，做到时时有监控、询查有依据，极大地遏制了各种考场违纪行为。

2014年面部识别技术第一次在LFW基准测试中获得接近人类识别的结果(DeepFace:97.35%,人类:97.53%)[2]，接下来的3年中受启发而使用DeepFace深度学习人脸识别模型[3]的研究将面部识别的准确率提高到99.80%[4]。我们所使用的面部识别技术基于CNN-9架构，在面部识别精准度上达到了99.77%[5]，LFW基准测试98.67%，RFW测试中对于亚洲人面部识别准确度达到90.27%[6]。

1 开发目的

现代远程教育试点高校的第一代考试监管机制，普遍采用考生刷身份证、指纹以及人工辨别等方式进行，这些身份验证方式都存在一定的弊端[7]。为进一步加强对学生身份的识别和考场秩序的管理，弥补第一代监管机制的不足，网络智能感知系统的概念被提出。网络智能感知系统所提供的简单易用的操作界面让没有任何计算机操作基础的人都可以快速上手；BS架构下使用MVVM框架，除了增加客户端的灵活性，还保证了多平台的兼容性；通过DDP以及Web- Socket的通讯方式使得数据层在页面端所见即所得；整个系统建立于NodeJS基础上，使得该系统原生拥有无阻塞特性，并且拥有NPM社区的无限拓展可能。由于该系统存储数据松散，所以后台选择了介于关系数据库和非关系数据库之间的产品MongoDB,它是非关系数据库中功能最丰富，最像关系数据库的[8]。

1.1 系统易用性

网络智能感知系统在设计初期就遵循KISS原则(keep it simple stupid)，整个系统在操作界面上分成三个部分，即拍摄模块、学生基本信息照片比对模块以及签到模块(如图1所示)。而把需要签到的操作只做到一个按键里，通过这一简单操作实现学生签到全过程[9]。

图1 网络智能感知系统操作界面

webRTC定义了一系列标准的JavaScript接口[10]，在浏览器支持webRTC并且有对应硬件的支持下，通过该接口就可以开始在浏览器内捕捉视频流。

照片比对模块里的Canvas显示现场采集照片，通过身份证号调取学生照片以及基本信息，中间显示的百分数为学生现场采集照片与目标照片的相似度。

签到模块里显示的是系统中该学生的考试安排，其中可签到的标识会根据目前时间以及签到时间规则自动为学生选择可以签到的课程，完成智能签到。

1.2 压力分担以及跨平台

网络智能感知系统采用目前主流的BS(Brow- ser/Server)架构，该架构配合WebRTC可以解决大多数跨平台的问题，所以该系统无论是在Windows，ma- cOS还是Linux Desktop的操作系统下都可以保证正常的运作，只要该机有已经驱动的摄像头，可用的互联网以及Chrome或者Firefox浏览器。

越来越多的Web应用抛弃传统MVC的架构，而使用MVVM。因为，前端计算能力的大幅度提升，前端能力的大量过剩，使得越来越多的业务逻辑向前端迁移[11]。例如：在网络智能感知系统中，面部识别接口调用这样大并发量、占用网络资源的请求是直接通过客户端浏览器发起的，这样做大大地减轻了我们自己服务器的带宽以及运算资源。一个学生签到的整个过程中，服务器只对数据库进行一次读取以及一次的写入操作。

1.3 数据唯一性

学生每一门考试都有唯一的签到数据，针对这一条签到数据在签到发生的时候会写入签到的时间，是否通过，以及签到时现场采集的照片，保证了签到数据的唯一性以及可验证性。同时，因为客户端与服务器的通讯是通过DDP协议WebSocket接口，页面上看到学生签到的数据是存在数据库里面的实时数据。

1.4 平台扩展性

网络智能感知系统基于NodeJS社区，所以在NPM上维护的库都可以在该系统中随意调用，这使得网络智能感知系统具有极大的灵活性，基本可以满足业务方面对该系统的所有合理需求。

1.5 活体检测

为了确保学生签到数据的真实有效，活体检测是该系统的核心。通常情况下活体检测是在面部识别之前[4]，只有通过活体检测的数据才会进入面部识别算法。目前，活体检测的方式有基于纹理、运动、3D图形以及多光谱反射的方式，但在实际运用中由于设备的限制我们使用的是基于纹理的活体检测技术[12]。

基于纹理的活体检测通过检测识别照片中的瑕疵，来辨别被检测人是活体还是印刷品。人脸是一个复杂的不规则3D物体，而打印或者手机上显示的照片则是一个平面的物体[13]。对于活体检测不通过的学生，系统会记录签到照片以及对应学习中心名称，通过接口的方式实时将图片发到巡考教师手机上，巡考教师在核对照片后可以根据实际情况对学习中心做相对应的处理，比如：立刻停止该学习中心的入学考试签到工作。对于已经签到的数据在考试结束后会再对签到图片做一次活体检测，根据活体检测结果做出相应的处理。

2 开发内容

网络智能感知系统由两大模块组成，面部识别模块以及无感签到模块，如图2所示。

图2 网络智能感知系统

2.1 面部识别

面部识别模块包含两种模式，即人脸比对和人脸检索。人脸比对是通过对比两张人脸，返回这两张人脸的相似度；人脸检索是在预先注册过的人脸库中查找最相似的人脸并返回注册编号，两种模式在进行面部识别的时候都会经过活体以及图片质量等检查。

活体检测可以根据面部照片中的摩尔纹、成像畸形等来判断检测对象是否为活体，可有效防止屏幕二次翻拍等作弊行为。图片质量检测会对图像进行分析，阻拦低质量的面部照片进入系统(比如照片中对五官遮挡程度过高的照片)。

无论哪种面部识别，识别的结果都会连同比对照片一并存入数据库供日后排查以及试卷确认。

2.2 无感签到

为了简化并规范对考点的管理，无感签到模块使用了人脸检索的方式登录。考点负责人只须面对摄像头点击登录即可登录系统，登录后的系统只能对对应考点的学生进行签到，此项功能有效地防止了异地签到的问题。

在学生面部扫描的过程中同步实现无感签到功能，界面内会分别显示学生现场采集的照片、系统中预存的照片、本人信息，以及学生的所有考试信息。对于学院考务负责人、学习中心工作人员以及学生本人，其考试信息一目了然。

无感签到是在查询学生信息、考试信息以及人脸比对的时候自动完成的，对于学生无感知。签到完成后学生考试信息中的签到状态会根据数据库内的状态随之改变，所以当学习中心管理人员看到状态转变的时候，数据库里已经记录下了签到的所有数据。

2.3 交互时序图(如图3所示)

图3 交互时序图

图3为使用人脸比对进行签到的时序图，1～7是现场采集学生照片并调取服务器中学生预存蓝底照片，8～11是请求对应学生的考试信息，12～13为客户端发起人脸比对请求，在返回结果达到我们预设人脸检测阈值的时候签到信息记录到数据库内并储存对应的签到信息。

3 应用效果

自2018年“网络智能感知”系统得到应用以来，机考3个批次共计扫描考生信息671 854人次，其中扫描合格数据600 352人次，疑似舞弊或无法扫描数据71 502人次，通过面部扫描成功进行考试的学生占总考生人数的89.3%。值得注意的是，3次考试的扫描合格率逐渐攀升，说明系统的可靠性和稳定性逐渐增强，同时，也证明考生逐渐意识到面部扫描的科学性和严肃性，有效地控制替考行为的发生。

“网络智能感知”系统在秋季期末考试试点应用中共扫描考生11 162人次，扫描并签到通过9915人次，除去部分技术原因没有通过面部扫描和智能签到的学生外，有效地规避了替考现象，总成功率达到89%，如表1所示。

表1 网络智能感知系统应用效果

该院开发的“网络智能感知”系统在初步使用中取得了良好效果，不仅提高了考生身份核实的速度和效能，同时也起到了震慑作用，使各种舞弊行为无可乘之机，进一步确保了考试的严肃性和公正性。

该系统在实际使用中也遇到了很多问题，其中最主要的问题是操作人员对该系统的熟悉程度，以及面部识别本身对识别图像质量的要求。人脸图像质量对识别率的影响较大，而图像质量又受各种因素的影响[14]，最后导致识别失败。

案例一：学生没有签到信息—学生由于自己搞错考试时间，在没有考试安排的时间段内进行签到。

解决办法：负责监考的教师熟悉操作界面，在学生可签到课程中检查该时段是否有可以签到的课程，让学生重新查看考试安排。

案例二：学生签到未成功—原因是因为学生身份证信息读取不成功，负责监考的教师如果没有意识到该学生身份证信息未读取，屏幕上实时显示的还是上一个学生已经签到完成的信息，容易造成混淆，以为该学生已经签到过。

解决办法：确认学生基本信息照片比对模块中的照片为学生本人，学生信息中身份证信息与当前身份证相符。

案例三：活体检测不通过—活体检测不通过是由于人脸图像没有通过人脸识别中的活体检测，被判断为照片或者视频攻击。

解决办法：避免在强光下拍摄学生，画面中尽量不出现高光的物体，学生背景最好为暗色，使用高质量摄像头，像素高于1200万像素，摄像头焦距不易过长。