基于CNN的课堂学生表情图像检索研究

重庆第二师范学院 曾文韬 张晓琴 王小亚 曾 瑞 李宗剑

随着人工智能技术在教育领域的迅速发展，传统的课堂教学评价已无法满足如今丰富多彩的课堂教学。通过对学生五类课堂表情（倾听、理解、疑惑、抗拒、不屑）的检索结果，可及时掌握学生在课堂中的情绪变化和参与情况，为改善教学质量提供帮助。

在“一对多”的教学模式下，老师和学生的互动大多是提问、讨论、作业的方式，这些方式不可避免带来传递的滞后性。多媒体相关技术的引入，使课堂变得丰富多彩，从一定程度上改善了课堂氛围，但教师获得学生反馈的滞后性依旧未能得到有效改善。人脸表情图像检索是通过图像传感器采集人的面部表情，通过表情分析进行分类的一项技术。本文将卷积神经网络（Convolutional Neural Networks，CNN）与课堂教学相结合，研究基于CNN的课堂表情图像检索技术。

1 课堂学生表情分析

心理学家Mehrabian指出，情感信息表达=7%语言+38%声音+55%面部表情。由此可见表情所表达的情感基本就反应了一个人的心理状态。在课堂教学中，学生的表情反应出自身的学习状态和课堂教学质量。目前针对课堂学生表情并没有统一的分类，经过多方面的资料查阅和信息收集，以及深入到课堂环境进行实地观测，本文采用五类课堂表情分类，分别为：倾听，理解，疑惑，厌倦和不屑。

倾听。当学生并不反感教师当前所讲内容，并且愿意继续听教师讲述。

理解。当学生理解并消化了教师当前的教学内容，产生了学习兴趣，并且对后续教学内容好奇，或是对教师当前的教学内容非常满意。……