教学评价数据的离群点检测算法研究

李 慧，王国强，郭瑞强，高静伟，暴延敏



教学评价数据的离群点检测算法研究

李 慧1,2，王国强1，郭瑞强1,2，高静伟1，暴延敏1,2

(1. 河北师范大学数学与信息科学学院，石家庄 050024； 2. 河北省计算数学与应用重点实验室(河北师范大学)，石家庄 050024)

教学评价是大学教学活动中不可缺少的环节,可能出现故意抬高或压低评分及虚假评分的现象，应该找出这些离群数据并加以清除，以提高学生评教数据的正确性。离群点检测问题是数据挖掘技术的重要研究领域之一，本文实验所用教学评价数据属于分类型数据，目前针对分类型数据的离群点检测算法常用的有基于信息熵的贪婪算法和基于频率的AVF算法。针对贪婪算法时间复杂度较高，AVF算法不够准确的问题，本文提出一种改进的基于频率的离群点检测算法。本文算法首先采用改进的k-modes算法对教学评价数据进行聚类，并提出应用调整的余弦相似度公式作为相似性度量，筛选出远离簇中心的候选离群点，最后通过基于频率的离群点检测算法对候选集进行检测。在真实数据集上的实验表明算法在精确度和效率方面均具有优势。

离群点检测；k-modes聚类；余弦相似度；分类型数据

0 引言

近年来，在教育信息化、远程教育和Web 2.0等应用的带动下,教育数据挖掘（educational data mining，简称 EDM）开始受到越来越多的研究者的关注[1-4]。教育数据挖掘技术综合应用教育学、计算机科学、心理学和统计学等多个学科的理论和技术来解决教育研究与教学实践中的问题，通过分析和挖掘教育相关的数据，EDM技术可以发现和解决教育中的各类问题，如辅助管理人员做出决策、帮助教师改进课程以及提高学生的学习效率等[5]。……