ERDOF：基于相对熵权密度离群因子的离群点检测算法

张忠平，刘伟雄，张玉停，邓禹，魏棉鑫

（1.燕山大学信息科学与工程学院，河北 秦皇岛 066004；2.河北省计算机虚拟技术与系统集成重点实验室，河北 秦皇岛 066004；3.河北省软件工程重点实验室，河北 秦皇岛 066004）

1 引言

离群点是数据集中偏离大部分数据对象的数据，它们的表现和大多数数据对象有着明显的差异。离群点并不等同于错误数据，反而可能蕴含着极其重要的信息。离群点检测就是从海量数据中发现异常数据对象，是数据挖掘中的热门研究方向。目前，离群点检测广泛运用于工业无线传感器网络[1]、医疗处理[2]、欺诈检测[3]、垃圾邮件检测[4]、入侵检测[5-6]等领域，且有很多种分类，包括基于统计的[7-8]、基于距离的[9-10]、基于聚类的[11-13]和基于密度的[14-19]等方法。

基于统计的检测方法是根据现有的数据集结合统计学的方法生成模型，这类方法根据数据对象在模型中是否处于低概率区域来判断离群点。这类检测方法需要充分的数据先验知识，并且对于高维数据集的检测效果较差。

基于距离的检测方法主要通过计算数据集中每个数据对象和邻居点的距离来检测离群点，其中k 最近邻（KNN,k nearest neighbor）算法[9]是基于距离的方法中较常用的算法，基本原理是通过计算数据对象与其k个最近邻居的平均距离，通常离群点会远离正常点，因此平均距离越大，越有可能是离群点。由于KNN 算法通过全局距离来检测离群点，因此无法检测出局部离群点。

基于聚类的检测方法是一种无监督的学习方法，用作聚类的数据集不需要类标签，基本思想是将数据集通过聚类算法得到簇，并将数据对象与簇进行比较，通常离群点不属于任何密集簇。……