基于邻域离散度的异常点检测算法*

沈琰辉，刘华文，徐晓丹，赵建民，陈中育

浙江师范大学 数理与信息工程学院，浙江 金华 321004

基于邻域离散度的异常点检测算法*

沈琰辉，刘华文+，徐晓丹，赵建民，陈中育

浙江师范大学 数理与信息工程学院，浙江 金华 321004

SHEN Yanhui,LIU Huawen,XU Xiaodan,et al.Outlier detection algorithm based on dispersion of neighbors.Journal of Frontiers of Computer Science and Technology,2016,10(12)：1763-1772.

异常点检测在机器学习和数据挖掘领域中有着十分重要的作用。当前异常点检测算法的一大缺陷是正常数据在边缘处异常度较高，导致在某些情况下误判异常点。为了解决该问题，提出了一种新的基于邻域离散度的异常点检测算法。该算法将数据点所在邻域的离散度作为该数据点的异常度，既能有效避免边缘数据点的异常度过高，又能较好地区分正常点与异常点。实验结果表明，该算法能够有效地检测数据中的异常点，并且算法对参数选择不敏感，性能较为稳定。

异常点检测；机器学习；数据挖掘；主成分分析

1 引言

随着数字化技术的发展，人们收集到的数据越来越多。然而由于仪器故障、信号干扰、反常行为等因素，数据中通常存在异常点。异常点和其余数据点之间存在显著差异，一方面会干扰特征提取、模式识别等机器学习任务，另一方面又有助于发现信用卡欺诈、基因突变、网络入侵等异常现象[1-2]。因此，异常点检测引起了研究学者的广泛关注。

当前，许多异常点检测算法通过距离或密度来度量数据点之间的差异性，例如LOF（local outlier factor）算法[3]、LDOF（local distance-based outlier factor）算法[4]等。然而这些算法的主要问题是边缘数据点的异常度较高，由于某些情况下边缘数据点并非异常点，这种效应会影响异常点检测效果。……