基于局部估计密度的局部离群点检测算法

谢 兄,唐 昱

(大连海事大学 信息科学技术学院,辽宁 大连 116026)

1 引 言

离群点检测技术在许多领域中都有所应用,如网络入侵检测[1,2]、欺诈检测[3]、工业损伤检测[4]等,其目的是消除噪声或发现数据中行为异常的“部分”数据.离群点集合是数据集中的一个特殊子集,在不同的领域有不同的定义,通常又被称为异常点、偏差点、噪声点等.Hawkins将离群点定义为[5]:一个离群点是一个观察点,它偏离其它观察点如此大以至于怀疑是由不同机制产生的.在早期的聚类算法和一些离群点检测算法研究中,研究对象通常是基于整体数据集,检测算法可以检测出一些全局离群点[6].然而在实际应用中,所获得的数据通常是不完整的,许多情况下只关心局部范围内数据所包含的信息,需要进行局部离群点检测.Breuing最先提出局部离群点的定义[7]:局部离群点是指在数据集中与其邻域表现不一致或偏离其邻域的观测点.已有的离群点检测算法大致可以分为:基于统计的算法[8]、基于距离的算法[9,10]、基于密度的算法[7,11-16]等.

基于统计的离群点检测算法,需要事先假设数据服从某种标准分布,如果某个数据与这个分布的偏差较大,则将其标记为离群点.但是对于不遵循任何标准分布的数据集或无法预知数据集的分布类型时,无法使用基于统计的检测算法对数据集进行离群点检测.

基于距离的离群点检测算法不需要预先知道数据的分布模型,如果数据集中某个对象……