对于数据驱动的异常检测与预警问题的研究

王子豪

（徐州工程学院，江苏 徐州 221018）

制造厂商需要抽样检测流水线上生产的产品，数据公司同样也需要对自己的数据产品质量进行把控。研究数据驱动的异常检测与预警问题，对于生产企业来说可以及时发现产品或数据中的异常，从而修正偏差改善产品质量，提高收益。此外，对于任何的分析，在数据预处理的过程中检测数据中的异常值都是非常重要的一步。异常值会大幅度地改变数据分析和统计建模的结果。数据集中异常值有很多不利影响，会增加误差差异，并降低统计测试的能力。研究数据驱动的异常检测与预警问题，可以降低错误率，提高结果的准确性。

1 判断风险模型

1.1 模型建立

在数据筛选方面通过因子分析的方法对题中所给数据进行筛选。根据已筛选的数据进行高斯分布分析，通过高斯分布进行再一次的筛选，将不满足高斯分布的数据进行剔除，只保留满足高斯分布的数据。

对筛选结果而来的数据，运用Spss 软件对数据进行可视化处理，本文采取绘制箱线图的方法，求解得出结果，根据箱线图所给的范围，找出异常值存在的范围，即确立离群点。将筛选结果导入Excel 中，利用Excel 标选出离群点。

先考虑风险性异常特点，对所筛选出来的离群点通过Excel进行纵向分析，以异常值持续时间为指标筛选出异常值具有持续性特点的离群点。再在此基础上对数据进行横向分析，选取在同一时间出现异常的传感器数量作为指标筛选联动性特点。……