关玉欣,李雷孝
(内蒙古工业大学数据科学与应用学院,内蒙古 呼和浩特 010080)
大数据中的数据缺失和来源复杂,导致数据易出现错误,给数据处理带来很大的困难。为避免以上问题,提升自身的使用价值,发挥最大作用,需要对缺失数据进行修复[1]。传统修复缺失数据的方法一般可分为两大类:单独修复法和多目标修复法[2]。单独修复法包含人工修复法、均值修复法、回归修复法、冷热平台修复法等等。多目标修复法包括随机回归修复法、趋势得分修复法等。从修复的手段来看,均是采用语义规则和统计学理论实现的。这些方法在隐蔽规则探索方面研究不够透彻,因此还需更加深入分析和研究。对数据的处理在该领域具有很重要的意义,很多相关学者针对数据已经研究出了很多成果。文献[3]提出基于去除噪声自编码网络的缺失大数据修复方法。该方法通过堆叠去除噪声干扰的方法,创建自编码网络以提取监测数据之间的关联关系,以这种关联关系对数据进行训练,建立支持向量模型对缺失大数据进行检测,进而对缺失数据进行修复。文献[4]提出一种基于时空大数据的收缩近邻缺失数据流修复方法。该方法可分为三部分,第一部分是基于提取的数据样本和数据特征变量的缺失比值,将该比值应用于对缺失数据的采样作为入样概率,并通过该概率实现对数据不等概的收缩;第二部分是基于提取数据样本之间的距离,挑选出与缺失数据样本相似的样本组合成样本训练集,最后一部分是创建随机森林模型,并对缺失数据样本进行迭代填补修复。……