Spark环境下不完整数据集成填充方法

邹萌萍，彭敦陆

(上海理工大学 光电信息与计算机工程学院，上海 200093)

1 引 言

自进入大数据时代以来，数据日益极速增长和积累，对工业、金融等各个行业都有着无比重要的应用价值.如何高效且精准地从这大量数据资源中挖掘出有价值的信息已成为了当今研究者们广泛关注的焦点.而现实中，由于数据采集过程中的丢失或网络传输过程中的错误，数据不完整已成为一个常见且不容忽视的严重问题.基于不完整数据的挖掘工作严重影响着信息的准确性和可利用性，更对后续深度学习和模型建立等工作有着直接或间接的深远影响.因此，不完整数据的填充应运而生，为大数据的分析带来了巨大的挑战.

直至今日，国内外学者已经提出了许多对不完整数据进行填充的方法.虽然一些方法在特定条件下都有着很好的填充效果，但都局限于单一类型的缺失数据填充，或适宜于连续型缺失变量，或适宜于分类型，未充分考虑数据对象的类型特征，对于真实数据中多种缺失类型共存的情况，易忽略不同类型对象之间的相互作用，严重影响填充结果的准确性.鉴于集成学习中的随机森林能有效地处理混合型变量的数据，Daniel等将其引入到对不完整数据填充的研究，构建了MissForest[1]，并取得了很好的填充效果.这也意味着集成学习在混合类型的不完整数据填充问题上有着明显的优越性.但实践也表明，MissForest在运算效率上有着很大的……