数据迁移与清洗的策略研究及其在政务基础数据的应用

杨光，吴明芬，李敬民

（五邑大学 智能制造学部，广东 江门 529020）

数据的质量是数据分析和数据挖掘的基础. 海量数据在收集后常常存在着数据分散和数据重复等情况，这些数据也包含了大量的错误值、缺失值、异常值以及可疑数据等，如何将这些“脏”数据，变成可以进行分析和挖掘的“干净”数据，是大数据预处理不可缺少的环节[1].

大数据预处理主要包括数据迁移与数据清洗，数据迁移是指不同存储格式、数据类型以及硬件设备之间的数据移动过程. 数据清洗是指对不准确、不完整或不合理数据进行修补或移除以提高数据质量的过程[2]. 当前，数据的质量越来越引起人们的重视[3]，许多学者针对这两种技术也开展了一系列研究，郝爽等[4]指出数据清洗是对“脏”数据进行检测和纠正的过程，是进行数据分析和管理的基础. 陆叶杉[5]在某系统建设中设计了一套基于ETL 工具的数据迁移流程，并通过组合和串联得到了完整的数据迁移流程线，完成了新旧系统的数据对接. 目前，数据迁移与清洗技术取得了很多成果，但以下方面还有待进一步改进.

1）数据清洗技术主要处理重复、异常、逻辑错误和不一致的数据等. 目前大部分的研究都是针对某项或几项清洗内容独立进行，如果按照每一类数据单独清洗，那么其清洗效率会非常低，因为在数据库里，有可能包含几类需要清洗的数据，需要按列的内容进行清洗.

2）在数据分析与挖掘的过程中，数……