数据清洗研究综述

摘要：数据清洗是数据分析、数据挖掘等研究的起点。本文对数据清洗的研究进行了综述。首先阐述了数据清洗与数据质量的关系，然后说明了数据清洗的概况，并分析了数据清洗的步骤及方法，最后简要介绍了国内外关于数据清洗的研究近况，同时对中文数据清洗研究做了展望。

关键词：脏数据;数据清洗;数据质量;相似重复数据;清洗步骤

中国分类号：TP391 文献标识码：A

文章编号：1009-3044（2020）20-0044-04

A Review of The Development of Data Cleaning

LIAO Shu-yan

（ Central China Normal University， Wuhan 430079， China）

Abstract： Data cleaning is the starting point of data analysis， data mining and so on. In this paper， the research of data cleaning isreviewed. Firstly， the relationship between data cleaning and data quality is explained， and then the data cleaning is described. andthe steps and algorithms of data cleaning are analyzed， and the research situation on data cleaning at home and abroad is brieflY- in-troduced. and the research on Chinese data cleaning is a prospect.

Key words： dirtV data; data cleaning; data quality; similar duplicate data; cleaning steps

1引言

数据是信息时代的标志性产物，逐渐独立于软件产品，甚至主导了某些软件产品的发展。在互联网蓬勃发展的时代，人们能够从各个方面获得海量数据。在获得数据之后，人们往往希望能对这些数据进行不同的处理，并从中抽取出有价值的信息。为了得到满足人们需要的有价值的信息，就要求所获得的数据具有可靠性，同时能够准确反映实际情况。但是实际上，人们获得的第一手数据通常是“脏数据”。“脏数据”主要指不一致或不准确数据、陈旧数据以及人为造成的错误数据等[1]。如果对脏数据不加以必要的清洗处理就直接分析，那么从这些数据中得出的最终结论或规律必然是不准确。数据清洁的重要性由此凸显出来一它能提高数据的公信力和准确度，因而对数据清洗的研究就显得至关重要。

2数据清洗与数据质量的关系

数据清洗过程的主要加工处理对象是脏数据。脏数据本身具有的不一致和不准确性等特点，直接影响了数据的显式和隐式价值，即直接影响了数据的质量。……