一种基于数据质量维度的数据清洗方法

李琳

摘 要：随着社会经济的发展和大数据时代的到来，数据在人们日常生活中扮演的角色越来越重要。利用决策支持系统、客户关系管理系统（CRM）等数据库应用项目，我们可以从海量数据中提取更有价值的信息。然而，调查发现很多数据库应用项目的运行效果并不令人满意。数据数量增长的同时，数据质量的控制也给广大研究人员带来一定的困扰。人们越来越意识到，高质量的数据是商业成功的一个重要因素，而数据源中的“脏数据”是导致数据质量低的一个重要原因。为了保证高质量的数据，企业需要采取一系列措施来控制数据质量，并采用一定的手段来处理“脏数据”。然而现实中，检测与清洗数据源中所有“脏数据”的开销是昂贵的。因此，如何根据不同的商业的需求来拣选部分“脏数据”进行清洗具有一定的现实意义。文章在文献分析的基础上，回顾了数据质量、数据质量维度的定义，探讨了常见数据质量问题，阐明了数据质量管理与数据清洗之间的关系。针对“脏数据”拣选问题提出了一种数据清洗方法。最后对数据清洗相关研究进行了展望。

关键词： 数据质量；数据质量维度；数据质量规则；数据清洗

中图分类号：TP311.13 文献标志码：A 文章编号：2095-2945（2017）21-0001-05

1 研究背景

目前，数据在人类日常生活中所扮演的角色越来越重要，利用决策支持系统、客户关系管理系统（CRM）等数据库应用项目，我们可以从海量数据中获得更有价值的信息。然而，调查发现很多数据库应用项目的运行效果并不令人满意。……