数据质量评估模型探讨

［谭志远 宫云平］

1 引言

随着大数据处理技术的蓬勃发展，基于海量数据的存储、处理、挖掘分析得到了充分的技术保障，基于海量数据的挖掘分析结果将直接影响企业的决策和市场竞争，而数据质量的好坏将直接影响数据挖掘分析的结果，劣质的数据将可能给企业决策和市场竞争带来难以预估的伤害。因此为了高效支撑企业数据的价值挖掘，数据质量的全面评估迫在眉睫。那么我们该从哪些方面对数据质量进行评估，如何体系化的评价所使用数据的质量是否满足数据挖掘的需要呢？

2 数据质量管理与评估

数据质量评估是数据质量管理的主要内容之一，那什么是数据质量管理呢？参考业界权威DAMA（数据管理学会）在《DAMA 数据管理的知识体系和指南（DAMADMBOK）》一书中的定义，即数据质量管理是指通过管理和技术手段，对数据处理全过程每个环节的数据质量进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平提升数据质量。

结合DAMA 对数据质量管理的定义，以及我们实际工作需要，对于数据质量管理，我们可以这么理解即在数据处理的全生命周期（数据生成、数据采集、数据传输、数据处理、数据使用等）中，通过技术和管理手段，始终围绕着数据质量的提升开展相关工作。在这个过程中，首先必须梳理清楚，从哪些方面或者维度去识别数据质量问题，这些问题该如何评估，如何通过一个可以量化的方法或指标去评估，在此基础上构建数据质量评估体系，从而结合监控及告警系统对我们所关注的评估指标进行监控及预警。……