针对字典序依赖的分布式数据修复

郭乃网 覃 晟 谈子敬 曹满亮

1(国网上海市电力公司电力科学研究院 上海 200437)

2(复旦大学 上海 200433)

0 引 言

随着数字化技术的广泛应用,为了保证在市场经济环境下系统能安全、可靠运行,各种管理信息系统(MIS)、地理信息系统(GIS)、电网运行的实时信息系统等的广泛应用,产生了海量的工商业运行数据。面对这种海量数据的增加,数据挖掘技术可以发现更深层次的规律。数据质量问题是数据挖掘过程中经常面临的挑战。目前的研究大多着眼于数据挖掘算法的探讨,而忽视了数据分析前对数据质量处理的研究。一些比较成熟的算法对其处理的数据集合都有一定的要求,比如数据完整性好、数据的冗余性少、属性之间的相关性小。然而,实际系统中的数据通常存在各种问题,很少能直接满足数据挖掘算法的要求。同时海量的数据中无意义和错误的成分也普遍存在,严重影响了数据挖掘算法的执行效率。因此,如何提高数据质量已经成为数据挖掘技术应用中的关键问题,引起了学术界的广泛关注[1-2]。

基于数据约束的数据修复技术通过将数据集修改为满足数据约束的形式,来提高和改进数据质量。本文重点研究基于字典序次序依赖(Lexicographical Order Dependency)的数据修复问题。字典序次序依赖[1-2]定义属性列表间的次序关系,因而在SQL的Order by等优化中取得了良好的效果。要充分发挥字典序次序依赖的作用,数据集必须满足给定的依赖定义。这提示我们需要通过数据修复将存在错误和误差的现实数据修复成为正确的满足约束的形式。……