基于元数据驱动的异构数据模型映射算法1)

袁 满 陈星童

(东北石油大学，大庆，163318)

目前，企业日趋信息化、标准化的发展方向，决定当前企业中的大量生产信息及管理数据的集成与转换成为亟待解决的问题。由于石油领域生产、管理、科研上地域分散的特点，使得企业内存在大量采用不同数据库存储的异构数据，各个企业应用之间存在信息壁垒，阻碍信息之间的共享。完整的数据迁移系统包括数据抽取、数据转换和数据加载［1］，当前的迁移方法包括:①利用PowerBuilder的数据管道(Data Pipe-Line)技术［2］、数据窗口(DataWindows)和动态 SQL 语句实现［3］。数据管道技术虽然简单，但对于大量且模型结构复杂的数据，不提供纠错和质量控制机制;采用动态SQL语句虽然适用范围广，但在进行迁移过程中，对于数据模型复杂或数据量庞大的情况，使迁移任务繁琐且效率低下，缺少可视化操作界面。②采用源数据库自带的导出工具和目标数据库的导入工具，中间需要经过必要的转换处理;采用手工迁移和数据库自带工具进行迁移需要编写大量辅助程序，要求迁移人员对源库与目标库的结构和业务规则有比较透彻的了解，增加了用户的工作量。③采用已有的一些数据迁移软件，如SQL Server的DTS工具、Delphi中的DataPump工具等。④特殊的数据库提供的一些特别的迁移方法，如PHP实现MYSQL的迁移等。⑤通用数据迁移工具，其中用到基于相似度计算［4］的映射工具，但对于具有复杂映射关系的数据仍不能满足。这些方法各有利弊。传统的ETL体系结构，数据转换的描述信息包括对数据源位置与基本属性的描述、转换规则信息等，缺少控制数据转换行为的描述，使得整个转换过程要依赖程序代码控制实现，导致转换工具的实现复杂度增加。……