数据迁移技术在房产产权交易系统中的应用

2009-05-10 10:30吕开宇
网络与信息 2009年8期
关键词:测试数据测绘数据库

吕开宇

原有系统是基于空间库、档案庠、登记库这三部分数据搭建的,由于这些系统是陆续建设起来的,因此系统间缺乏统一的规划,空间数据测绘与GIS应用处于混合使用阶段。并没有形成集成一体的信息化解决方案,从而导致目前的数据存在信息孤岛、冗余和关联异常的问题。房产测绘与房产GIS一体化集成是房地产行业现在和将来的发展趋势,用空间数据库技术正确存储和表达测绘数据成果,是真正建立以图管房、图属合一的房产GIS系统的意义所在。因此,对原系统数据的正确迁移意义非常重大。

在进行数据迁移操作时,主要采用数据交换工具完成数据由原数据库到现房地产市场信息库的转换。将从原有数据的分析、数据的规划与设计、数据迁移主体间关系、数据迁移的技术手段和数据迁移的措施五个方面对整个迁移过程进行设计。

1原有数据的分析

通过对原有数据的结构和质量两方面进行分析,可以预估在实际进行数据迁移的过程中将会遇到的难点问题,并且提前对这些可能出现的难点问题进行优先和重点解决。

2数据的规划与设计

针对目前数据方面存在的问题,提出新的信息库应包括:基础数据库、从业主体数据库、业务数据库、统计数据库和决策数据库。

新的数据库设计消除了数据的冗余和关联异常问题,为房产测绘与房产GIS、MIS一体化集成提供数据层面的保证,从而为构建图档一体化和以图管房的业务系统奠定基础。

3数据迁移主体间关系

进行数据迁移的主要任务是分析清楚迁移主体间的关系,即原数据库(空间库、档案库、登记库)与目前规划建设的数据库(房地产市场信息库)之间的关系。根据上面的数据规划与设计思想可以得出如下的对应关系:

原空间库与现基础数据库对应;

原档案库主要与现业务库和从业主体库对应;

原登记库主要与现基础库中房地产权属数据和业务库中的数据对应。

4数据迁移的技术手段

原系统已有的空间库是基于Intergraph GeoMedia4.0平台构建的,由于在WebGIS领域功能薄弱,因此不能满足目前业务的发展需要,未来的空间库将基于ESRI ArcGIS平台进行构建。关于空间数据的迁移,主要采用ARCGlS的扩展软件包Spatial ETL(数据挖掘工具)完成数据的转换、迁移。传统的数据转换工具只能支持数据格式级别的转换,不能控制转换过程的细节,因此,多数情况下,不能达到正确的数据转换迁移目的,而采用ARCGIS的Spatial ETL工具。通过对转换细节、转换步骤的控制,可以从根本上达到完整的数据转换、迁移。主要处理过程大致分为:抽取、清洗、过滤、处理、加载。

第一步抽取:将源数据集拖放到工作空间中;

第二步转换:将新、旧数据进行映射转换;

第三步加载:将数据载入目标数据集。

数据互操作扩展工具能够从一个数据库(data store)中提取数据,并把它转换成所需的投影、格式和视图,然后提供给发出请求的应用程序、或装载进另一个数据库。

通过数据互操作扩展模块灵活定义数据处理步骤完成的数据转换处理,可以从根本上完成多种异构空间数据的迁移、转换,从而为房产GIS应用系统奠定稳固的数据基础。

对于档案库、登记库中存储的属性数据将主要基于房地产市场信息平台的数据交换工具完成迁移。

5数据迁移的措施

由于原数据库和新数据库在设计上存在一些不同,因此,从原数据库到现有数据库数据迁移极具挑战性,一旦措施不当,珍贵的数据资源将面临丢失的危险,要成功地实现数据库数据平滑迁移,需要周密计划和充分准备,并按照一定的步骤来完成。

(1)设计数据迁移方案

设计数据迁移方案主要包括以下几个方面工作:研究与数据迁移相关的资料,或在网站上查询相关内容、评估和选择数据迁移的软硬件平台、选择数据迁移方法、选择数据备份和恢复策略、设计数据迁移和测试方案等。

(2)进行数据模拟迁移

根据设计的数据迁移方案,建立一个模拟的数据迁移环境,它既能仿真实际环境又不影响实际数据,然后在数据模拟迁移环境中测试数据迁移的效果。数据模拟迁移前也应按备份策略备份模拟数据,以便数据迁移后能按恢复策略进行恢复测试。

(3)测试数据模拟迁移

根据设计的数据迁移测试方案测试数据模拟迁移。也就是检查数据模拟迁移后数据和应用软件是否正常,主要包括:数据一致性测试、应用软件执行功能测试、性能测试、数据备份和恢复测试等。

(4)准备实施数据迁移

数据模拟迁移测试成功后,在正式实施数据迁移前还需要做好以下几个方面工作:进行完全数据备份、确定数据迁移方案、安装和配置软硬件等。

(5)正式实施数据迁移

按照确定的数据迁移方案,正式实施数据迁移。

(6)测试数据迁移效果

按照数据迁移测试方案测试数据迁移效果,并对数据迁移后的数据库参数和性能进行调整,使之满足数据迁移后实际应用系统的需要。

(7)移植系统应用软件

将实际应用系统的应用软件移植到数据迁移后的数据库系统上,并使之正常运行。

(8)正式运行应用系统

在正式实施数据迁移成功并且数据库参数和性能达到要求后,就可以正式运行应用系统,并投入实际使用。

猜你喜欢
测试数据测绘数据库
城市地籍测绘与不动产测绘中的问题探讨
测试数据管理系统设计与实现
浅析影响地质测绘质量的因素及提高措施
我国房地产测绘发展现状的浅谈
基于烟花爆炸优化算法的测试数据生成方法
数据库
基于自适应粒子群优化算法的测试数据扩增方法
数据库
数据库
数据库