一种分布式数据交换平台

王剑冰

摘要 不同系统间有时需要进行大量的数据转换和传输，传统方法一般采用单机作为数据传输接口机来处理，常会遇到性能以及单点故障问题，本文设计了一种分布式的数据交换平台，通过主机节点集群并发处理提升数据传输性能，并避免任一节点的单点故障，同时数据交换的过程可以得到统一的监控。

关键词 分布式：数据交换

中图分类号 TP3 文献标识码 A 文章编号 2095—6363（2016）13—0055—02

数据的转换和传输在不同系统间的交互中比较常见，由于系统的数据存储形式和格式都不一样，故而需要做转换。一般传统方式下，做这种数据转换和传输，会使用一台接口机来处理，但是当传输量较大时，单台接口机的性能会成为瓶颈，而且存在单点故障，当接口机出现故障时，整个数据交换中断。

为解决单机处理数据交换的缺点，需要设计一个分布式数据交换平台，实现数据交换任务并发且负载均衡地处理，消除单点故障问题，并且所有数据交换任务都可以得到有效的监控。

1分布式数据交换平台的设计

1.1总体架构

平台的总体架构如图1所示。

图1各模块功能说明：1）配置及任务管理数据库。采用Mysql或现有Oracle，存放各类配置数据、任务分配、处理状态信息；2）数据交换集群。获取任务并发执行数据导入导出任务，并反馈任务处理状态，任务流量控制。集群每个节点部署基于开源DataX改造的单机数据交换模块；3）消息服务器。采用自主研发分布式消息平台，任务传输与通知、中断任务重新分配；……