datax实现mysql数据同步_datax mysql

前言

DataX 是阿里内部广泛使用的离线数据同步工具/平台，可以实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github

git地址：https://github.com/alibaba/DataX

特性简介

DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

使用场景

通常是在服务暂停的情况下，短时间将一份数据从一个数据库迁移至其他不同类型的数据库

优点：

• 提供了数据监控
• 丰富的数据转换功能，可以重新定制Reader,Writer插件实现数据脱敏，补全，过滤等数据转换功能
• 可以在配置文件中配置精确的速度控制
• 强劲的同步性能，支持多线程操作，可以快速迁移数据
• 健壮的容错机制，支持线程重试等机制，可以保证迁移过程稳定执行

缺点：

数据一致性问题。这个工具强烈建议在服务暂停或者禁止执行写操作的情况下使用。如果在迁移的过程中还有写操作的话，这些增量数据无法实时从源数据库同步到目的数据库，无法保证迁移前后数据一致性。

前置准备