当前位置:   article > 正文

1.Datax数据同步之Windows下,mysql数据同步至另一个mysql数据库

1.Datax数据同步之Windows下,mysql数据同步至另一个mysql数据库

前言

  1. Datax是什么?
    DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
  2. 准备工作

步骤操作大纲

步骤1. 将下载的Datax插件移动至指定磁盘位置,并解压
步骤2. datax\bin目录配置环境变量
步骤3. 进入datax\job目录,打开终端
步骤4. 执行命令datax.py job.json
步骤5.解决同步过程终端乱码
步骤6.自定义json同步文件(核心步骤)
步骤7.执行自定义json同步文件,判断结果是否正确

步骤明细

步骤1. 将下载的Datax插件移动至指定磁盘位置,并解压
在这里插入图片描述如上图所示,我将datax.tar.gz移动至E盘下的指定文件,并解压
步骤2. datax/bin目录配置环境变量中
在这里插入图片描述
在这里插入图片描述
如上图所示,我将datax\bin配置到环境变量中,让datax.py文件可以在任意的位置被调用

步骤3. 进入datax\job目录,打开终端
在这里插入图片描述

如上图所示,我进入data\job目录下,准备测试datax.json的同步功能
步骤4. 执行命令datax.py job.json
在这里插入图片描述
在这里插入图片描述
如上图我通过datax.py命令执行同步文件job.json,其中job.json是datax提供的测试文件,如果运行结果的读出记录总数为100000条,则表示同步成功

步骤5.解决同步过程终端乱码
乱码原因:window操作系统默认编码格式是gbk(963)编码,而在程序开发中我们统一的编码是 UTF-8。这样导致编码不一致,从而中文乱码!
在这里插入图片描述
在这里插入图片描述

终端属性需要配置为当前代码页为UTF-8才可以
快速解决方式(临时生效):终端输入命令 chcp 65001
在这里插入图片描述

然后执行datax.py job.json检查是否乱码

步骤6.自定义json同步文件(核心步骤)

  1. 准备两个数据库
    在这里插入图片描述
    库1如上图所示,数据库名为lvyy_test,表为t_user_info,插入了三条数据
    在这里插入图片描述
    库2如上图所示,数据库名为lvyy_test01,表为t_user_info,没有插入数据
  2. 撰写自定义同步json文件,实现lvyy_test数据库中t_user_info表数据同步至lvyy_test01数据库中的t_user_info

在这里插入图片描述

在这里插入图片描述
步骤7.执行自定义json同步文件,判断结果是否正确
在这里插入图片描述
在这里插入图片描述

成功同步三条数据
在这里插入图片描述

数据库插入正常

其他问题

  1. 低版本json需要去掉注解
  2. 高版本的mysql需要加入mysql://127.0.0.1:3306/lvyy0101?useSSL=false&useUnicode=true&characterEncoding=utf-8
    useSSL=false的校验通过规则为用户名和密码匹配通过
    后面可以帮助解决中文乱码问题
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/羊村懒王/article/detail/253026
推荐阅读
相关标签
  

闽ICP备14008679号