【Dolphinscheduler3.2.0+DATAX】同步数据(mysql,pgsql,oracle,sqlserver)到clickhouse

1.安装Python

// 进入/mydata/soft
// soft如果不存在创建目录
mkdir /mydata/soft
1
2
3

cd /mydata/soft
wget https://www.python.org/ftp/python/2.7.13/Python-2.7.13.tgz
tar -zvxf Python-2.7.13.tgz 
cd Python-2.7.13
./configure --prefix=/usr/local/python2.7 --with-threads --enable-shared
make && make altinstall
1
2
3
4
5
6

2.安装Datax

cd /mydata/soft
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
tar -zvxf datax.tar.gz
1
2
3

// 自检
python /mydata/soft/datax/bin/datax.py /mydata/soft/datax/job/job.json
1
2

// 出现上图执行下边文件,下图是执行成功结果
find /mydata/soft/datax/plugin/reader/ -type f -name "._*er" | xargs rm -rf
find /mydata/soft/datax/plugin/writer/ -type f -name "._*er" | xargs rm -rf
1
2
3

3.下载clickhousewriter

链接：https://pan.baidu.com/s/1P-oltBcnlIKbf2HqEMNAug 
提取码：a1rz
1
2

4.添加数据源

其他数据源操作一样，不过sqlserver，oracle需要修改东西，具体看 8.其他数据源介绍吧

5.设置环境变量

export PYTHON_LAUNCHER=/usr/local/python2.7/bin/python2.7
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_141
export DATAX_LAUNCHER=/mydata/soft/datax/bin/datax.py
export PATH=$PYTHON_LAUNCHER:$JAVA_HOME/bin:$DATAX_LAUNCHER:$PATH
1
2
3
4

6.创建项目，工作流

7.执行

8.其他数据源

pgsql,mysql是可以正常连接的！

1.如果是sqlserver 数据源 需要在数据源连接的地方增加jdbc连接参数 {"trustServerCertificate":"true"}

2.如果是oracle数据源 需要把oracle驱动包放到对应libs下，目前是没有oracle驱动包的