Centos 安装Datax及Datax-web_datax集群

异构数据的采集，方案还是比较多样，除了基于大数据平台的一些集成；简单的数据源，可以直接使用阿里开源的datax来实现；datax-web则是datax界面化操作的开源框架，集成了datax异构数据采集和任务调度的功能。关于datax的一些详细介绍大家可以上官方git上看看，这里主要介绍Datax的安装以及datax-web的安装及使用。

基础软件环境：

1、JDK1.8

2、Mysql5.5+

3、Datax

4、Python（本文使用默认2.x）

5、Maven（datax-web如果直接使用git上面下的源码需要编译，本文使用官方提供免编译版tar包，可以不需要maven）

一、datax安装

1、下载datax

# wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

2、直接解压安装到指定目录

# tar -zxvfdatax.tar.gz -C /opt/

3、调试验证

进入相应目录

# cd /opt/datax/bin

# python datax.py../job/job.json

# 这里有reader和writer会显示报错，需要执行删除相应的文件即可（文件没看见，但还是执行一下）

# rm -rf/opt/datax/plugin/reader/._*

接着执行：

# python datax.py../job/job.json

报错后再删除writer的相应目录

# rm -rf/opt/datax/plugin/writer/._*

最后再执行datax验证任务就能成功

# python datax.py../job/job.json

出现以下信息说明datax安装成功

二、datax-web安装配置

1、下载免编译包（在git地址上）

#https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md

2、解压到指定目录

# tar -zxfdatax-web-2.1.2.tar.gz -C /opt/

3、进入目录执行安装

# cd /opt/datax-web-2.1.2/bin

# sh install.sh

(一直Y确认，出现以下信息，安装完成)

4、初始化数据库并且配置数据库信息

在客户端或者数据库命令行执行以下相应脚本(可以通过source导入)

# /opt/datax-web-2.1.2/bin/db/datax_web.sql

修改数据库配置文件（与上面执行初始化脚本一致）

# vim /opt/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties

5、其他配置

邮件服务配置：

# /opt/datax-web-2.1.2/modules/datax-admin/bin/env.properties

Python执行脚本配置：

# /opt/datax-web-2.1.2/modules/datax-executor/bin/env.properties

配置datax.py运行脚本；

或者修改配置改成绝对路径：

#/opt/datax-web-2.1.2/modules/datax-executor/bin/datax-executor.sh

否则运行脚本的时候会报错：

# 运行报错“/usr/bin/python: can't find'__main__' module in ''” _

6、启动 (出现一下两个进程则启动成功)

# cd /opt/datax-web-2.1.2/bin

# sh start-all.sh

7、登录(admin/123456)

# http://host:9527/index.html

至此，datax及datax-web安装配置完成。这是在同一台机器上的安装，如果任务比较多，则datax需要集群化部署。

===================== datax集群化部署==============================

三、datax集群部署（添加datax-executor节点）

新添加的executor节点，需要安装datax，datax-web（只启动datax-executor即可）

1、解压安装到指定目录

2、bin同级创建modules目录（没有的话创建）

解压datax-executor到modules下

# tar -zxfdatax-executor_2.1.2_1.tar.gz -C ../modules/

3、修改$datax-executor/bin/env.properties执行脚本路径

# vim /opt/datax-web-2.1.2/modules/datax-executor/bin/env.properties

4、修改$datax-executor/conf/ application.yml 指定web地址（这里address指定之前的web地址即可）

# vim /opt/datax-web-2.1.2/modules/datax-executor/conf/ application.yml

5、启动executor

如果没有自动注册，需要手工添加执行器即可（一般没有出错的化都能自动注册上）

到这里，datax完成集群部署，在使用集群executor的时候会根据配置的策略进行多节点运作。