使用Docker安装海豚调度DolphinScheduler_dolphinscheduler docker

默认已安装Docker和Docker-compose环境
本案例安装海豚调度3.1.7版本并配置datax插件。

一、资源下载

源码下载 apache-dolphinscheduler-3.1.7-src.tar.gz

datax插件下载 datax.tar.gz

mysql驱动下载 mysql-connector-j-8.0.33.jar

二、海豚调度安装步骤

# 海豚调度版本
DOLPHINSCHEDULER_VERSION=3.1.7
# 加压缩
tar -zxf apache-dolphinscheduler-"${DOLPHINSCHEDULER_VERSION}"-src.tar.gz
# 进入部署路劲，其中用docker-compose.yml文件
cd apache-dolphinscheduler-"${DOLPHINSCHEDULER_VERSION}"-src/deploy/docker
# 如果需要初始化或者升级数据库结构，需要指定profile为schema
docker-compose --profile schema up -d
# 启动dolphinscheduler所有服务，指定profile为all
docker-compose --profile all up -d
1
2
3
4
5
6
7
8
9
10

到此为止海豚调度已启动，访问web页面 http://ip:12345/dolphinscheduler/ui
账号：admin
密码：dolphinscheduler123

三、 datax安装步骤

配置datax插件：

# 将datax压缩包上传到worker节点
docker cp datax.tar.gz docker_dolphinscheduler-worker_1:/opt/soft/
# 进入worker节点容器
docker exec -it docker_dolphinscheduler-worker_1 bash
# 
cd /opt/soft/
tar -zxvf datax.tar.gz
1
2
3
4
5
6
7

四、上传mysql驱动

docker cp mysql-connector-j-8.0.33.jar docker_dolphinscheduler-master_1:/opt/dolphinscheduler/libs/
docker cp mysql-connector-j-8.0.33.jar docker_dolphinscheduler-worker_1:/opt/dolphinscheduler/libs/
docker cp mysql-connector-j-8.0.33.jar docker_dolphinscheduler-api_1:/opt/dolphinscheduler/libs/
1
2
3

重启：

# 进入部署路劲，其中用docker-compose.yml文件
cd apache-dolphinscheduler-3.1.7-src/deploy/docker
# 重启
docker-compose restart
1
2
3
4

五、其他

安装python

# 更新软件库
apt-get update
# 下载python
apt-get install python2
# 将python复制到该路劲，也可修改海豚的配置文件指向/usr/bin/python2 
mkdir -p /opt/soft/python/bin/
cp /usr/bin/python2 /opt/soft/python/bin/python2.7
1
2
3
4
5
6
7