dolphinscheduler集群搭建_dlophinscheduler linux 集群搭建

关于linux安装dolphinscheduler集群搭建

1. dolphinscheculer集群搭建前期铺垫
   dolphinscheduler简单介绍
   Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

高可靠性： 其中新华的多Master和多Worker，自身支持HA功能，采用任务队列来避免过载，不会造成机器卡死。
简单易用： DAG监控界面，所有流程定义都是可视化，通过拖拽任务定制DAG，通过API方式与第三方系统对接，一键部署
丰富的使用场景： 支持暂停恢复操作，支持多租户，更好的应用大数据的使用场景，支持更多的任务类型，对1.3.2版本的有 spark、hive、mr、python、sub_process,shell、以及ETL工具sqoop、dataX。
高扩展性： 支持自定义任务类型，调度器使用分布式调度，调度能力随集群线性增长，Master和Worker支持动态上下线。
结合官网查看搭建文档
官方文档

2. 1、集群部署
   1.1 : 基础软件安装(必装项请自行安装)
   PostgreSQL (8.2.15+) or MySQL (5.6或者5.7系列) : 两者任选其一即可
   JDK (1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量
   ZooKeeper (3.4.6+) ：必装
   Hadoop (2.6+) or MinIO ：选装，如果需要用到资源上传功能，可以选择上传到Hadoop or MinIO上
   注意：DolphinScheduler本身不依赖Hadoop、Hive、Spark,仅是会调用他们的Client，用于对应任务的提交。

3. JDK8官网

4. jdk网盘

jdk提取码  961a
1

5. zookeeper 的Release

zookeeper 网盘

zookeeper 提取码   haia
1

5. mysql 官网的 rpm

   网盘的mysql RPM

提取码：35dz 
1

6. 安装JDK

   1. 创建文件
   2.  mkdir -p  /export/server
   3.  mkdir -p  /export/soft
   4.  tar -zxvf jdk-8u281-linux-x64.tar.gz -C /export/server/
1
2
3
4

配置环境变量

   vi /etc/profile

   #添加如下
   export JAVA_HOME=/export/server/jdk1.8.0_281
   export PATH=:$JAVA_HOME/bin:$PATH


  #配置生效
  source /etc/profile
1
2
3
4
5
6
7
8
9

正常结果如下
(我安装的是linux图形化的中文桌面版)

7. 安装 mysql 5.7.33
   安装步骤

8. 安装 zookeeper

# 解压
tar -zxvf zookeeper-3.4.6.tar.gz -C /export/server/
1
2

# 
cd /export/server/zookeeper-3.4.6

mkdir zkdata


cd /export/server/zookeeper-3.4.6/conf
cp zoo_sample.cfg zoo.cfg
1
2
3
4
5
6
7
8

vi zoo.cfg
# 将下面的值替换
dataDir=/export/server/zookeeper-3.4.6/zkdata
## 因为我部署的为stand-alone模式  autopurge.snapRetainCount=1 要是分布式的话  autopurge.snapRetainCount=3(主机数目)
autopurge.snapRetainCount=1
autopurge.purgeInterval=1
## 这里我修改了 /etc/hosts 文件 修改了主机映射,不用修改也行 
# 未修改主机映射
server.1=localhost:2888:3888
# 修改主机映射
#server.1=node01:2888:3888
1
2
3
4
5
6
7
8
9
10
11

9. 启动zookeeper

# 开始zookeeper 服务
cd /export/server/zookeeper-3.4.6/bin
./zkServer.sh start

## 查看 zookeeper的状态
./zkServer.sh  status
1
2
3
4
5
6

# 停止zookeeper 服务
./zkServer.sh  stop

# 重启zookeeper 服务
./zkServer.sh  restart
1
2
3
4
5

10. 配置 dolphinscheduler
    关于配置dolphinscheduler, 参考下面的文章设置就好,亲测有效
    官网的stand-alone模式

11. 参考博客

12. 安装注意事项
    
    启动后的服务
    

当时我一直在上面箭头的目录,安装和文档提示根本不一样,导致我安装之后,并没有启动任何服务,安装要注意

13. 登录系统
    访问前端页面地址,接口ip(自行修改)

 http://ip:12345/dolphinscheduler
1

第一次登陆的用户名密码
账号：admin

密码：dolphinscheduler123