赞
踩
先前Apache DolphinScheduler 社区一直是发布 Dockerfile 和 K8s Chart.yaml 文件,由用户自行 build 镜像。随着越来越多的用户伙伴们的呼声高涨,社区于近日终于发布了第一个官方 Docker 镜像。
有 2 种方式可以快速试用 DolphinScheduler,分别进行介绍
一、以 docker-compose 的方式启动(推荐)
这种方式需要先安装 docker-compose , docker-compose 的安装网上已经有非常多的资料,请自行安装即可
请下载最新版本的源码包并进行解压
- # 创建源码存放目录
- mkdir -p /opt/soft/dolphinscheduler;
- cd /opt/soft/dolphinscheduler;
-
- # 下载源码包
- wget https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/1.3.4/apache-dolphinscheduler-incubating-1.3.4-src.zip
-
- # 解压缩
- tar -zxvf apache-dolphinscheduler-incubating-1.3.4-src.zip
-
- mv apache-dolphinscheduler-incubating-1.3.4-src-release dolphinscheduler-src
- cd dolphinscheduler-src
- docker-compose -f ./docker/docker-swarm/docker-compose.yml up -d
访问前端界面:http://192.168.xx.xx:8888
然后参考用户手册章节的快速上手
即可进行使用
至此就可以体验 DolphinScheduler 的所有功能啦,怎么样?是不是超级简单。
当然如果您想了解更多的安装方式,下面介绍第 2 种方式
二、以 docker 方式启动
这种方式需要先安装 docker , docker 的安装网上已经有非常多的资料,请自行安装即可
PostgreSQL (8.2.15+)
ZooKeeper (3.4.6+)
Docker
dolphinscheduler
数据库sql/dolphinscheduler-postgre.sql
进行创建表及基础数据导入我们已将面向用户的 DolphinScheduler 镜像上传至 docker 仓库,用户无需在本地构建镜像,直接执行以下命令从 docker 仓库 pull 镜像:
docker pull apache/dolphinscheduler:latest
如下:(注: {user} 和 {password} 需要替换为具体的数据库用户名和密码)
- $ docker run -dit --name dolphinscheduler \
- -e ZOOKEEPER_QUORUM="l92.168.x.x:2181"
- -e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
- -e DATABASE_USERNAME="{user}" -e DATABASE_PASSWORD="{password}" \
- -p 8888:8888 \
- dolphinscheduler all
访问前端页面地址,接口ip(自行修改) http://192.168.xx.xx:8888
然后参考用户手册章节的快速上手
即可进行使用
- MasterServer ----- master服务
- WorkerServer ----- worker服务
- LoggerServer ----- logger服务
- ApiApplicationServer ----- api服务
- AlertServer ----- alert服务
你能够运行dolphinscheduler中的部分服务。
启动一个 master server, 如下:
- $ docker run -dit --name dolphinscheduler \
- -e ZOOKEEPER_QUORUM="l92.168.x.x:2181"
- -e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
- -e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
- dolphinscheduler master-server
启动一个 worker server, 如下:
- $ docker run -dit --name dolphinscheduler \
- -e ZOOKEEPER_QUORUM="l92.168.x.x:2181"
- -e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
- -e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
- dolphinscheduler worker-server
启动一个 api server, 如下:
- $ docker run -dit --name dolphinscheduler \
- -e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
- -e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
- -p 12345:12345 \
- dolphinscheduler api-server
启动一个 alert server, 如下:
- $ docker run -dit --name dolphinscheduler \
- -e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
- -e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
- dolphinscheduler alert-server
启动一个 frontend, 如下:
- $ docker run -dit --name dolphinscheduler \
- -e FRONTEND_API_SERVER_HOST="192.168.x.x" -e FRONTEND_API_SERVER_PORT="12345" \
- -p 8888:8888 \
- dolphinscheduler frontend
注意: 当你运行dolphinscheduler中的部分服务时,你必须指定这些环境变量 DATABASE_HOST
DATABASE_PORT
DATABASE_DATABASE
DATABASE_USERNAME
DATABASE_PASSWORD
ZOOKEEPER_QUORUM
。
1
DolphinScheduler 介绍
新一代大数据任务调度 - Apache DolphinScheduler 继 11 月 19 日由 InfoQ 举办、在 300+ 参评项目中脱颖而出获得 “2020 年度十大开源新锐项目” 和 “2020 年度最具人气新锐项目” 以来,近期社区又荣获 OSCHINA 年度 “最佳技术团队” 称号,非常欢迎更多小伙伴加入到贡献队伍中来,为中国的开源崛起贡献自己的一份力量。
Apache DolphinScheduler(incubator) 于 17 年在易观数科立项, 19 年 3 月开源,8 月进入 Apache 孵化器, 据不完全统计,已有 400+ 公司在生产上使用。DolphinScheduler 致力于“简化大数据任务之间错综复杂的依赖关系,并监控整个数据处理流程”。DolphinScheduler以 DAG(有向无环图) 的方式将 Task 组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。DolphinScheduler 专注于以下 6 个主要能力
Apache 组织崇尚 “社区大于代码”,DolphinScheduler 目前微信用户群近 4000 人,社区目前有 200 + 贡献者,来自 80+ 家公司、机构和高校(部分统计)
2
部分用户案例
据不完全统计,目前已经有 400 + 家公司及机构采用 DolphinScheduler 在生产环境使用,以下是部分案例(排名不分先后)
此外,还有 1700+ 用户注册了 demo 试用,欢迎大家先体验,十分欢迎对比哈。
3
参与贡献
随着国内开源的崛起,DolphinScheduler迎来了蓬勃发展,为了做更好用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量
参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:
贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度
社区汇总了以下适合新手的问题列表:https://github.com/apache/incubator-dolphinscheduler/issues/4124
如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html
文档 github 地址:https://github.com/apache/incubator-dolphinscheduler-website
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的
如果您想参与贡献,却发现上述方法都搞不明白,也没关系,我们有个开发者种子孵化群,可以添加微信(easyworkflow) 手把手教会您,添加时请说明想参与贡献哈
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。