当前位置:   article > 正文

flink的部署模式_flink共有几种部署模式

flink共有几种部署模式


flink 主要分为三种部署模式:
⚫ 会话模式(Session Mode)
⚫ 单作业模式(Per-Job Mode)
⚫ 应用模式(Application Mode)

会话模式(Session Mode)

在这里插入图片描述
首先启动一个集群,保持一个会话,在这个会话中通过客户端提交作业,此时集群所有的资源已经确定,所有提交的作业会竞争集群中的资源
问题: 同一个task manager上的作业出现故障,导致在该task manager 上的所有作业都失败

开启一个 YARN 会话,启动 Flink 集群

yarn-session.sh -nm test
  • 1

单作业模式(Per-Job Mode)

在这里插入图片描述
客户端运行程序为每一个提交作业启动一个集群,该集群的生命周期和作业一样

flink run -d -t yarn-per-job -c com.atguigu.wc.StreamWordCount 
FlinkTutorial-1.0-SNAPSHOT.jar
  • 1
  • 2

或者

flink run -m yarn-cluster -c com.atguigu.wc.StreamWordCount 
FlinkTutorial-1.0-SNAPSHOT.jar
  • 1
  • 2

应用模式(Application Mode)

会话模式和单作业模式都是将客户端提交给job manager,这种方式需要占用大量网络带宽,下载依赖和二进制包发送给jobManager,加上很多情况下我们提交作业用的是同一个客户端,就会加重客户端所在节点的资源消耗,我们不要客户端了,直接把应用提交到 JobManger 上运行。而这也就
代表着,我们需要为每一个提交的应用单独启动一个 JobManager,也就是创建一个集群。这个 JobManager 只为执行这一个应用而存在,执行结束之后 JobManager 也就关闭了

在这里插入图片描述

flink run-application -t yarn-application -c com.atguigu.wc.StreamWordCount 
FlinkTutorial-1.0-SNAPSHOT.jar
  • 1
  • 2
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Cpp五条/article/detail/625406
推荐阅读
相关标签
  

闽ICP备14008679号