赞
踩
首先启动一个集群,保持一个会话,在这个会话中通过客户端提交作业,此时集群所有的资源已经确定,所有提交的作业会竞争集群中的资源
问题: 同一个task manager上的作业出现故障,导致在该task manager 上的所有作业都失败
开启一个 YARN 会话,启动 Flink 集群
yarn-session.sh -nm test
客户端运行程序为每一个提交作业启动一个集群,该集群的生命周期和作业一样
flink run -d -t yarn-per-job -c com.atguigu.wc.StreamWordCount
FlinkTutorial-1.0-SNAPSHOT.jar
或者
flink run -m yarn-cluster -c com.atguigu.wc.StreamWordCount
FlinkTutorial-1.0-SNAPSHOT.jar
会话模式和单作业模式都是将客户端提交给job manager,这种方式需要占用大量网络带宽,下载依赖和二进制包发送给jobManager,加上很多情况下我们提交作业用的是同一个客户端,就会加重客户端所在节点的资源消耗,我们不要客户端了,直接把应用提交到 JobManger 上运行。而这也就
代表着,我们需要为每一个提交的应用单独启动一个 JobManager,也就是创建一个集群。这个 JobManager 只为执行这一个应用而存在,执行结束之后 JobManager 也就关闭了
flink run-application -t yarn-application -c com.atguigu.wc.StreamWordCount
FlinkTutorial-1.0-SNAPSHOT.jar
赞
踩
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。