Flink总结之彻底搞懂部署模式_flink部署模式有哪几种

Flink总结之彻底搞懂部署模式

Flink是我们实时开发过程中绕不开的技术栈，通过本文可以彻底搞懂Flink的部署模式，更深入了解Flink架构

一、部署模式分类

Flink支持三种部署模式，分别是会话模式（Session Mode）、单作业模式（Per-Job Mode）（1.15版本已弃用）、应用模式（Application Mode）。他们三者的主要区别是集群的生命周期以及资源的分配方式不同以及程序执行的位置不同，接下来进行一一介绍

官方文档链接：

1. 会话模式（Session Mode）

会话模式就是在作业提交之前通过启动集群并创建会话，我们通过这个会话提交任务，所有的任务都在这个会话里，这种方式的特点是集群启动的时候就已经确定了资源，并且后续提交的作业也都在这个会话中，会出现资源的竞争

优点

1. 集群启动时就已经创建了会话，资源也都是集群启动过程中确定的
2. 所有提交的作业都在这个会话中，作业结束就释放资源

缺点

1. 由于资源是共享的，所以当作业较多时就会产生资源竞争，资源不够了会导致作业提交失败
2. 同一个TaskManager上可能运行了很多作业，如果一个作业导致TaskManager宕机，那么在这个TaskManager上的作业都会受到影响

2. 单作业模式（Per-Job Mode）

单作业模式是不同于会话模式的，单作业模式是需要依赖其他资源管理器来实现的，比如yarn、k8s等，由于会话模式是共享资源，为了解决这个问题，单作业模式为每一次提交的任务都创建一个集群，每个作业的资源都相互隔离，并且一个TaskManager宕机不会影响其他作业。

优点

1. 为每一个作业启动一个集群，因此不会存在共享资源的问题，作业之间的资源相互隔离
2. 发生故障时即使TaskManager宕机不会影响其他作业

缺点

1. 每一个作业启动一个集群，比较浪费资源
2. Flink本身无法直接这样运行，需要借助第三方资源管理器，比如YARN、K8S等
3. Flink1.15版本被标记为废弃，使用应用模式替代；链接：

3.应用模式（Application Mode）

应用模式是对单作业模式的优化，不管是会话模式还是单作业模式，代码都是在客户端是进行执行的，然后由客户端提交给JobManager的，这种方式下客户端会比较耗资源，因为需要下载依赖和发送二进制文件到JobManager。所以应用模式的解决办法就是不需要客户端了，直接把应用提交到JobManager上运行**，是直接由 JobManager 执行应用程序的，并且即使应用包含了多个作业，也只创建一个集群。 **

优点

1. 和单作业模式一样进行资源隔离，但是但作业模式每个作业一个集群，应用模式共用一个集群
2. 任务提交到JobManager上，不需要客户端解析，减少客户端压力

和单作业模式的不同

1. 任务提交不同，单作业模式将任务提交到客户端，客户端进行解析，增加客户端压力，而应用模式提交到JobManager，减少客户端的压力

二、独立部署

独立部署的概念是由Flink进行资源的管理，也是最简单的部署方式，此模式是独立运行的，不依赖第三方资源管理平台，缺点是资源不足的情况下会出现故障，不会自动扩展或者动态分配资源，必须手动处理。独立部署也分上面三种部署方式，分别是会话模式、单作业模式还是应用模式。生产环境不建议使用。

1. 会话模式

会话模式是不依赖第三方资源调度管理平台，因此直接解压flink安装包，然后执行start-cluster.sh 即可开启会话模式

2. 单作业模式

Flink 本身无法直接以单作业方式启动集群，一般需要借助一些资
源管理平台。所以 Flink 的独立（Standalone）集群并不支持单作业模式部署。

3. 应用模式

应用模式的特点是不提前创建集群，所以不能使用start-cluster.sh进行启动，可以通过使用standalone-job.sh 这个启动命令来启动JobManager

bin/standalone-job.sh start --job-classname com.xxx.xxx.WordCount
1

通过taskmanager.sh 启动TaskManager

bin/taskmanager.sh start
1

4. 高可用

此时的JobManager存在单点故障的问题，因此需要对JobManager进行高可用配置，最好使用一主多备，高可用通过依赖zookeeper进行实现，具体实现过程这里不进行说明

三、YARN部署

YARN部署是指Flink的资源调度由YARN进行管理，需要依赖Hadoop的YARN管理器，也是目前市场上使用最多的模式，在YARN模式下部署模式也分三种，分别是会话模式、单作业模式还是应用模式

客户端把 Flink 应用提交给 Yarn 的 ResourceManager,Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上， Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。 Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配 TaskManager 资源。

使用YARN的前提是已经安装好了Hadoop。并且配置好环境变量，HADOOP_CLASSPATH是必须配置的

# 编辑环境变量配置文件，此处说明下，profile这个配置文件和profile.d下的配制文件的区别：
# profile是系统环境变量，对所有用户都生效，只有在login shell 时才会执行这个配置文件
# 	
# profile.d下的配置文件是应用程序的配置文件，
#		/etc/profile会首先执行/etc/profile.d/目录下的所有*.sh文件
sudo vim /etc/profile.d/my_env.sh
HADOOP_HOME=/opt/module/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
# 必须配置
export HADOOP_CLASSPATH=`hadoop classpath 
1
2
3
4
5
6
7
8
9
10
11

1. 会话模式

这里的会话模式和独立部署的会话模式不同，需要先申请一个YARN会话来启动Flink集群

# -nm test的意思是任务名
bin/yarn-session.sh -nm test
1
2

其他一些参数说明：

-d：分离模式，如果你不想让 Flink YARN 客户端一直前台运行，可以使用这个参数，即使关掉当前对话窗口， YARN session 也可以后台运行。
-jm(–jobManagerMemory)：配置 JobManager 所需内存，默认单位 MB。
-nm(–name)：配置在 YARN UI 界面上显示的任务名。
-qu(–queue)：指定 YARN 队列名。
-tm(–taskManager)：配置每个 TaskManager 所使用内存。

YARN会话启动后会给出一个WebUI地址以及一个 YARN application ID 。
在部署作业的时候可以通过WebUI部署也可以通过后台命令行部署 。

2. 单作业模式

单作业模式是每提交一个任务就会生成单独的一个集群环境，因此我们开启单作业模式直接通过提交任务即可.
启动作业

bin/flink run -d -t yarn-per-job -c com.szc.wc.StreamWordCount xxx.jar
1

查看或取消作业

# 查看作业
bin/flink list -t yarn-per-job -Dyarn.application.id=application_XXXX_YY
# 取消作业
bin/flink cancel -t yarn-per-job -Dyarn.application.id=application_XXXX_YY <jobId>
1
2
3
4

由于单作业模式是每个任务一个集群，因此取消某个作业就会使这个作业对应的集群也停掉。

3. 应用模式

应用模式也非常简单，和单作业模式类似
启动作业

bin/flink run-application -t yarn-application -c com.szc.wc.StreamWordCount xxx.jar
1

查看或取消作业

# 查看作业
bin/flink list -t yarn-application -Dyarn.application.id=application_XXXX_YY
# 取消作业
bin/flink cancel -t yarn-application -Dyarn.application.id=application_XXXX_YY <jobId>
1
2
3
4

4. 高可用

YARN 模式的高可用和独立模式（Standalone）的高可用原理不一样。Standalone 模式中, 同时启动多个 JobManager, 一个为“领导者”（leader），其他为“后备”（standby） , 当 leader 挂了, 其他的才会有一个成为 leader。而 YARN 的高可用是只启动一个 Jobmanager, 当这个 Jobmanager 挂了之后, YARN 会再次启动一个, 所以其实是利用的 YARN 的重试次数来实现的高可用。

结束~