Flink集群部署总结

集群部署方式

Flink有两种部署方式，Standalone和Flink on Yarn集群部署方式。

Flink集群架构

Flink分布式架构是常见的主从结构，由JobManager和TaskManager组成。JobManager是大脑，负责接收、协调、分发Task到各个TaskManager，也负责触发Checkpoint（容错机制）以及失败恢复。TaskManager负责执行Task，TaskManager中有若干的Task Slot，Task跑在Task Slot中，Task Slot的数量也表示了程序的并行度。

 

集群运行模式

1.session mode

 session运行模式下，client会向一个已预先建立好的session集群提交一个个job，所有job共享集群资源，包括JobManager和TaskManager的资源。

该模式的优点：

不需要每次提交job都花费开销去建立资源，JobManager和TaskManager是长期运行的
多个job跑在相同的JobManager和TaskManager，因此资源利用率高

该模式的缺点：

资源隔离性差，如果其中一个job把某个TaskManager搞挂了，那么该TaskManager下的所有job都会受影响
资源都是预分配的，所以资源扩展性差
client负责生成JobGraph以及上传依赖包到集群，当job很多时client的负载和带宽消耗都比较大

session运行模式的缺点比较致命，因此只适用于测试环境，不适用生产环境。

2.per-job mode

 

per-job运行模式下，client向集群提交job后，集群资源管理器（如Yarn、K8s）会为每个job单独建立JobManager和TaskManager。

该模式的优点：

job之间的资源是隔离的，互不影响
资源伸缩性好，根据每个job不同的需求申请合适的资源

该模式的缺点：

每个job都会建立JobManager，资源利用率相对低些
client负责生成JobGraph以及上传依赖包到集群，当job很多时client的负载和带宽消耗都比较大

per-job运行模式在生产环境上用的比较多也比较成熟稳定。

3.application mode

 

application运行模式下，client向集群提交job时，不会执行Flink应用程序的main方法，而是直接提交给集群。每个应用程序对应一个JobManager，且同一个JobManager下可以运行多个job。

该模式的优点：

由于client不执行程序以及上传依赖包（通过HDFS统一管理依赖包），因此负载和带宽消耗都很低，解放了client
资源伸缩性好，根据每个job不同的需求申请合适的资源
TaskManager资源隔离，JobManager应用间也是隔离的

该模式没有明显的缺点，也是目前社区主推的运行模式，适用于生产环境。

Standalone集群部署

集群规划

192.168.10.153 master

192.168.10.159 node02

Standalone集群不需要使用外部的资源管理器（ResourceManager），部署简单，但仅支持session运行模式。

下载Flink二进制包

官网下载Flink二进制包：https://dlcdn.apache.org/flink/
这里我选择的是Flink 1.14.5版本：https://dlcdn.apache.org/flink/flink-1.14.5/flink-1.14.5-bin-scala_2.11.tgz

国内下载：

wget https://archive.apache.org/dist/flink/flink-1.14.5/flink-1.14.5-bin-scala_2.11.tgz

解压

tar -zxvf flink-1.14.5-bin-scala_2.11.tgz

cd flink-1.15.4

修改conf/masters

添加主节点hostname：

master:8081

修改conf/workers

添加从节点hostname：

node02

修改conf/flink-conf.yaml

jobmanager.rpc.address: master
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
rest.bind-address: 0.0.0.0

同步配置

scp -r flink-1.15.4 root@node02:/root/flink-1.15.4

启动standalone集群

./bin/start-cluster.sh

查看集群状态

jps查看每个节点的服务是否正常启动：

主节点：

 从节点：

还可以访问master:8081查看集群的状态

从节点修改配置 

查看从接到状况：

 注意：看图可以指定从接到默认配置都是localhost，无法做区分，因此需要在从节点的

flink-conf.yaml中添加配置：

所有从节点此处位置应该是自己hostname。

taskmanager.host: node02

从节点中，单独重启从节点

./taskmanager.sh  stop
./taskmanager.sh  start

再次刷新监控页面

 

来源：

Flink教程（2）Flink部署（二）Standalone和Flink on Yarn - 知乎