Flink集群安装和部署_flink 集群安装部署

（一）Flink集群几种部署方式

• Standalone
• ON YARN
• Mesos、Kubernetes、AWS…

如果是一个独立环境的话，可能会用到standalone集群模式。
在生产环境下一般还是用on yarn 这种模式比较多，因为这样可以综合利用集群资源。

这个时候我们的Hadoop集群上面既可以运行MapReduce任务，Spark任务，还可以运行Flink任务，一举三得。

（二）standalone集群安装

架构：

jdk1.8及以上【配置JAVA_HOME环境变量】
ssh免密码登录
在这我们使用bigdata01、02、03这三台机器，这几台机器的基础环境都是ok的，可以直接使用。
集群规划如下：
master：bigdata01
slave：bigdata02、bigdata03

由于目前Flink各个版本之间差异比较大，属于快速迭代阶段，本次使用Flink1.11.1版本。
flink-1.11.1-bin-scala_2.12.tgz

1. 下载并解压

2. 修改配置

vi flink-conf.yaml
......
jobmanager.rpc.address: bigdata01
......
[root@bigdata01 conf]# vi masters
bigdata01:8081
[root@bigdata01 conf]# vi workers
bigdata02
bigdata03
1
2
3
4
5
6
7
8
9

3. 将修改完配置的flink目录拷贝到其它两个从节点

[root@bigdata01 soft]# scp -rq flink-1.11.1 bigdata02:/data/soft/
[root@bigdata01 soft]# scp -rq flink-1.11.1 bigdata03:/data/soft/
1
2

4. 启动flink集群
   bin/start-cluster.sh

5. 验证
   jps
   3986 StandaloneSessionClusterEntrypoint
   2149 TaskManagerRunner

6. 访问web页面
   http://bigdata01:8081/

7. 停止集群
   bin/stop-cluster.sh

• Standalone集群核心参数

参数                             解释
jobmanager.memory.process.size    主节点可用内存大小
taskmanager.memory.process.size   从节点可用内存大小
taskmanager.numberOfTaskSlots     从节点可以启动的进程数量，建议设置为从节可用的cpu数量
parallelism.default               Flink任务的默认并行度
1
2
3
4
5

1：slot是静态的概念，是指taskmanager具有的并发执行能力
2：parallelism是动态的概念，是指程序运行时实际使用的并发能力
3：设置合适的parallelism能提高程序计算效率，太多了和太少了都不好

（三）Flink On yarn

Flink ON YARN模式就是使用客户端的方式，直接向Hadoop集群提交任务即可。不需要单独启动Flink进程。
注意：
1：Flink ON YARN 模式依赖Hadoop 2.4.1及以上版本
2：Flink ON YARN支持两种使用方式

（1）Flink ON YARN第一种方式

第一步：在集群中初始化一个长时间运行的Flink集群
使用yarn-session.sh脚本
第二步：使用flink run命令向Flink集群中提交任务

注意：使用flink on yarn需要确保hadoop集群已经启动成功

1. 上传flink压缩包并解压
2. 配置HADOOP_CLASSPATH环境变量
   先配置HADOOP_CLASSPATH 这个环境变量，否则，执行
   yarn-session.sh 是会报错的，提示找不到hadoop的一些依赖。

export HADOOP_CLASSPATH=`${HADOOP_HOME}/bin/hadoop classpath`
1

3. 接下来，使用 yarn-session.s h在YARN中创建一个长时间运行的Flink集群

bin/yarn-session.sh -jm 1024m -tm 1024m -d 
1

这个表示创建一个Flink集群， -jm 是指定主节点的内存， -tm 是指定从节点的内存， -d 是表示把这个进程放到后台去执行。

4. 接下来向这个Flink集群中提交任务，此时使用Flink中的内置案例
   bin/flink run ./examples/batch/WordCount.jar

注意：这个时候我们使用flink run的时候，它会默认找这个文件，然后根据这个文件找到刚才我们创建的那个永久的Flink集群，这个文件里面保存的就是刚才启动的那个Flink集群在YARN中对应的applicationid。