Flink 1.10.0 分布式高可用集群搭建

1. 环境准备

软件版本：

• zookeeper-3.4.10
• flink-1.10.0
• hadoop-2.6.5

关于hadoop+zookeeper高可用集群之前已经写过相关博客：
Hadoop+Spark+Zookeeper高可用集群搭建（一）
Hadoop+Spark+Zookeeper高可用集群搭建（二）
Hadoop+Spark+Zookeeper高可用集群搭建（三）
Hadoop+Spark+Zookeeper高可用集群搭建（四）
Hadoop+Spark+Zookeeper高可用集群搭建（五）

2. 部署说明

本文搭建的分布式高可用集群是基于独立的zookeeper服务的，关于zookeeper的搭建可参考上面的地址，当然如果不想搭建独立的zookeeper服务，flink内部也提供了zookeeper插件，通过修改FLINK_HOME/conf/zoo.cfg文件即可，启动命令在FLINK_HOME/bin/start-zookeeper-quorum.sh 关于此种方式启动zookeeper可以参考官方文档：flink内置zookeeper的搭建

3. 修改配置文件

3.1 配置flink-conf.yaml文件

下载地址：flink官网下载地址

将下载后的tar包上传到你的集群解压后，配置flink-conf.yaml文件

jobmanager.rpc.address: master001 
jobmanager.rpc.port: 6123
# 下面四项根据自己实际情况配置
jobmanager.heap.size: 2048m 
taskmanager.memory.process.size: 4096m
taskmanager.numberOfTaskSlots: 8
parallelism.default: 8
high-availability: zookeeper # 使用zookeeper实现集群高可用
# 下面两个目录需要在hadoop上面创建，分别是/flinkshare/ha, /ZooKeeper/ha
high-availability.storageDir: hdfs://mycluster/flinkshare/ha/
recovery.zookeeper.storageDir: hdfs://mycluster/ZooKeeper/ha/
high-availability.zookeeper.quorum: slave001:2181,slave002:2181,slave003:2181
1
2
3
4
5
6
7
8
9
10
11
12

3.2 配置masters文件

master001:8081
master002:8081
1
2

3.3 配置slaves文件

slave001
slave002
slave003
1
2
3

3.4 编辑zoo.cfg文件

server.1=slave001:2888:3888
server.2=slave002:2888:3888
server.3=slave003:2888:3888
1
2
3

4. 补充几个坑

4.1 与hadoop集成

最新版本的flink-1.10.0与hadoop进行集成的话需要进行如下两步操作：

1. 配置环境变量

vi /etc/profile
# 添加如下内容：
export HADOOP_CONF_DIR=/home/hadoop/software/hadoop-2.6.5/etc/hadoop
# 使环境变量生效
source /etc/profile
1
2
3
4
5

2. 添加hadoop依赖
   hadoop依赖jar包: fink-shaded下载地址
   由于需要翻墙，所以可下载这个：flink-shaded-hadoop-2-uber-2.6.5-10.0
   根据自身hadoop版本和flink版本下载相应的依赖包，然后上传到/home/hadoop/software/flink-1.10.0/lib目录下。
   

4.2 查看日志文件

如果集群为启动起来，或者启动错误，可以通过查看位于目录/home/hadoop/software/flink-1.10.0/log下的日志文件

5 启动步骤

将配置完成的flink文件传输到集群的其他机器中：

scp -r flink-1.10.0 master002:~/software/ 
scp -r flink-1.10.0 slave001:~/software/ 
scp -r flink-1.10.0 slave002:~/software/ 
scp -r flink-1.10.0 slave003:~/software/ 
1
2
3
4

首先启动hadoop和zookeeper，然后启动flink集群：

./start-cluster.sh
1

通过你指定的rpc地址(master001:8081)即可访问：