当前位置: article > 正文

Flink集群部署_flink1.12集群搭建

作者：不正经 | 2024-06-02 09:18:32

踩

flink1.12集群搭建

1、环境准备工作

1.1 基础环境

JDK1.8 及以上【配置 JAVA_HOME 环境变量】

SSH 免密码登录【集群内节点之间免密登录】

1.2 安装包下载

使用 Flink1.12.0 版本

2、Local模式部署

在 Local 模式下，不需要启动任何的进程，仅仅是使用本地线程来模拟 Flink 的进程，适用于测试开发调试

等，这种模式下，不用更改任何配置，只需要保证 JDK8 安装正常即可。

2.1 解压直接启动

Flink 在处于 Local 模式下，不需要更改任何配置，直接解压之后启动即可。

执行以下命令直接启动 Local 模式

解压命令：

[root@master ~]# tar zxvf flink-1.12.0-bin-scala_2.12.tgz

修改路径命令：


# 修改flink安装包目录到/root/package/
[root@master ~]# mv flink-1.12.0-bin-scala_2.12.tgz /root/package/
 
#修改解压后文件目录到/usr/local
[root@master ~]# mv flink-1.12.0 /usr/local

启动：


# 切换到flink目录下
[root@master flink-1.12.0]# cd /usr/local/flink-1.12.0/bin/
# 首先启动集群
[root@master bin]# start-all.sh
 
 
[root@master bin]# jps
1782 NameNode
2135 ResourceManager
1979 SecondaryNameNode
2396 Jps
 
执行以下命令直接启动Local模式
# flink启动命令
[root@master flink-1.12.0]# cd /usr/local/flink-1.12.0/bin/
[root@master bin]# ./start-cluster.sh
 
[root@master bin]# jps
3040 TaskManagerRunner
2757 StandaloneSessionClusterEntrypoint
1782 NameNode
3110 Jps
2135 ResourceManager
1979 SecondaryNameNode

启动成功之后，执行jps就能查看到启动了两个进程：

2.2 Web UI界面访问

启动两个进程成功之后，访问 8081 端口号即可访问到 Flink 的 Web 管理界面

http://192.168.153.10:8081/#/overview

3、StandAlone模式部署

使用StandAlone模式，需要启动Flink的主节点JobManager以及从节点TaskManager。

3.1 更改配置文件

停止master 服务器上面 local 模式下的两个进程，然后修改master 服务器配置文件

[root@master bin]# ./stop-cluster.sh

master服务器更改 flink-conf.yaml 配置文件文件


[root@master bin]# cd /usr/local/flink-1.12.0/conf/
[root@master conf]# ll
[root@master conf]# vi flink-conf.yaml

master服务器更改workers配置文件

[root@master conf]# cd /usr/local/flink-1.12.0/conf/


[root@master conf]# ll
 
[root@master conf]# vi workers

3.2 分发安装包到各节点

将master 服务器的 Flink 安装包分发到其他机器上面去

master服务器执行以下命令分发安装包
scp -r flink-1.12.0 slave1:/usr/local/
scp -r flink-1.12.0 slave2:/usr/local/
 
[root@master conf]# cd /usr/local
[root@master local]# scp -r flink-1.12.0 slave1:/usr/local/
[root@master local]# scp -r flink-1.12.0 slave2:/usr/local/
 

3.3 启动Flink集群

master执行以下命令启动 flink 集群


[root@master conf]# cd /usr/local/flink-1.12.0/bin
 
[root@master bin]# ./start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host master.
Starting taskexecutor daemon on host master.
Starting taskexecutor daemon on host slave1.
Starting taskexecutor daemon on host slave2.
 
[root@master bin]# jps
4514 Jps
4132 StandaloneSessionClusterEntrypoint
1782 NameNode
2135 ResourceManager
4458 TaskManagerRunner
1979 SecondaryNameNode
[root@master bin]#

3.4 页面访问

http://master:8081/#/overview 即可访问 Flink Web UI 界面。

http://192.168.153.10:8081/#/overview

slave1节点：

slave2节点：

3.5 运行Flink自带的jar包

运行flink自带的测试用例：

master执行下面命令启动socket 服务，然后输入单词

nc -lk 6666

首先需要下载nc 否则报错

安装nc：

yum install nc -y

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/662154