Flink环境配置_flink生产环境配置

flink-1.17.0-bin-scala_2.12.tgz以及WordCount的jar包我都已经上传到我的主页了，需要自取

1.在hadoop100中下载flink

1.1下载flink-1.17.0-bin-scala_2.12.tgz

1.2使用xftp将flink-1.17.0-bin-scala_2.12.tgz上传到hadoop100的opt/software文件夹下

1.3解压flink-1.17.0-bin-scala_2.12.tgz

1.3.1使用cd命令切换到/opt/software目录下

cd /opt/software

1.3.2使用tar命令解压

切换为root用户进行解压

tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module/

可以看到解压已经完成了

2.修改集群配置

2.1进入解压后的flink下的conf目录修改flink-conf.yaml文件

cd flink-1.17.0/conf
​
[root@hadoop100 conf]# vim flink-conf.yaml

修改如下内容：

# JobManager节点地址.
​
jobmanager.rpc.address: hadoop100
​
jobmanager.bind-host: 0.0.0.0
​
rest.address: hadoop100
​
rest.bind-address: 0.0.0.0
​
# TaskManager节点地址.需要配置为当前机器名
​
taskmanager.bind-host: 0.0.0.0
​
taskmanager.host: hadoop100

2.2修改workers

修改workers文件，指定hadoop100、hadoop101和hadoop102为TaskManager

vim workers

2.3修改masters

修改masters文件

vim masters

2.4分发安装目录

配置修改完后将Flink安装目录分发给另外两个服务器

scp -r /opt/module/flink-1.17.0  root@hadoop101:/opt/module

hadoop102同理

2.5修改hadoop101及102配置

修改hadoop101和hadoop102的 taskmanager.host

将taskmanager.host修改为当前机器名

3.启动集群

3.1在hadoop100上执行start-cluster.sh启动flink集群

[root@hadoop100 flink-1.17.0]# bin/start-cluster.sh

3.2查看进程

3.2.1hadoop100

3.2.2hadoop101

3.2.3hadoop102

4.访问Web UI

启动成功后，可以访问http://hadoop100:8081对flink集群和任务进行监控管理

这里可以看到TaskManagers的数量为3，由于每个默认TaskManager的slot数量为1，所以总Slots数和可用slots数也为3

到这一步flink环境已经配置完成，想要实现WordCount单词计数流处理的可以完成下面的步骤

5.hadoop100下载netcat

yum -y install netcat

下载完成后输入命令

netcat -lk 7777

6.实现WordCount

点击Submit New Job

点击Add New上传WordCount jar包

选择下载的jar包

然后点击

填上对应的值后点击submit

可以看到这个任务已经在RUNING了

在linux命令行里输入

hello flink

打开Web UI点击print

再点击TaskManagers可以看到是hadoop102在进行工作

随后点击View TaskManagers log

可以看到已经在计数了

接着在linux命令行输入单词，可以在这里看到单词计数

例如再输入hello java