Flink实战——集群搭建_linux启动flink集群

目录

一、引言

1.1 本文目标

1.2 预备工作和软件版本说明

二、集群规划

三、搭建步骤

3.1 解压安装包

3.2 集群文件配置

3.2.1 flink-conf.yaml文件配置

3.2.2 workers文件配置

3.2.3 masters文件配置

3.3 分发配置文件

3.4 修改TaskManager节点地址

3.5 测试

3.5.1 集群启动成功 

3.5.2 Web UI页面启动成功

四、集群启动报错问题

一、引言

1.1 本文目标

        本文主要在Linux系统上对大数据处理引擎Flink的相关安装步骤进行介绍。

1.2 预备工作和软件版本说明

        在具体搭建本文的Flink集群之前，首先需要读者在Linux系统上安装和部署过Hadoop集群（3台节点服务器），本文默认读者已经安装和部署过Hadoop集群，故对Hadoop集群的相关安装部署不做相应介绍。

        同时，为避免相应版本之间的冲突，本文将所使用的相关软件版本汇总至如下表1所示情况。

二、集群规划

        本文为三台节点服务器分配如下表2所示的集群角色，后文将针对表2所示情况，在Linux系统上搭建Flink1.17版本的集群。

三、搭建步骤

3.1 解压安装包

        （1）从官网或其他相关途径下载flink-1.17.0-bin-scala_2.12.tgz版本，其中官网下载途径可见地址https://flink.apache.org/zh/downloads/。

        （2）将相应的安装包上传至Linux指定目录上，其中，目录位置可以自定义，本文上传的目录位置为/opt/software，且上传的节点服务器为hadoop00。上传成功后会在相应目录中出现如下图1所示内容。

        （3）上传完成后，将相应文件进行解压。Linux解压命令见下方所示：

[root@hadoop00 software]$ tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module/

其中，黄色块标注内容为解压到的目标位置，用户可依个人情况进行自定义设置。同时，为了后续方便本文将解压后的文件进行更名（非必要操作），相关命令见下方所示：

[root@hadoop00 modlule]$ mv flink-1.17.0 flink1.17

3.2 集群文件配置

        解压完成后需要对/opt/module/flink1.17/conf/（用户解压目录位置）下的flink-conf.yaml、workers和masters文件依次进行配置，需要配置的相关文件见图2红色框住部分所示：

3.2.1 flink-conf.yaml文件配置

[root@hadoop00 conf]$ vim flink-conf.yam

        采用上述Linux命令进入flink-conf.yam文件中，针对表2 所示的节点服务器的分配方式，依次找到图3至图5所示内容位置，并依次将内容设定为红色框住部分的内容，其中各设定的含义见图3至图5所示。

        修改完成后，保存退出文件即可。

3.2.2 workers文件配置

[root@hadoop00 conf]$ vim workers

        采用上述Linux命令进入workers文件中，将原始的workers文件内容（图6）修改为图7所示内容，其中，图7所示的节点服务器名称由用户实际情况进行设定。

        修改完成后，保存退出文件即可。

3.2.3 masters文件配置

[root@hadoop00 conf]$ vim masters

          采用上述Linux命令进入masters文件中，由表2所示的节点服务器的分配方式，将原始的masters文件内容（图8）修改为图9所示内容。

        修改完成后，保存退出文件即可。 

3.3 分发配置文件

         flink-conf.yaml、workers和masters文件配置完成后，用户依据个人情况，采用两种不同的方式分发配置文件。

1. 若用户已经编写过分发脚本命令。则利用分发脚本命令将Flink 安装目录即/opt/module/flink1.17分发给其余另外两台节点服务器hadoop01和hadoop02上。

 2. 若用户未编写过分发脚本命令，则在其余两台节点服务器（hadoop01和hadoop02）上依次重复执行4.1至4.2.3步骤即可。

3.4 修改TaskManager节点地址

        4.3步骤完成后，需要进一步对另外两台节点服务器（hadoop01和hadoop02）的flink-conf.yaml文件进行修改。

        首先，进入hadoop01节点服务器上，进入图10的flink-conf.yaml文件，找到图11红色框住部分所在位置，将TaskManager 节点地址配置为当前机器名，如图11所示内容。

        修改完成后，保存退出文件即可。同理，对hadoop02节点服务器，将flink-conf.yaml文件中的taskmanager.host修改为taskmanager.host: hadoop02即可（注意：冒号后面有一个空格）。

        至此相关的集群文件配置完成。

3.5 测试

        在节点服务器hadoop00上，进入到flink1.17目录位置即/opt/module/flink1.17，采用下述Linux命令启动Flink集群。

[root@hadoop00 flink1.17]$ bin/start-cluster.sh

3.5.1 集群启动成功 

        若已经编写过进程查看脚本，则可以采用该脚本查看启动Flink集群前后的进程情况。下图12展示了未启动Flink集群时的进程情况，图13展示了启动Flink集群后的进程情况。若读者两次进程如本文图13和图14所示，则说明集群启动成功了。

3.5.2 Web UI页面启动成功

        打开浏览器，在浏览器上输入下图15所示的地址，若呈现与图14相同情况，则说明Web UI页面启动成功，Flink集群搭建成功；否则检查相关的搭建步骤是否有误。

四、集群启动报错问题

        正常Flink集群需要在/opt/module/flink1.17目录位置处，采用4.5所示的Linux命令进行启动，但若当前位置不在/opt/module/flink1.17处，采用上述命令会报错，见图15的错误异常情况。此时回退到flink1.17目录位置，重新启动Flink集群即可成功开启集群。