当前位置:   article > 正文

flink1.8集群教程(Standalone Cluster)_flink1.8 集群 搭建

flink1.8 集群 搭建

Flink集群 - Standalone Cluster

【官方文档】https://ci.apache.org/projects/flink/flink-docs-release-1.8/ops/deployment/cluster_setup.html

总体目标

三台服务器,192.168.112.130作为jobmanager,131与132作为slaver,完成Flink集群。

环境要求

  • JDK1.8 +
    如果没有安装,推荐使用OpenJDK1.8,安装方法非常简单,在服务器命令行窗口中输入以下命令即可(保证有外网)。
    yum install java-1.8.0-openjdk
    
    • 1

具体过程

  1. 首先下载flink1.8.0,并且分别在三台服务器上进行解压。

  2. 配置 jobmanager。

    找到130下的,flink/conf/flink-conf.yaml 文件,编辑这个文件,找个jobmanager.rpc.address,修改为 0.0.0.0

    jobmanager.rpc.address: 0.0.0.0
    
    • 1

    找到flink/conf/slaver 文件,编辑这个文件,添加内容如下:

    192.168.112.131
    192.168.112.132
    
    • 1
    • 2
  3. 配置slaver。

    找到flink/conf/flink-conf.yaml 文件,编辑这个文件,找个jobmanager.rpc.address,修改为 0.0.0.0

    jobmanager.rpc.address: 192.168.112.130
    
    • 1

    找到flink/conf/slaver 文件,编辑这个文件,添加内容如下:

    192.168.112.131
    192.168.112.132
    
    • 1
    • 2

启动与关闭

跳转到flink根目录,然后输入命令如下,启动集群。

bin/start-cluster.sh
  • 1

可能会提示输入192.168.112.131 对应用户的密码与132用户对应的密码,输入后即可启动flink集群。

分别在130,131,132服务器输入以下命令,查看flink运行情况:

ps aux | grep flink
  • 1

关闭集群。在130服务器flink根目录下输入命令如下:

bin/stop-cluster.sh
  • 1

可能要求输入131与132服务器对应用户的密码,输入后即可关闭所有flink。

总结

总的来说flink的集群安装是比较简单的,但是flink的集群启动时,每远程启动一个slaver都需要输入一次密码,为了解决这个问题需要SSH免密登陆。

Smileyan

2019年7月29日

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/秋刀鱼在做梦/article/detail/772725
推荐阅读
相关标签
  

闽ICP备14008679号