当前位置:   article > 正文

Centos7下Apache Flink1.12安装部署_centos apche fink

centos apche fink


安装环境准备:

  • jdk1.8.0_281
  • scala-2.11.12
  • hadoop-2.8.5
  • flink-1.12.1-bin-scala_2.11.tgz

(1)Flink下载安装

Flink下载地址:

在这里插入图片描述
选择第二个Binaries下载,然后选择对应的Scala版本,我这里使用的是Scala2.11.12,所以我下载flink对应Scala的版本。网上有的教程是安装的flink1.9版本,从flink1.9的官方文档看出需要Hadoop2.8.3编译Flink。
在这里插入图片描述
对比flink1.12的版本,1.12的官方文档和1.9的官方文档有差距,flink1.12不需要Hadoop编译!

(2)安装配置

Flink1.12官方文档安装部署:

对文件赋予权限

chmod u+x flink-1.12.1-bin-scala_2.11.tgz 
  • 1

解压软件

tar -zxvf flink-1.12.1-bin-scala_2.11.tgz -C /opt/modules/
  • 1

创建软链接

ln -s flink-1.12.1/ flink
  • 1

配置standalone集群模式,我配置一台master节点,三台worker节点。

修改conf/flink-conf.yaml

jobmanager.rpc.address: bigdata-pro-m07
  • 1

配置conf/masters

bigdata-pro-m07:8081
  • 1

配置conf/workers

bigdata-pro-m07
bigdata-pro-m08
bigdata-pro-m09
  • 1
  • 2
  • 3

分发到其他节点

scp -r flink-1.12.1/ bigdata-pro-m08:/opt/modules/
scp -r flink-1.12.1/ bigdata-pro-m09:/opt/modules/

ln -s flink-1.12.1/ flink
  • 1
  • 2
  • 3
  • 4

(3)服务启动

集群模式服务启动:

bin/start-cluster.sh 
  • 1
Starting cluster.
Starting standalonesession daemon on host bigdata-pro-m07.
Starting taskexecutor daemon on host bigdata-pro-m07.
Starting taskexecutor daemon on host bigdata-pro-m08.
Starting taskexecutor daemon on host bigdata-pro-m09.
  • 1
  • 2
  • 3
  • 4
  • 5

查看进程:

8721 StandaloneSessionClusterEntrypoint
9113 Jps
9018 TaskManagerRunner
  • 1
  • 2
  • 3

访问WEB UI:
在这里插入图片描述

(4)运行测试

启动NC

nc -lk 9999
  • 1
java java python 
java java
hive
hive
hbase
java java java hive hadoop
java hive
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

运行官网demo

bin/flink run -jar examples/streaming/SocketWindowWordCount.jar --port 9999
  • 1

查看运行结果

cd /opt/modules/flink/log
cat flink-root-taskexecutor-0-bigdata-pro-m07.out 

java : 4
python : 1
hive : 2
hbase : 1
java : 3
hadoop : 1
hive : 1
java : 1
hive : 1
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

查看web监控
在这里插入图片描述

我们可以看出做的是每隔5秒做一次窗口聚合。


以上内容仅供参考学习,如有侵权请联系我删除!
如果这篇文章对您有帮助,左下角的大拇指就是对博主最大的鼓励。
您的鼓励就是博主最大的动力!

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/662130
推荐阅读
相关标签
  

闽ICP备14008679号