赞
踩
Flink下载地址:
选择第二个Binaries下载,然后选择对应的Scala版本,我这里使用的是Scala2.11.12,所以我下载flink对应Scala的版本。网上有的教程是安装的flink1.9版本,从flink1.9的官方文档看出需要Hadoop2.8.3编译Flink。
对比flink1.12的版本,1.12的官方文档和1.9的官方文档有差距,flink1.12不需要Hadoop编译!
Flink1.12官方文档安装部署:
对文件赋予权限
chmod u+x flink-1.12.1-bin-scala_2.11.tgz
解压软件
tar -zxvf flink-1.12.1-bin-scala_2.11.tgz -C /opt/modules/
创建软链接
ln -s flink-1.12.1/ flink
配置standalone集群模式,我配置一台master节点,三台worker节点。
修改conf/flink-conf.yaml
jobmanager.rpc.address: bigdata-pro-m07
配置conf/masters
bigdata-pro-m07:8081
配置conf/workers
bigdata-pro-m07
bigdata-pro-m08
bigdata-pro-m09
分发到其他节点
scp -r flink-1.12.1/ bigdata-pro-m08:/opt/modules/
scp -r flink-1.12.1/ bigdata-pro-m09:/opt/modules/
ln -s flink-1.12.1/ flink
集群模式服务启动:
bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host bigdata-pro-m07.
Starting taskexecutor daemon on host bigdata-pro-m07.
Starting taskexecutor daemon on host bigdata-pro-m08.
Starting taskexecutor daemon on host bigdata-pro-m09.
查看进程:
8721 StandaloneSessionClusterEntrypoint
9113 Jps
9018 TaskManagerRunner
访问WEB UI:
启动NC
nc -lk 9999
java java python
java java
hive
hive
hbase
java java java hive hadoop
java hive
运行官网demo
bin/flink run -jar examples/streaming/SocketWindowWordCount.jar --port 9999
查看运行结果
cd /opt/modules/flink/log
cat flink-root-taskexecutor-0-bigdata-pro-m07.out
java : 4
python : 1
hive : 2
hbase : 1
java : 3
hadoop : 1
hive : 1
java : 1
hive : 1
查看web监控
我们可以看出做的是每隔5秒做一次窗口聚合。
以上内容仅供参考学习,如有侵权请联系我删除!
如果这篇文章对您有帮助,左下角的大拇指就是对博主最大的鼓励。
您的鼓励就是博主最大的动力!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。