flink安装教程_flink 安装配置到部署头歌

local 本地测试
idea运行

flink集群搭建

1、standallone cluster

1、准备工作
	配置JAVA_HOME
	免密钥
2、上传解压
	tar -xvf flink-1.11.0-bin-scala_2.11.tgz
	配置环境变量

3、修改配置文件
	vim conf/flink-conf.yaml
	jobmanager.rpc.address: master   主节点ip地址

	vim conf/workers
	增加从节点  node1  node2

	vim conf/masters  
	改成主节点ip

	同步到所有节点
	scp -r flink-1.11.0/ node1:`pwd`


4、启动集群
	start-cluster.sh

http://master:8081   访问web界面
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

提交任务 – 将代码打包

	1、在web页面提交任务

	2、同flink命令提交任务
	flink run -c com.shujia.flink.soure.Demo4ReadKafka flink-1.0.jar 

	3、rpc方式提交任务
1
2
3
4
5
6

flink on yarn 只需要部署一个节点可以停掉独立集群
stop-cluster.sh

配置

1、配置HADOOP_CONF_DIR
vim /etc/profile
export HADOOP_CONF_DIR=/usr/local/soft/hadoop-2.7.6/etc/hadoop/

2、将hadoop依赖jar上传到flink lib目录
flink-shaded-hadoop-2-uber-2.6.5-10.0

flink和spark一样都是粗粒度资源申请

flink启动方式
1、yarn-session 在yarn里面启动一个flink集群 jobManager(ApplicationMaster)
先启动hadoop
yarn-session.sh -jm 1024m -tm 1096m

提交任务  任务提交的是偶根据并行度动态申请taskmanager
	1、在web页面提交任务

	2、同flink命令提交任务
	flink run -c com.shujia.flink.soure.Demo4ReadKafka flink-1.0.jar 

	3、rpc方式提交任务
1
2
3
4
5
6
7

2、直接提交任务到yarn 每一个任务都会有一个jobManager
flink run -m yarn-cluster -yjm 1024m -ytm 1096m -c com.shujia.source.Demo2MysqlSource flink-1.0.jar

杀掉yarn上的任务
yarn application -kill application_1599820991153_0005
1
2

yarn-session先在yarn中启动一个jobMansager ,所有的任务共享一个jobmanager (提交任务更快，任务之间共享jobmanager ， 相互有影响)
直接提交任务模型，为每一个任务启动一个joibmanager （每一个任务独立jobmanager , 任务运行稳定）