赞
踩
flink on yarn
两种模式
1.内存集中管理模式(yarn-session模式)
提交命令:(1)yarn-session.sh -n 2 -jm 1024 -tm 1024 [-d]
-n:taskManager的数量
-jm:jobManager的内存大小
-tm:taskManager的内存大小
-d:后台执行
启动一个yarn容器来启动flink集群
(2)flink run -c xxx xxx.jar -input xxx -output xxxx
-c:如果没有在jar包中指定入口类,则需要在这里通过这个参数指定
-input:输入参数
-output:输出参数
在yarn中启动flink集群任务
注意:该模式是启动一个大的yarn内存资源,在这个资源中可以启动多个flink集群任务,同时该任务cancel后该yarn资源还在
优点:flink job启动的时间减少
缺点:一直占用资源(其中每次flink job挂掉之后 jobManager还在占用资源而TaskManager占用的资源已经被回收)
2. 内存Job管理模式
提交命令:flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 -c xxx ./data/batch/WordCount.jar
-m:--jobmanager <host:port> 指定需要连接的jobmanager(主节点)地址,使用这个参数可以指定一个不同于配置文件中的jobmanager
-yn:taskManager的数量
-ytm:taskManager的内存大小
-yjm:jobManager的内存大小
-c:如果没有在jar包中指定入口类,则需要在这里通过这个参数指定
注意:该模式是一个flink job在yarn中就启动一个资源调度,同时该flink job结束后该yarn资源也就释放
优点:不会一直占用资源
缺点:启动flink job花费较多时间
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。