当前位置:   article > 正文

flink on yarn的两种模式_flink on yarn有哪两种提交模式

flink on yarn有哪两种提交模式

flink on yarn
    两种模式
    1.内存集中管理模式(yarn-session模式)
        提交命令:(1)yarn-session.sh -n 2 -jm 1024 -tm 1024 [-d]
                        -n:taskManager的数量
                        -jm:jobManager的内存大小
                        -tm:taskManager的内存大小
                        -d:后台执行
                    启动一个yarn容器来启动flink集群
                  (2)flink run -c xxx xxx.jar -input xxx -output xxxx
                        -c:如果没有在jar包中指定入口类,则需要在这里通过这个参数指定 
                        -input:输入参数
                        -output:输出参数
                    在yarn中启动flink集群任务
    注意:该模式是启动一个大的yarn内存资源,在这个资源中可以启动多个flink集群任务,同时该任务cancel后该yarn资源还在
            优点:flink job启动的时间减少
            缺点:一直占用资源(其中每次flink job挂掉之后 jobManager还在占用资源而TaskManager占用的资源已经被回收)
    2. 内存Job管理模式
        提交命令:flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 -c xxx ./data/batch/WordCount.jar
            -m:--jobmanager <host:port>  指定需要连接的jobmanager(主节点)地址,使用这个参数可以指定一个不同于配置文件中的jobmanager 
            -yn:taskManager的数量
            -ytm:taskManager的内存大小
            -yjm:jobManager的内存大小
            -c:如果没有在jar包中指定入口类,则需要在这里通过这个参数指定
    注意:该模式是一个flink job在yarn中就启动一个资源调度,同时该flink job结束后该yarn资源也就释放
            优点:不会一直占用资源
            缺点:启动flink job花费较多时间  

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/知新_RL/article/detail/941740
推荐阅读
相关标签
  

闽ICP备14008679号