当前位置:   article > 正文

flink三种部署模式_flink三种部署方案

flink三种部署方案
部署模式

flink可以通过以下三种模式部署:

  • Session Mode
  • Per-Job Mode
  • Application Mode

以上方式主要区别在于

  • 集群生命周期和资源隔离保证
  • 应用程序的main方法是在客户端还是在集群上执行。
Session Mode(会话模式)

会话模式假定存在已经在运行的集群,并使用该集群的资源来执行任何提交的应用程序。在同一(会话)集群中执行的应用程序使用并因此竞争相同的资源。这样做的好处是,您不必为每个提交的作业都创建集群。但是,如果其中一项作业行为不当或关闭了taskmanager,则该taskmanager上运行的所有作业都会受到故障的影响。除了对导致故障的作业产生负面影响外,这还意味着潜在的大规模恢复过程。此外,只有一个集群运行多个作业意味着JobManager的负载增加,JobManager负责簿记集群中所有作业。

Per-Job Mode

为了提供更好的资源隔离保证,Per-Job模式使用可用的集群管理器框架(例如YARN,Kubernetes)为每个提交的作业启动集群。该群集仅适用于该作业。作业完成后,集群将被torn down,所有附属的资源(文件等)将被清除。这提供了更好的资源隔离,因为行为不当的工作只能拖垮其自己的taskmanager。另外,由于每个作业有一个,因此它可以将簿记工作分散到多个JobManager中。== 由于这些原因,由于许多生产原因,首选工作资源分配模型是首选模式。==

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Monodyee/article/detail/661997
推荐阅读
相关标签
  

闽ICP备14008679号