当前位置:   article > 正文

Flink on yarn详解_flink sql on yarn

flink sql on yarn
  • Client:用户通过 SQL 或者 API 的方式进行任务的提交,提交后会生成一个 JobGraph。
  • JobManager:JobManager 接受到用户的请求之后,会对任务进行调度,并且申请资源启动 TaskManager。
  • TaskManager:它负责一个具体 Task 的执行。TaskManager 向 JobManager 进行注册,当 TaskManager 接收到 JobManager 分配的任务之后,开始执行具体的任务。

Flink job

在这里插入图片描述

用户通过 DataStream API、DataSet API、SQL 和 Table API 编写 Flink 任务,它会生成一个JobGraph。JobGraph 是由 source、map()、keyBy()/window()/apply() 和 Sink 等算子组成的。当 JobGraph 提交给 Flink 集群后,能够以 Local、Standalone、Yarn 和 Kubernetes 四种模式运行。

Flink JobManager

在这里插入图片描述

JobManager的功能主要有:

  • 将 JobGraph 转换成 Execution Graph,最终将 Execution
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/花生_TL007/article/detail/684379
推荐阅读
相关标签
  

闽ICP备14008679号