Spark任务提交第1关：spark-submit提交_第1关:spark-submit提交

作者：笔触狂放9 | 2024-07-27 01:38:15

踩

第1关:spark-submit提交

相关知识

为了完成本关任务，你需要掌握：1.了解spark-submit的参数。2.学会提交Spark程序在集群运行。

课程视频《spark-submit提交》

spark-submit参数

参数	介绍
`--master`	`提交到哪里执行，如 standalone，local，yarn，mesos等`
`--name`	`应用程序的名称`
`--class`	`应用程序的主类`
`--deploy-mode`	`Driver 程序运行的地方，client 或者 cluster，默认是client`
`--driver-memory`	`Driver内存，默认 1G`
`--executor-memory`	`每个executor的内存，默认是1G`

使用格式：


./bin/spark-submit
--class
--master
--deploy-mode
--conf
... # other options
application-jar

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/888096

Spark任务提交 第1关：spark-submit提交_第1关:spark-submit提交