【Spark】（六）任务提交(Spark Submit)_spark-submit

Spark 任务的提交

spark-submit的一般格式如下：

bin/spark-submit [options] <app jar | python file> [app options]
1

[options] 是要传给spark-submit 的标记列表。你可以运行spark-submit --help 列出所有可以接收的标记

<app jar | python File> 表示包含应用入口的JAR 包或Python 脚本。

[app options] 是传给你的应用的选项。如果你的程序要处理传给main() 方法的参数，它只会得到[app options] 对应的标记，不会得到spark-submit 的标记。

spark-submit的一些常见标记：

案例：WordCount(单词计数)

1、在Maven工程中创建src同级目录in，并在其目录下创建word.txt文件
word.txt文件内容如下：

hello java
hello spark
hello scala
1
2
3

2、在Linux上/opt目录下创建kb09file文件夹，并将word.txt文件导入/opt/kb09file目录下

3、创建HDFS上的/data目录下文件夹kb09file，并将word.txt上传hdfs，然后为其文件夹赋权

hdfs dfs -mkdir /data/kb09file
hdfs dfs -put word.txt /data/kb09file
hdfs dfs -ls /data/kb09file
hdfs dfs -chmod -R 777 /data/kb09file
1
2
3
4