spark-submit 是在spark安装目录中bin目录下的一个shell脚本文件，用于在集群中启动应用程序（如 *.py脚本）；对于spark支持的集群模式，spark-submit提交应用的时候有统一的接口，不用太多的设置。
使用spark-submit时，应用程序的jar包以及通过—jars选项包含的任意jar文件都会被自动传到集群中。
spark-submit --class --master --jars 1、绑定应用程序依赖
如果代码依赖于其它项目，为了将代码分发到Spark集群，就需要将这些依赖一起打包到应用程序中去。sbt和Maven都有装配插件，只要在创建集成的jar时列出Spark和Hadoop需要的依赖，而不需要将这些依赖和应用打包，因为在程序运行的时候集群的master知道如何调用和提供这些依赖；但是一旦有集成好的jar包，在执行bin/spark-submit脚本时就坐传递这些jar包了。
对于Python语言来讲，可以使用spark-submit的–py-files参数添加.py,.zip,.egg文件和应用程序一起进行分发，如果应用程序依赖于多个Python文件，建议将它们打包成.zip或.egg文件。
2、用spark-submit启动应用程序
如果打包了应用程序，就可以使用bin/spark-submit脚本启动应用程序了，这个脚本可以设置Spark类路径（classpath）和应用程序依赖包，并且可以设置不同的Spark所支持的集群管理和部署模式。提交任务后，无论是Standalone模式还是Spark on Yarn模式，都可以通过Web地址http://:4040来查看当前运行状态（具体访问地址需要查看spark搭建时的配置文件）。
spark-submit提交应用的大致格式如下：
./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # other options
<application-jar> \
[application-arguments]- 1
- 2
- 3
- 4
- 5
- 6
- 7
--class:应用程序的入口点（例如，org.apache.spark.examples.SparkPi）
--master：集群的master URL（例如，spark://localhost:7077）
--deploy-mode:将driver部署到worker节点（cluster模式）或者作为外部客户端部署到本地（client模式），默认情况下是client模式
--conf：用key=value格式强制指定Spark配置属性，用引号括起来
--application-jar：包含应用程序和所有依赖的jar包的路径，路径必须是在集群中是全局可见的，例如，hdfs://路径或者file://路径
--application-arguments：传递给主类中main函数的参数- 1
- 2
- 3
- 4
- 5
一般的部署策略是在一个网关机器上提交应用程序，这个机器和Worker机器部署在一个网络中（例如，Standalone模式的EC2集群中的Master节点）。在此部署策略中，client模式更为合适，client模式中的driver直接跟spark-submit进程一起启动，spark-submit进程在此扮演集群中一个client的角色。应用程序的输入输出依赖于控制台，如此一来，这种模式就特别适合关于REPL（例如，Spark shell）的应用程序。
另一种部署策略是，应用程序通过一台远离Worker节点的机器提交（例如，本地或者便携设备），这种情况下，一般使用cluster模式最小化drivers和executors之间的网络延时。注意，cluster模式暂时不支持于Mesos集群或Python应用程序。
Python应用程序中，简单地在application-jar处传递一个.py文件而不是JAR文件，然后用–py-files添加Python.zip,.egg或者.py文件到搜索路径。
还有一些集群管理器正在使用的可选项。例如，对于Spark Standalone的cluster部署模式，也可以使用–supervise以确定driver在遇到非0（non-zero）退出码的错误时进行自动重启。
通过运行spark-submit上–help列出所有的可选项。以下是一些常用选项的例子：
# Run application locally on 8 cores
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[8] \
/path/to/examples.jar \
100
- 1
- 2
- 3
- 4
- 5
- 6
