1.几种运行模式介绍
Spark几种运行模式：
1）Local
2）Standalone
3）Yarn
4）Mesos
下载IDEA并安装，可以百度一下免费文档。
2.spark Standalone模式配置并测试
1）jdk1.8已经安装
2）scala2.11.8已经安装
3）Hadoop2.5.0已经安装
4）安装Spark Standalone
a）配置slave
vi slaves
bigdata-pro01.kfk.com
bigdata-pro02.kfk.com
bigdata-pro03.kfk.com
b）配置spark-env.sh
vi spark-env.sh
export JAVA_HOME=/opt/modules/jdk1.8.0_11
export SCALA_HOME=/opt/modules/scala-2.11.8
SPARK_CONF_DIR=/opt/modules/spark-2.2.0-bin/conf
SPARK_MASTER_HOST=bigdata-pro02.kfk.com
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g
SPARK_WORKER_PORT=7078
SPARK_WORKER_WEBUI_PORT=8081
c）将spark 配置分发到其他节点并修改每个节点特殊配置
scp -r spark-2.2.0-bin bigdata-pro01.kfk.com:/opt/modules/
scp -r spark-2.2.0-bin bigdata-pro03.kfk.com:/opt/modules/
d）启动spark
sbin/start-all.sh
e）客户端测试
bin/spark-shell --master spark://bigdata-pro02.kfk.com:7077
d）集群运行
bin/spark-submit --master spark://bigdata-pro02.kfk.com:7077 --deploy-mode cluster /opt/jars/sparkStu.jar hdfs://bigdata-pro01.kfk.com:9000/user/data/stu.txt hdfs://bigdata-pro01.kfk.com:9000/user/data/output
3.spark on yarn模式配置并测试
1）注意hadoop配置文件中jdk版本是否与当前jdk版本一致
2）spark on yarn 模式提交作业
bin/spark-submit --class com.spark.test.Test --master yarn --deploy-mode cluster /opt/jars/sparkStu.jar hdfs://bigdata
