大数据Spark框架 5：Spark On Yarn环境配置_spark on yarn搭建

2. Spark On Yarn环境配置

2.1 Spark On Yarn的本质

      本质: 将Spark程序运行在Yarn集群中, 由Yarn完成资源调度工作

2.2 配置Spark On Yarn

      关于整个配置, 大家直接参考：https://zhuanlan.zhihu.com/p/549837799?utm_id=0

2.3 提交应用测试

• 提交之前Spark中用于计算圆周率的PY脚本

cd /export/server/spark/bin/
./spark-submit \
--master yarn \
--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \
--conf "spark.pyspark.python=/root/anaconda3/bin/python3" \
/export/server/spark/examples/src/main/python/pi.py 100

• 将编写的WordCount的代码提交到Yarn平台运行

• 注意1：需要将代码中 master参数删除， 或者 修改为 yarn

• 注意2:  读取的路径必须为HDFS， 如果是本地， 可能Yarn在运行的时候，无法找到对应的文件， 需要将所有的节点本地都得有这个文件

./spark-submit \
--master yarn \
--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \
--conf "spark.pyspark.